5.1 Общие предположения
Чтобы обеспечить одинаковое проведение испытаний во всех участвующих лабораториях, метод испытаний должен быть стандартизирован. Все испытания, являющиеся частью эксперимента в отдельной лаборатории или в межлабораторном эксперименте, должны быть проведены в соответствии со стандартизированным протоколом.
Статистические методы, описанные в настоящем стандарте, применимы к бинарным методам испытаний, которые дают результат "да/нет" (например, исследуемое вещество присутствует или отсутствует). Для таких методов испытаний одним из основных критериев пригодности метода является уровень обнаружения (например, LOD50% или LOD95%), т.е. уровень (концентрации), необходимый для обеспечения POD в 50% или 95%. Таким образом, цель состоит в том, чтобы определить значения LOD для отдельных лабораторий, а также общий LOD для всех лабораторий. Затем можно оценить прецизионность метода с точки зрения изменчивости, которой подвержены значения LOD для конкретной лаборатории.
Значения LOD для конкретной лаборатории и средний LOD для всех лабораторий могут быть рассчитаны на основе математической модели зависимости вероятности обнаружения от уровня x для i-й лаборатории PODi(x) = Pi(x): LOD95% для i-й лаборатории - это самый низкий уровень x, для которого PODi(x) = Pi(x) >= 0,95.
5.2 Предположения, лежащие в основе традиционного подхода
Традиционный подход основан на предположении, что в соответствии с планом эксперимента, используемым в ИСО 5725-2, все испытания проводят в условиях повторяемости в каждой из участвующих лабораторий. В частности, все испытания в лаборатории проводит один и тот же специалист, на одном и том же оборудовании, в одних и тех же условиях и непосредственно друг за другом. Считается также, что результаты испытаний, полученные в различных лабораториях, получены в условиях воспроизводимости, т.е. в наблюдаемую изменчивость вносят вклад многие факторы, например, различия в оборудовании, условиях окружающей среды, партиях реагентов и специалистах.
Примечание - Протоколы валидации в соответствии с традиционным подходом, основанным на LOD и POD, приведены в ИСО 16140-2, ИСО 16140-4 и ISO/TS 16393, а также в [7]. Примеры и другие протоколы рассмотрены, например, в [8], [9], [10], [11], [12] и [13].
5.3 Предположения, лежащие в основе факторного подхода
По сравнению с традиционным подходом, при котором испытания в каждой из лабораторий проводят в условиях повторяемости, при факторном подходе систематически варьируют один или несколько факторов. Например, половину испытаний проводят с реагентами из партии А, а другую половину - с реагентами из партии Б. Таким образом, факторный подход позволяет охватить в исследовании по валидации весь спектр условий испытаний и оценить вклад в изменчивость отдельных источников ошибок. Такой подход позволяет более эффективно и достоверно оценить общую изменчивость.
Примечание - Протоколы валидации на основе LOD для микробиологических методов в соответствии с факторным подходом приведены в [4] и [5].
Для получения статистически достоверной кривой POD необходимы результаты не менее восьми участников, при четырех концентрациях и восьми измерениях для каждого уровня и каждой лаборатории. Однако при такой схеме достоверность результатов может оказаться недостаточной и потребовать проверки. Для более достоверной оценки LOD и соответствующей изменчивости рекомендуется иметь результаты не менее чем восьми участников с пятью уровнями концентрации и двенадцатью измерениями на каждом уровне в каждой лаборатории. При увеличении числа участников количество измерений может быть уменьшено.
Самый низкий уровень концентрации должен быть выбран таким образом, чтобы дальнейшее снижение POD не предполагалось, даже если уровень концентрации позже будет еще снижен. Наибольший уровень концентрации должен быть выбран таким образом, чтобы не предполагалось дальнейшего увеличения POD даже при дальнейшем повышении уровня концентрации. Средняя доля положительных результатов испытаний в различных лабораториях должна составлять от 20% до 80% хотя бы для двух уровней концентрации.
Доля положительных результатов испытаний, ожидаемая в начале совместных испытаний, обычно отличается от окончательной POD. Это может означать, что доля положительных результатов, фактически определенная в ходе совместных испытаний, не соответствует указанным выше требованиям. В этом случае результаты оценки и, в частности, рассчитанная воспроизводимость уровня обнаружения, могут быть рассмотрены только как оценки.
Примечание - Данные рекомендации по планированию эксперимента основаны на результатах имитационного моделирования, в ходе которого рассчитывалась стандартная ошибка оценки стандартного отклонения лаборатории.
Расчет LOD основан на обобщенной линейной модели смешанных воздействий (GLMM) и сигмовидной кривой (сигмоиде) с четырьмя параметрами, представленной формулой
(1)где i - номер лаборатории (i = 1, 2, ..., p);
PODi = Pi - вероятность обнаружения для i-й лаборатории;
x - уровень концентрации;
L, H, B, C - параметры глобальной модели (они справедливы для всех лабораторий);
ai - поправка для i-й лаборатории;
C - точка глобального перегиба.
Предполагается, что параметры L (наименьшая вероятность обнаружения), H (наибольшая вероятность обнаружения) и B (угловой коэффициент) одинаковы для всех лабораторий. Произведение aiC представляет собой координату точки перегиба кривой для i-й лаборатории; при L = 0%, H = 100% это произведение соответствует концентрации, при которой POD достигает 50%. Таким образом, значение этого произведения является прямым показателем функционирования конкретной лаборатории. Параметр C соответствует среднему арифметическому параметров функционирования лаборатории.
Значения ai моделируют как реализации случайной величины: предполагается, что значения lnai подчиняются нормальному распределению
.Оценки параметров L, H, B, C и
Примечание 1 - Несмотря на отсутствие гарантии того, что распределение значений lnai действительно соответствует нормальному распределению, логарифмирование обычно приводит к лучшему приближению к нормальному распределению. Если метод демонстрирует низкую прецизионность, то диапазон прогнозирования значений LOD без логарифмического преобразования может включать неприемлемые отрицательные значения.
Примечание 2 - Предполагается, что параметры L, H, C и B одинаковы для всех лабораторий, т.е. форма кривой является сигмовидной и одинакова для всех лабораторий. Следует проверить обоснованность этого предположения, например, путем графической проверки кривых POD для конкретных лабораторий.
Интерпретация параметров объяснена на примере, см. [13]. Совместное исследование методом бинарного анализа глютена в продуктах, содержащих кукурузу, проведено с целью демонстрации того, что бинарный метод может обнаружить примесь глютена ниже порогового значения 20 мг/кг. В общей сложности четыре партии образцов кукурузы с различной концентрацией глютена переданы в 18 лабораторий для оценки чувствительности и воспроизводимости метода испытаний. Каждая из 18 лабораторий провела 10 измерений для каждого из четырех уровней концентрации. В таблице 1 приведено соответствующее количество положительных результатов для каждой лаборатории и каждого уровня концентрации.
Таблица 1
уровня концентраций в каждой лаборатории (10 образцов)
На рисунке 1 показана кривая POD со средним параметром функционирования (непрерывная линия), предикционный интервал уровня вероятности 95% для лаборатории с соответствующей POD (темно-серая область) и предикционный интервал для лабораторий с соответствующими значениями ROD (светло-серые ступенчатые функции). Число рядом с ромбиком указывает номер лаборатории, получившей соответствующее значение ROD.
Например, при уровне концентрации 0,88 мг/кг одна лаборатория имеет ROD 0,2, а 17 остальных лабораторий имеют нулевое значение ROD. Из таблицы 1 видно, что лаборатория со значением ROD 0,2 - это лаборатория 18. Светло-серые ступенчатые функции показывают предикционный интервал уровня вероятности 95% для значений ROD, полученный в результате моделирования случайной величины (методом Монте-Карло) с использованием оценок параметров. Рисунок 1 можно интерпретировать следующим образом: лаборатория со средними показателями достигает POD уровня 80% при концентрации около 1,7 мг/кг (сплошная линия), тогда как лаборатория с высокими показателями достигает этого уровня POD при концентрации 1,3 мг/кг (верхняя темно-серая зона), а лаборатории с низкими показателями для этого требуется концентрация около 2,2 мг/кг (нижняя темно-серая зона).
Примечание 3 - Ни один из выбранных уровней концентрации не находится в интервале от 20% до 80%; поэтому рассчитанные данные воспроизводимости можно рассматривать только как грубую оценку.
![]() X - концентрация, мг/кг; Y - значения POD и ROD
и предикционные интервалы
Частный случай модели, рассмотренной в 6.2, с L = 0, H = 1 и постоянным значением ai, эквивалентен логит-модели при x > 0. Другими словами, логит-модель уже включена в модель в 6.2. С практической точки зрения это утверждение справедливо и для пробит-модели, поскольку она очень похожа на логит-модель, см., например, [14].
Если имеются результаты испытаний в виде данных непрерывной количественной величины, то валидационное исследование должно быть основано на них, а не на соответствующих бинарных результатах. Другими словами, если бинарные результаты получены путем сравнения результатов измерений непрерывной количественной величины с пороговым значением, лаборатории должны представить исходные результаты измерений непрерывной количественной величины, а сравнение с пороговым значением должно быть проведено в рамках валидационного исследования.
Во многих случаях исходные результаты измерений непрерывной количественной величины недоступны. В частности, во многих случаях анализ дает бинарный результат, даже если он основан на данных непрерывной количественной величины.
Наконец, следует отметить, что оценка межлабораторной дисперсии
Примечание 4 - При наличии оценки дисперсии (например, оценки межлабораторной дисперсии
В случае измеряемых величин, определяемых по дискретной шкале (например, методы исследования микробиологических культур или методы ПЦР), четырехпараметрическая модель, рассмотренная в 6.2, не подходит. Причиной являются различия в предположениях о распределении концентрации x. В 6.2 x означает номинальный уровень концентрации, а различия между фактической концентрацией исследуемой порции и номинальным уровнем концентрации считают пренебрежимо малыми. В случае измерений дискретных величин, x означает, например, количество колониеобразующих единиц или копий ДНК на исследуемую порцию. Для удобства эти дискретные величины называют уровнями концентрации (см. примечание 1 к определению 3.3), но в случае дискретных измеряемых величин, различия между фактической и номинальной концентрацией в исследуемой порции больше нельзя считать незначительными; точнее, для заданного номинального уровня концентрации предполагают, что фактические уровни концентрации в исследуемых порциях подвержены случайной изменчивости и подчиняются распределению Пуассона. Далее это предположение названо "предположением о распределении Пуассона". По этой причине для расчета LOD и его изменчивости в случае дискретных измеряемых величин подходит комплементарно-логарифмическая модель CLOGLOG; соответственно, применена смешанная линеаризованная модель (GLMM):
ln{-ln[1 - PODi(x)]} = lnai + blnx,
где i - номер лаборатории (i = 1, 2, ..., p);
x - данный уровень концентрации;
b - глобальный положительный параметр, моделирующий зависимость чувствительности от уровня концентрации;
ai - чувствительность, соответствующая i-й лаборатории.
Примечание 1 - В соответствии с предположением о распределении Пуассона необходимо, чтобы PODi(x) = Pi = 0 при x = 0. Это означает, что приведенную выше модель следует использовать только в том случае, если количество ложных положительных результатов пренебрежимо мало. Другим следствием предположения о распределении Пуассона является то, что PODi(x) = Pi(x) стремится к 1 с увеличением x; другими словами, модель также чувствительна к ложным отрицательным результатам. Это предположение представляет собой важное отличие от четырехпараметрической модели, рассмотренной в 6.2, которая допускает как ложные положительные, так и ложные отрицательные результаты.
Примечание 2 - Комплементарно-логарифмическая модель CLOGLOG является стандартной моделью для микробиологических методов и бинарных ПЦР-тестов. Модель устанавливает зависимость между вероятностью положительного результата и концентрацией, когда исследуемую пробу отбирают из однородного образца. Предполагается, что вероятность обнаружения отдельной клетки или копии ДНК (РНК) не зависит от уровня концентрации. Вероятность положительного результата тогда просто выводят из распределения Пуассона: результат является положительным, если обнаружена хотя бы одна клетка или копия ДНК (РНК).
Предполагается, что значения lnai подчиняются нормальному распределению
.Три параметра a,
Предположим, что параметры a и b одинаковы для всех лабораторий, т.е. форма кривой одинакова для всех лабораторий. Необходимо установить справедливость этого предположения, например, с помощью графической проверки кривых POD для каждой конкретной лаборатории.
После вычисления оценок трех параметров модели и прогнозных значений можно построить общую кривую POD, POD = P = 1 - exp(-a·xb).
В [17] описан следующий пример. Для демонстрации того, что бинарный метод позволяет обнаружить генетические модификации при очень низком уровне концентрации генетически модифицированного риса (трансгенного риса) в продуктах, содержащих рис, проведено совместное исследование метода бинарного обнаружения генетических модификаций в продуктах, содержащих рис. В общей сложности шесть партий образцов риса с различным количеством копий ДНК были переданы в 17 лабораторий для оценки чувствительности и воспроизводимости метода. Каждая из 17 лабораторий провела по шесть измерений для каждого из шести уровней концентрации. В таблице 2 приведено соответствующее количество положительных результатов для каждой лаборатории и каждого уровня концентрации.
Таблица 2
каждому уровню концентрации (количество копий на образец)
и каждой лаборатории (шесть ПЦР-тестов)
На рисунке 2 представлена кривая POD с показателями, представляющими собой среднее арифметическое значений по лабораториям (сплошная линия), а также предикционные интервалы для кривых POD для конкретных лабораторий и значений ROD для каждой концентрации и каждой лаборатории. Для кривых POD приведенный предикционный интервал соответствует вероятности уровня 95% (темно-серая зона), то есть интервалу типичной изменчивости кривых POD. Для значений ROD приведены предикционные интервалы уровня 90% (светло-серые ступенчатые функции). Эти интервалы были получены в результате моделирования случайной величины, проведенного на основе оценок параметров. Более высокий уровень значимости для значений ROD (10%, а не 5%) отражает тот факт, что основное внимание уделено выявлению выделяющихся значений ROD для конкретной концентрации, при этом "выделяющееся значение" соответствует одностороннему уровню значимости 5%. Двустороннее рассмотрение невозможно, так как для низких значений POD нижняя предикционная граница равна 0, а для высоких значений POD верхняя предикционная граница равна 1; для низких (высоких) POD невозможно проверить, являются ли значения ROD значительно ниже (выше) среднего. Использование предикционных интервалов уровня 95% и 90% (для кривых POD и значений ROD, соответственно) является лишь рекомендацией. В зависимости от контекста, могут быть более целесообразны другие значения.
Цифры, расположенные рядом с ромбиками, указывают номера лабораторий, получивших соответствующее значение ROD. Например, при уровне концентрации в 5 копий ДНК на исследуемую порцию три лаборатории имеют значение ROD 5/6 ~= 8,33, а 14 лабораторий - ROD = 1. Сравнение с таблицей 2 показывает, что три лаборатории, получившие значение ROD = 0,83 - это лаборатории 01, 14 и 17. Рисунок 2 можно интерпретировать следующим образом: POD уровня 50% достигает лаборатория со средними показателями при уровне концентрации около 1 копии ДНК на исследуемую порцию (сплошная линия), в то время как лаборатория с высокими показателями достигает этого уровня POD при концентрации около 0,6 копии ДНК на исследуемую порцию (верхняя темно-серая зона). Для лаборатории с низкими показателями потребуется концентрация около 1,2 копий ДНК на исследуемую порцию (нижняя темно-серая зона).
![]() X - число копий ДНК; Y - значения POD и ROD
и предикционные интервалы
Основным параметром прецизионности является стандартное отклонение
Вместо того, чтобы характеризовать изменчивость с помощью
(см. примечание ниже); наконец, доверительный интервал с уровнем доверия 95% может быть получен путем применения экспоненциальной функции (потенцирования) к обеим сторонам уравнения .Примечание 3 - Тождество
получено следующим образом. Предполагая b = 1 в основном уравнении POD = P = 1 - exp(-a·xb), получаем 0,95 = 1 - exp(-a·L95) = 1 - exp(-a·LOD95%). После преобразования и логарифмирования обеих сторон уравнения получаем a·LOD95% = a·L95 = -ln(0,05) ~= 3.Описанная комплементарно-логарифмическая модель CLOGLOG может быть использована только в том случае, если количество ложных положительных результатов пренебрежимо мало. Это предположение должно быть проверено с помощью серии холостых образцов.
Чтобы оценить достоверность оценки прецизионности воспроизводимости, можно провести моделирование либо повторных выборок (бутстреп-метод) на основе имеющихся измеренных данных (например, тысячи выборок), либо моделирование методом Монте-Карло, когда параметры предполагаемых распределений оценивают по имеющимся данным измерений (также моделируют порядка тысячи выборок). Затем для каждого моделирования или каждой повторной выборки получают оценку прецизионности. А доверительный интервал для теоретической воспроизводимости может быть получен с помощью процентилей, соответствующих 2,5% и 97,5% полученного распределения оценок прецизионности.
Две модели, описанные в 6.2 и 6.3, могут быть расширены для реализации факторного плана эксперимента. При таком подходе в качестве вероятных источников изменчивости идентифицируют различные влияющие факторы, например, разные операторы или партии реагентов. Затем эти факторы системно варьируют в плане эксперимента. Как правило, каждый фактор варьируют на двух уровнях, например, два оператора или две разные партии реагентов. Если в план эксперимента включено пять факторов, каждый из которых имеет два уровня, то, следовательно, существует 25 = 32 различных комбинаций факторов. Особенно эффективны планы, называемые ортогональными планами эксперимента, они позволяют сократить количество комбинаций факторов, например, с 32 до 8. Более подробную информацию об ортогональных планах эксперимента см. в [15] и [18].
Как правило, для каждой комбинации факторов проводят повторные испытания для разных уровней концентрации (см. примечание 1 к определению 3.3). Пусть m - количество уровней концентрации. Термин "серия" относится к выполнению всех испытаний на m уровнях концентрации для одной конкретной комбинации факторов. В случае, если на каждом уровне концентрации проводят n повторных испытаний, то серия включает mn результатов испытаний.
С учетом различных серий испытаний модель, описанная в 6.2, теперь выглядит следующим образом:
,где i - индекс, означающий номер лаборатории;
lnai - влияние чувствительности для конкретной лаборатории;
j - индекс, означающий номер серии;
lnaij - влияние чувствительности конкретной лаборатории и конкретной серии. Влияние чувствительности конкретной лаборатории
,где
Внутрилабораторные влияния
.Составляющие дисперсии
.Таким образом, параметр
Аналогично, модель, описанную в 6.3, теперь можно расширить следующим образом:
.Член
Рассмотрим следующий пример из области микробиологии. Поскольку можно предположить, что количество колониеобразующих единиц в исследуемой порции подчиняется распределению Пуассона, можно применить комплементарно-логарифмическую модель в соответствии с 6.3. Пять лабораторий представляют результаты повторных бинарных испытаний для трех уровней концентрации: холостой, близкой к предполагаемому LOD (0,8 КОЕ/мл) и высокой (10 КОЕ/мл). Количество повторений зависит от уровня концентрации: по одному на холостом и на высоком уровнях (где информации о выполнении метода недостаточно) и четыре повторения на уровне, близком к LOD (где информации о выполнении метода много).
Несмотря на то, что результаты испытаний, полученные на холостых пробах, не вносят вклада в оценку LOD и ее воспроизводимости, необходимо включить холостой уровень в план эксперимента. Это является мерой предосторожности, позволяющей убедиться в том, что образцы действительно были пустыми. Однако, что еще более важно, отслеживать получение ложных положительных результатов испытаний. Причина в том, что использование распределения Пуассона (на котором основана математическая модель) допустимо только в том случае, если количество ложных положительных результатов пренебрежимо мало.
В каждой лаборатории проводят испытания на всех трех уровнях концентрации для восьми различных комбинаций факторов. Каждая комбинация включает пять уровней факторов, выбранных для плана эксперимента. В таблице 3 представлен план эксперимента, показывающий взаимосвязь между комбинациями факторов. Для каждого фактора двухфакторные уровни имеют коды "1" и "2". План и результаты испытаний заимствованы из ИСО 16140-5:2020, приложение C.
Таблица 3
План эксперимента с пятью факторами и восемь
комбинаций факторов, которые должны быть выполнены
в каждой лаборатории для каждого уровня концентрации
В таблице 4 приведены результаты пяти лабораторий, проводивших испытания для трех уровней концентрации для каждой комбинации, всего восемь комбинаций. Результаты обозначены R1, ..., R4. На холостом и высоком уровнях получено только по одному результату испытаний, на уровне концентрации 0,8 КОЕ/мл получено четыре результата.
Таблица 4
Результаты бинарных испытаний, выполненных пятью
лабораториями на трех уровнях концентрации для каждой
комбинации, всего для восьми комбинаций
На основе этих данных получены оценки прецизионности факторов, приведенные в таблице 5.
Таблица 5
Как видно из таблицы 5, преобладают три составляющие: дисперсии фоновой флоры, питательной среды и межлабораторная дисперсия. Значение LOD50% вычислено на уровне 1,13 КОЕ/мл.
Более подробная информация по данному примеру приведена в [5].
В данном примере применена комплементарно-логарифмическая модель CLOGLOG из 6.3. Однако факторный подход может быть использован и в случае непрерывных измеряемых величин и четырехпараметрической модели из 6.2. Важно отметить, что для четырехпараметрической модели необходимо модифицировать план эксперимента в отношении количества номинальных уровней концентрации: из-за большего количества параметров, оцениваемых в модели, следует включить не менее пяти уровней концентрации.
Для внутрилабораторных валидационных исследований может быть применен подход, описанный в разделе 7. Единственное отличие заключается в том, что, поскольку имеется только одна лаборатория, член чувствительности для конкретной лаборатории не включают. Соответственно, для методов, предназначенных для непрерывных измеряемых величин, модель теперь имеет вид
,где
.В качестве альтернативы можно применить тот же подход, который описан в разделе 7, при этом индекс i представляет не лабораторию, а отдельный фактор, которому подчиняются остальные факторы. Например, индекс i теперь может обозначать фактор дня, а остальные факторы вложены в фактор дня, т.е. соответствующие случайные влияния характеризуют изменчивость в пределах данного дня. Более подробную информацию см. в [15]. Факторные планы для микробиологических методов представлены в ИСО 16140-4 [4].
Расчеты, описанные в настоящем стандарте, основаны на стандартных моделях статистики и могут быть реализованы с помощью пакетов программ, в которых предусмотрены эти стандартные модели. Среди них стандартное статистическое программное обеспечение, такое как R [19] и SAS [20], а также специализированное программное обеспечение для межлабораторных испытаний, такое как PROLab [21].
(справочное)
НАЦИОНАЛЬНЫМ СТАНДАРТАМ
Таблица ДА.1
Вернуться в "Каталог нормативных документов"
Источник информации: https://internet-law.ru/documents/dop_documents/10/gost_51296_infoprod/0/gost.html
На правах рекламы:
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||