Требования данной общей фармакопейной статьи распространяются на методы, используемые при статистической обработке результатов химического эксперимента.
Обозначения:
A - измеряемая величина;
a - свободный член линейной зависимости;
b - угловой коэффициент линейной зависимости;
F - критерий Фишера;
f - число степеней свободы;
i - порядковый номер варианты;
L - фактор, используемый при оценке сходимости результатов параллельных определений;
m, n - объемы выборки;
P,
Q1, Qn - контрольные критерии идентификации грубых ошибок;
R - размах варьирования;
r - коэффициент корреляции;
s - стандартное отклонение;
s2 - дисперсия;
slg - логарифмическое стандартное отклонение;
t - критерий Стьюдента;
U - коэффициент для расчета границ среднего результата гарантии качества анализируемого продукта;
x, y - текущие координаты в уравнении линейной зависимости;
Xi, Yi - вычисленные, исходя из уравнения линейной зависимости, значения переменных x и y;
xi, yi - i-тая варианта (i-тая пара экспериментальных значений x и y);
d,
Примечание. Термины доверительная вероятность P и уровень значимости (степень надежности)
Метрологические характеристики методов и результатов, получаемых при статистической обработке данных эксперимента, позволяют проводить оценку и сравнение, как методик аналитического эксперимента, так и исследуемых при таком эксперименте объектов, и на этой основе решать ряд прикладных задач.
выборки и их вычисление
Проверка однородности выборки. Исключение выпадающих значений вариант. Термином "выборка" обозначают совокупность статистически эквивалентных найденных в эксперименте величин (вариант). В качестве такой совокупности можно, например, рассматривать ряд результатов, полученных при параллельных определениях содержания какого-либо вещества в однородной по составу пробе.
Допустим, что отдельные значения вариант выборки объема n обозначены через xi (1 <= i <= n) и расположены в порядке возрастания:
Результаты, полученные при статистической обработке выборки, будут достоверны лишь в том случае, если эта выборка однородна, т.е. если варианты, входящие в нее, не отягощены грубыми ошибками, допущенными при измерении или расчете. Такие варианты должны быть исключены из выборки перед окончательным вычислением ее статистических характеристик. Для выборки небольшого объема (n < 10) идентификация вариант, отягощенных грубыми ошибками, может быть выполнена, исходя из величины размаха варьирования R, см. уравнения (1.12), (1.13). Для идентификации таких вариант в выборке большого объема (n >= 10) целесообразно проводить предварительную статистическую обработку всей выборки, полагая ее однородной, и уже затем на основании найденных статистических характеристик решать вопрос о справедливости сделанного предположения об однородности, см. выражение (1.14).
В большинстве случаев среднее выборки
При этом разброс вариант xi вокруг среднего
(1.3)Стандартное отклонение среднего результата
Отношение
Примечание 1.1. При наличии ряда из g выборок с порядковыми номерами k (1 <= k <= g) расчет дисперсии s целесообразно проводить по формуле:
При этом число степеней свободы равно:
где xk - среднее k-той выборки;
nk - число вариант в k-той выборке;
xik - i-тая варианта k-той выборки;
dik - отклонение i-той варианты k-той выборки.
Необходимым условием применения уравнений (1.8) и (1.9) является отсутствие статистически достоверной разницы между отдельными значениями
Примечание 1.2. Если при измерениях получают логарифмы искомых вариант, среднее выборки вычисляют как среднее геометрическое, используя логарифм вариант:
(1.10)откуда
(1.11)Значения s2, s и
Пример 1.1. При определении содержания стрептоцида в образце линимента были получены следующие данные:
n = 5; f = n - 1 = 5 - 1 = 4.
![]() , т.е. di=1 = |9,52 - 9,87| = 0,35и т.д. до i = 5.
![]() ![]() ![]() Как было указано выше, значения x, s2, s и
Выборка признается неоднородной, если хотя бы одно из вычисленных значений Q превышает табличное значение
, найденное для доверительной вероятности , отбрасываются и для полученной выборки уменьшенного объема выполняют новый цикл вычислений по уравнениям (1.12) и (1.13) с целью проверки ее однородности. Полученная в конечном счете однородная выборка используется для вычисления x, s2, s и Примечание 1.3. При |x1 - x2| < |x2 - x3| и |xn - xn-1| < |xn-1 - xn-2| уравнения (1.13 а) и (1.13 б) принимают соответственно вид:
![]() Пример 1.2. При проведении девяти (n = 9) определений содержания общего азота в плазме крови крыс были получены следующие данные (в порядке возрастания):
По уравнениям (1.12) и (1.13 а) находим:
R = |x1 - xn| = |0,62 - 0,99| = 0,37;
![]() По табл. I приложения находим:
Q(9; 95%) = 0,46 < Q1 = 0,51;
Q(9; 99%) = 0,55 > Q1 = 0,51.
Следовательно, гипотеза о том, что значение x1 = 0,62 должно быть исключено из рассматриваемой совокупности результатов измерений как отягощенное грубой ошибкой, может быть принята с доверительной вероятностью 95%, но должна быть отвергнута, если выбранное значение доверительной вероятности равно 99%.
Для выборок большого объема (n >= 10) проверку однородности проводят после предварительного вычисления статистических характеристик
Если выборка признана неоднородной, то варианты, для которых |di| > 3s, отбрасываются как отягощенные грубыми ошибками с доверительной вероятностью P > 99,0%. В этом случае для полученной выборки сокращенного объема повторяют цикл вычислений статистических характеристик по уравнениям (1.2), (1.5), (1.6), (1.9) и снова проводят проверку однородности. Вычисление статистических характеристик считают законченным, когда выборка сокращенного объема оказывается однородной.
Примечание 1.4. При решении вопроса об однородности конкретной выборки небольшого объема также можно воспользоваться выражением (1.14), если известна оценка величины s, ранее найденная для данного метода измерения (расчета) вариант.
Если случайная однородная выборка конечного объема n получена в результате последовательных измерений некоторой величины A, имеющей истинное значение
Следует отметить, что данный доверительный интервал не характеризует погрешность определения величины
Расчет граничных значений доверительного интервала проводят по критерию Стьюдента, предполагая, что варианты, входящие в выборку, распределены нормально:
Здесь t(P, f) - табличное значение критерия Стьюдента (см. табл. II приложения).
Если при измерении одним и тем же методом двух близких значений A были получены две случайные однородные выборки с объемами n и m, то при m < n для выборки объема m справедливо выражение:
где индекс указывает принадлежность величин к выборке объема m или n.
Выражение (2.3) позволяет оценить величину доверительного интервала среднего
Примечание 2.1. Если n <= 15, а
, величины s и f целесообразно вычислять, как указано в примечании 1.1.Подставляя n = 1 в выражение (2.2), или m = 1 в выражение (2.3), получаем:
Этот интервал является доверительным интервалом результата единичного определения. Для него с доверительной вероятностью P выполняются взаимосвязанные условия:
(2.5) (2.6)Значения
Пример 2.1. В результате определения содержания хинона в стандартном образце хингидрона были получены следующие данные (n = 10):
; f = 9; s2 = 0,01366; s = 0,1169; .Доверительные интервалы результата отдельного определения и среднего результата при P = 90% получаем согласно (2.4) и (2.2):
![]() ![]()
![]() ![]() Обозначая истинное содержание хинона в хингидроне через
; (при любом i); ; (при n = 10).Примечание 2.2. Вычисление доверительных интервалов для случая, описанного в примечании 1.2, проводят, исходя из логарифмов вариант.
Тогда выражения (2.2) и (2.4) принимают вид:
Потенцирование выражений (2.9) и (2.10) приводит к несимметричным доверительным интервалам для значений x и xi.
где
![]() ![]() При этом для нижних и верхних границ доверительных интервалов
(2.12 б)Сравнение двух методов анализа по воспроизводимости
С целью получения метрологической характеристики метода проводят совместную статистическую обработку одной или нескольких выборок, полученных при анализе образцов с известным содержанием определяемого компонента
--------------------------------
Примечание 3.1. При проведении совместной статистической обработки нескольких выборок, полученных при анализе образцов с разным содержанием определяемого компонента
Если для выборки объема m величина
, следует решить вопрос о наличии или отсутствии систематической ошибки. Для этого вычисляют критерий Стьюдента t:Если, например, при P = 95% и f = m - 1, реализуется неравенство
то полученные данным методом результаты отягощены систематической ошибкой, относительная величина которой
(3.3)Следует помнить, что если величина A определена как среднее
При сравнении воспроизводимости двух методов анализа с оценками дисперсий
вычисляют критерий Фишера F:Критерий F характеризует при
различие дисперсий
различие значений
Примечание 3.2. Для случая, описанного в примечании 1.2, в табл. 1 вместо величин
Для сравнения двух методов анализа результаты статистической обработки сводят в табл. 2.
Данные для сравнительной метрологической оценки
двух методов анализа
Метрологическое сравнение методов анализа желательно проводить при
, f1 > 10 и f2 > 10. Если точные значения Пример 3.1. Пусть для двух выборок аналитических данных (1 и 2), характеризующих, например, различные методы анализа, получены метрологические характеристики, приведенные в графах 1 - 10 табл. 3.
оценки двух методов анализа
Для заполнения графы 11 вычислим значения tвыч(1) и tвыч(2):
![]() ![]() Поскольку tвыч(1) = 1,28 < t1(95%, 20) = 2,09, гипотеза
может быть отвергнута, что позволяет считать результаты выборки 1 свободными от систематической ошибки. Напротив, поскольку tвыч(2) = 72,36 >> t2(95%, 15) = 2,13, гипотезу приходится признать статистически достоверной, что свидетельствует о наличии систематической ошибки в результатах выборки 2. В графу 14 вносим вычисленное значение ![]() F(99%; 20; 15) = 3,36;
![]() F = 17,92 >> F(99%; 20; 15) = 3,36.
Следовательно, при P = 99% гипотезу о различии дисперсий
Выводы:
а) результаты, полученные первым методом, являются правильными, т.е. они не отягощены систематической ошибкой;
б) результаты, полученные вторым методом, отягощены систематической ошибкой;
в) по воспроизводимости второй метод существенно превосходит первый метод.
Сравнение средних результатов двух выборок
Если с помощью данного метода анализа (измерения) следует определить значение некоторой величины A, то для полученной экспериментально однородной выборки объема m рассчитывают значения величин, необходимые для заполнения табл. 4. Так поступают в том случае, если применяемый метод анализа (измерения) не был ранее аттестован метрологически. Если же этот метод уже имеет метрологическую аттестацию, графы 2, 4, 5, 7, 8 и 9 табл. 4 заполняются на основании данных табл. 1, полученных при его аттестации. При заполнении табл. 4 следует при необходимости учитывать примечания 2.1 и 3.1.
Таким образом, на основании выражения (2.1) для измеряемой величины A в предположении отсутствия систематической ошибки с вероятностью P выполняется условие:
(4.1)то есть величина A при отсутствии систематической ошибки лежит в пределах:
(4.2)Примечание 4.1. В случае, предусмотренном в примечании 1.2, в графе 9 табл. 4 приводят величину
Если в результате измерений одной и той же величины A получены две выборки объема n1 и n2, причем
то есть значимости величины разности
.Такая проверка необходима, если величина A определялась двумя разными методами с целью их сравнения или если величина A определялась одним и тем же методом для двух разных объектов, идентичность которых требуется доказать. Для проверки гипотезы (4.3) следует установить, существует ли статистически значимое различие между дисперсиями
1. Различие дисперсий
- по уравнению: (4.4 а)Далее вычисляют критерий Стьюдента:
при f = n1 + n2 - 2. (4.5 а)
Если при выбранном значении P (например, при P = 95%):
t > t(P, f), (4.6)
то результат проверки положителен - значение
является значимым и гипотезу 2. Различие значений
находят по уравнению (4.7), а число степеней свободы f' - по уравнению (4.8):Следовательно, в данном случае:
Вычисленное по уравнению (4.9) значение t сравнивают с табличным значением t(P, f'), как это описано выше для случая 1.
Рассмотрение проблемы упрощается, когда n1 ~= n2 и
. Тогда в отсутствие систематической ошибки среднее
3. Известно точное значение величины A. Если
Примечание 4.2. В случае, предусмотренном примечанием 1.2, при сравнении средних используют величины
Когда разность
оказывается значимой, определяют доверительный интервал для разности соответствующих генеральных средних Пример 4.1. При определении содержания основного вещества в двух образцах препарата, изготовленных по разной технологии, получены метрологические характеристики средних результатов, приведенные в табл. 5.
Полученные данные метрологических характеристик
средних результатов
Требуется решить, является ли первый образец по данному показателю лучшим в сравнении со вторым образцом. Поскольку
![]() то согласно неравенству (3.5 а) статистически достоверное различие величин
![]() ![]() ![]() ![]() f = n1 + n2 - 2 = 8 + 6 - 2 = 12.
![]() t = 2,72 > t(95%; 12) = 2,18.
t = 2,72 < t(99%; 12) = 3,08.
Следовательно, с доверительной вероятностью P = 95% гипотеза
Если гипотеза
![]() (P = 95%; f = 12);
![]() ![]() Оценка сходимости результатов параллельных определений. При рядовых исследованиях аналитик обычно проводит 2 - 3, реже 4 параллельных определения. Варианты полученной при этом упорядоченной выборки объема m, как правило, довольно значительно отличаются друг от друга. Если метод анализа метрологически аттестован, то максимальная разность результатов двух параллельных определений должна удовлетворять неравенству:
где L(P, m) - фактор, вычисленный по Пирсону при P = 95%.
Если неравенство (5.1) не выполняется, необходимо провести дополнительное определение и снова проверить, удовлетворяет ли величина |x1 - xn| неравенству (5.1).
Если для результатов 4 параллельных определений неравенство (5.1) не выполняется, одна из вариант (x1 или xn) должна быть отброшена и заменена новой. При невозможности добиться выполнения неравенства (5.1) следует считать, что конкретные условия анализа привели к снижению воспроизводимости метода и принятая оценка величины s применительно к данному случаю является заниженной. В этом случае поступают, как указано в разделе 1.
Определение необходимого числа параллельных определений. Если необходимо получить средний результат
(5.2)Гарантия качества продукции. Предположим, что качество продукции регламентируется предельными значениями amin и amax величины A, которую определяют на основании результатов анализа. Примем, что вероятность соответствия качества продукта условию:
должна составлять
Пусть величину A находят экспериментально, как среднее выборки объема m, а метод ее определения метрологически аттестован. Тогда условие (5.3) будет выполняться с вероятностью
(5.4)где:
Значения коэффициента U для вероятности
и соответственно равны 1,65 и 2,33. Иными словами, для гарантии качества наблюдаемые пределы изменения величины A на практике следует ограничить значениями:Наоборот, если заданы значения Amin и Amax, значения amin и аmax, входящие в неравенство (5.3), могут быть найдены путем решения уравнений (5.6) и (5.7). Наконец, если заданы пары значений Amin, amin и Amax, amax, то уравнения (5.6) и (5.7) могут быть решены относительно m. Это может быть использовано для оценки необходимого числа параллельных определений величины A.
Примечание 5.1. В уравнениях (5.5), (5.6) и (5.7) величина коэффициента
, если значение f, определенное по уравнениям (1.4) или (1.8), меньше 15.Примечание 5.2. Для случая, предусмотренного примечанием 1.2, описанные в разделе 5 вычисления проводят с использованием величин
Пример 5.1. Рассмотрим данные табл. 3, относящиеся к выборке 1, как метрологическую характеристику используемого метода анализа.
а) Пусть amin = 98%, amax = 100,50%. Тогда для испытуемого образца продукта средний результат анализа
![]() При
:![]() 98,62 < A < 99,88.
При
:![]() 98,44 < A < 100,06.
б) Реальный средний результат анализа образца испытуемого продукта A = 99% (при m = 3). Тогда определение пределов amin и amax, гарантированно характеризующих качество данного образца с заданной доверительной вероятностью
Amin = Amax = A,
![]() ![]() При
:![]() ![]() При
:![]() ![]() Полученные оценки amin и amax близки к границам доверительного интервала
, что соответствует примечанию 5.1.зависимости (линейной регрессии)
При использовании ряда химических и физико-химических методов количественного анализа непосредственному измерению подвергается некоторая величина y, которая рассматривается как линейная функция искомой концентрации (количества) x определяемого вещества или элемента. Иными словами, в основе таких методов анализа лежит экспериментально подтвержденная линейная зависимость:
где y - измеряемая величина;
x - концентрация (количество) определяемого вещества или элемента;
b - угловой коэффициент линейной зависимости;
a - свободный член линейной зависимости.
(Здесь b и a рассматриваются как коэффициенты (параметры) линейной регрессии y на x).
Для использования зависимости (6.1) в аналитических целях, т.е. для определения конкретной величины x по измеренному значению y, необходимо заранее найти числовые значения констант b и a, иными словами провести калибровку. Если константы зависимости (6.1) рассматриваются с учетом их физического смысла, то, при необходимости, их значения могут оцениваться с учетом доверительных интервалов.
Если калибровка проведена и значения констант a и b определены, величину Xi находят по измеренному значению yi:
При калибровке величину x рассматривают как аргумент, а величину y - как функцию.
Наличие линейной зависимости между x и y целесообразно подтверждать расчетным путем. Для этого по экспериментальным данным, полученным при калибровке, оценивают достоверность линейной связи между x и y с использованием корреляционного анализа и лишь затем рассчитывают значения констант a и b зависимости (6.1) и их доверительные интервалы. В первом приближении судить о достоверности линейной связи между переменными x и y можно по эмпирической величине коэффициента корреляции r, который вычисляют по уравнению:
(6.3)исходя из экспериментальных данных, представленных в табл. 6. Чем ближе значение |r| к единице, тем менее наблюдаемая линейная зависимость между переменными x и y может рассматриваться как случайная. В аналитической химии в большинстве случаев используют линейные зависимости, отвечающие условию |r| >= 0,98, и только при анализе следовых количеств рассматривают линейные зависимости, для которых |r| >= 0,90. При столь близких к 1 значениях величины |r| формальное подтверждение наличия линейной связи между переменными x и y проводить не следует.
Коэффициенты a и b и метрологические характеристики зависимости (6.1) рассчитывают с использованием регрессионного анализа, т.е. методом наименьших квадратов по экспериментально измеренным значениям переменной y для заданных значений аргумента x. Пусть в результате эксперимента найдены представленные в табл. 6 пары значений аргумента x и функции y.
Тогда:
(6.4) (6.5)f = m - 2. (6.6)
Если полученные значения коэффициентов a и b использовать для вычисления значений y по заданным в табл. 6 значениям аргумента x согласно зависимости (6.1), то вычисленные значения y обозначают через Y1, Y2, ..., Yi, ..., Yn. Разброс значений Yi относительно значений yi характеризуется величиной дисперсии
(6.7)В свою очередь, дисперсии констант b и a находят по уравнениям:
(6.8) (6.9)Стандартные отклонения sb и sa и величины
(6.10) (6.11) (6.12) (6.13)Уравнению (6.1) с константами a и b обязательно удовлетворяет точка с координатами
(6.14) (6.15)Наименьшие отклонения значений yi от значений Yi наблюдаются в окрестностях центра графика. Стандартные отклонения sy и sx величин Y и X, рассчитанных соответственно по уравнениям (6.1) и (6.2), исходя соответственно из известных значений x и y, определяются с учетом удаления последних от центра графика:
где
(6.16 а) (6.17 а)С учетом значений sy и sx могут быть найдены значения величин
(6.18) (6.19)Значения sx и
Обычно результаты статистической обработки по методу наименьших квадратов сводят в таблицу (табл. 7).
Таблица 7
Результаты статистической обработки экспериментальных
данных, полученных при изучении линейной зависимости
y = bx + a
Примечание 6.1. Если целью экспериментальной работы являлось определение констант b и a, графы 11, 12 и 13 табл. 7 не заполняются.
Примечание 6.2. Если y = b·lg x + a, вычисления, описанные в разделе 6, выполняют с учетом примечаний 1.2 и 2.2.
Примечание 6.3. Сравнение дисперсий
случайных переменных
Описанные в разделах 1 - 6 настоящей общей фармакопейной статьи расчеты доверительных интервалов результатов методик анализа применимы лишь в том случае, если измеряемая величина (концентрация, содержание и т.д.) является функцией только одной случайной переменной. Такая ситуация обычно возникает при использовании прямых методов анализа (титрование, определение сульфатной золы, тяжелых металлов и т.д.). Однако большинство методик количественного определения в фармакопейном анализе являются косвенными, то есть используют стандартные образцы. Следовательно, измеряемая величина является функцией, как минимум, двух случайных переменных - аналитических сигналов (оптическая плотность, высота или площадь пика и т.д.) испытуемого и стандартного образцов. Кроме того, нередко возникает проблема прогнозирования неопределенности аналитической методики, состоящей из нескольких стадий (взвешивание, разбавление, конечная аналитическая операция), каждая из которых является по отношению к другой случайной величиной.
Таким образом, возникает общая проблема оценки неопределенности косвенно измеряемой величины, зависящей от нескольких измеряемых величин, в частности, как рассчитывать неопределенность всей аналитической методики, если известны неопределенности отдельных ее составляющих (стадий)?
Если измеряемая на опыте величина y является функцией n независимых случайных величин xi, то есть:
y = f(x1, x2, ..., xn), (7.1)
и число степеней свободы величин xi одинаково или достаточно велико (> 30, чтобы можно было применять статистику Гаусса, а не Стьюдента), то дисперсия величины y связана с дисперсиями величин xi соотношением (правило распространения неопределенностей):
Однако на практике степени свободы величин xi обычно невелики и не равны друг другу. Кроме того, обычно интерес представляют не сами дисперсии (стандартные отклонения), а доверительные интервалы, рассчитать которые, используя уравнение (7.2), при небольших и неодинаковых степенях свободы невозможно. Поэтому для расчета неопределенности величины y
7.1. Линейная модель
Если случайные переменные xi статистически независимы, то доверительный интервал функции
(7.3)Данное выражение является обобщением соотношения (7.2).
В фармакопейном анализе измеряемая величина y представляет собой обычно произведение или частное случайных и постоянных величин (масс навесок, разбавлений, оптических плотностей или площадей пиков и т.д.), т.е. (K - некая константа):
В этом случае соотношение (7.2) принимает вид:
где использованы относительные доверительные интервалы.
Соотношение (7.4) применимо при любых (разных) степенях свободы (в том числе и бесконечных) для величин xi. Его преимуществом является простота и наглядность. Использование абсолютных доверительных интервалов приводит к гораздо более громоздким выражениям, поэтому рекомендуется использовать относительные величины.
При проведении фармакопейного анализа в суммарной неопределенности
и неопределенность аттестации стандартного образца При этом каждое из слагаемых рассчитывается из входящих в него компонентов по формуле (7.5).
Если число степеней свободы величин xi одинаково или достаточно велико (> 30), выражение (7.5) дает:
Это же соотношение получается при тех же условиях и из выражения (7.2).
7.2. Подход Уэлча-Сатертуэйта
В этом подходе дисперсию величины y
В фармакопейном анализе для определяемой величины y обычно выполняется уравнение (7.4). В этом случае в подходе Уэлча-Сатертуэйта соотношение (7.2) переходит в выражение (7.7), и соотношение (7.8) принимает более простой вид:
(7.9)Здесь величина
Подход Уэлча-Сатертуэйта обычно дает более узкие доверительные интервалы, чем линейная модель. Однако он гораздо сложнее в применении и не позволяет выделить так просто неопределенности разных этапов (с последующими рекомендациями по их минимизации), как линейная модель в форме выражения (7.6).
При прогнозе неопределенности анализа используются генеральные величины (с бесконечным числом степеней свободы). В этом случае подход Уэлча-Сатертуэйта совпадает с линейной моделью.
t = 1,958788 + 2,429953/f + 2,189891/f2 + 4,630189/f3 + 1,398179/f при P = 95%; t = 2,5638 + 5,49059/f + 2,72654/f2 + 31,2446/f3 + 21,6745/f10 при P = 99%.
Вернуться в "Каталог нормативных документов"
Источник информации: https://internet-law.ru/documents/prod/gosudarstvennaya-farmakopeya/8/ofs_1_84620.html
На правах рекламы:
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||