"ГОСТ Р 71738-2024. Национальный стандарт Российской Федерации. Системы искусственного интеллекта в лучевой диагностике. Алгоритмы анализа медицинских изображений. Методы испытаний на способность и устойчивость работы с разнородными данными"
(утв. и введен в действие Приказом Росстандарта от 28.10.2024 N 1519-ст)

1 РАЗРАБОТАН Государственным бюджетным учреждением здравоохранения города Москвы "Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы" (ГБУЗ "НПКЦ ДиТ ДЗМ")

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 28 октября 2024 г. N 1519-ст

4 ВВЕДЕН ВПЕРВЫЕ

Настоящий стандарт распространяется на системы искусственного интеллекта в лучевой диагностике, выполняющие анализ медицинских изображений в формате DICOM-файлов.

Примечание - Возможно использование приведенных в настоящем стандарте испытаний на способность и устойчивость работы с разнородными данными также для систем искусственного интеллекта, выполняющих анализ медицинских изображений в других форматах медицинских изображений (JPEG, PNG, NIFTI). Однако это потребует корректировок для учета особенностей других форматов, например в части атрибутов DICOM-файлов.

Настоящий стандарт определяет методы испытаний систем искусственного интеллекта на способность и устойчивость работы с разнородными данными.

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ ISO/IEC 17025-2019 Общие требования к компетентности испытательных и калибровочных лабораторий

ГОСТ Р 59898-2021 Оценка качества систем искусственного интеллекта. Общие положения

ГОСТ Р 59921.5 Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов

ГОСТ Р 59921.7-2022 Системы искусственного интеллекта в клинической медицине. Алгоритмы анализа медицинских изображений. Методы испытаний. Общие требования

ГОСТ Р ИСО 12052 Информатизация здоровья. Цифровые изображения и связь в медицине (DICOM), включая управление документооборотом и данными

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1 артефакт: Любое искажение на изображении, которое может снижать его диагностические возможности.

3.2 генерализуемость: Возможность с определенной степенью надежности экстраполировать результаты, полученные при испытании системы искусственного интеллекта на ограниченном наборе данных, на ее работу в процессе эксплуатации.

3.3 диагностическая ценность медицинского изображения: Мера, которая определяет возможность использования медицинского изображения для качественной оценки наличия или отсутствия патологии.

3.4 модальность медицинского оборудования для лучевой диагностики: Тип метода лучевой диагностики, предназначенного для получения медицинского изображения с использованием различных способов, таких как компьютерная томография, магнитно-резонансная томография, рентгенография, маммография.

3.5

Примечание - Настоящий стандарт рассматривает медицинское изображение как DICOM-файл, состоящий из атрибутов, которые включают атрибут с данными пикселей изображения (далее - изображение) и другие атрибуты, характеризующие пациента, метод получения изображения и т.д. в соответствии с ГОСТ Р ИСО 12052.

3.6

Примечание - Настоящий стандарт рассматривает набор данных как совокупность медицинских изображений.

3.7 разнородные данные (в медицинских изображениях): Данные, которые могут быть поданы на вход системы искусственного интеллекта, обрабатывающей медицинские изображения, при различных сценариях применения.

Примечание - Разнородные данные медицинских изображений в формате DICOM могут удовлетворять одному из следующих критериев:

- наличие изменений изображений [например, данные о пикселях, содержащиеся в атрибуте (7FE0,0010)];

- наличие изменений других атрибутов DICOM-файла, не содержащих данные о пикселях изображения;

- наличие различных характеристик пациентов и/или особенностей выполнения исследования для получения медицинского изображения, соответствующих и не соответствующих технической документации производителя.

3.8

Примечание - Настоящий стандарт применим к системам искусственного интеллекта, которые в своей деятельности применяют алгоритмы анализа медицинских изображений.

В настоящем стандарте применены следующие сокращения:

КТ - компьютерная томография;

МИ - медицинское изображение;

ММГ - маммография;

ОГК - органы грудной клетки;

СИИ - системы искусственного интеллекта;

ФЛГ - флюорография;

DICOM - формат файла для создания, хранения, передачи и визуализации медицинских изображений (Digital Imaging and Communication in Medicine).

5.1 Общие требования к проведению испытаний СИИ, предназначенных для интерпретации МИ лучевой диагностики, на способность и устойчивость работы с разнородными данными приведены в ГОСТ Р 59921.7-2022 (раздел 11).

Общий порядок проведения испытаний представлен в приложении А.

Объем испытаний СИИ на способность и устойчивость работы с разнородными данными устанавливает производитель исходя из потребностей для корректной работы СИИ в разнообразных условиях.

В настоящем стандарте приведены следующие методы испытаний СИИ на способность и устойчивость работы с разнородными данными:

- на устойчивость к трансформациям МИ (см. раздел 6);

- генерализуемость (см. раздел 7);

- корректность выбора МИ для обработки (см. раздел 8);

- возможность обработки МИ с ошибками в атрибутах DICOM-файлов (см. раздел 9).

Для каждого из испытаний формируют набор данных в соответствии с ГОСТ Р 59921.5. Размер набора данных должен быть обоснован и определен исходя из поставленной цели конкретного испытания по ГОСТ Р 59921.5-2022 (подразделы 6.3, 6.4), приложению Б.

Этапы формирования набора данных приведены в [1], [2] и включают:

- сбор данных;

- разметку данных;

- структурирование данных;

- обезличивание данных;

- формирование файлов данных и разметки;

- создание сопроводительного текстового файла (readme-файла).

5.2 Оценку результатов испытаний на способность и устойчивость работы СИИ с разнородными данными проводят в соответствии с ГОСТ Р 59921.7-2022 (пункт 11.7) на основе анализа изменения значений метрик функциональной корректности при подаче на вход СИИ разнородного набора данных либо подгрупп разнородных данных.

Перечень основных метрик функциональной корректности и формулы расчета приведены в ГОСТ Р 59898-2021 (пункт 8.2.3).

Примечания

1 К метрикам функциональной корректности для таких задач СИИ, как классификация и обнаружение в соответствии с ГОСТ Р 59898-2021 (пункт 8.2.3) относят: долю правильных исходов, точность, чувствительность, избирательность (специфичность), F-меру, площадь под кривой ROC, площадь под кривой PRC. Метрики функциональной корректности должны быть рассчитаны с учетом доверительного интервала.

2 В качестве пороговых значений для метрик функциональной корректности предлагается использовать диапазоны по [3], [4]:

- от 0,5 до 0,7 - плохая дискриминация;

- от 0,7 до 0,8 - приемлемая дискриминация;

- от 0,8 до 0,9 - хорошая дискриминация;

- от 0,9 - отличная дискриминация.

В оценку результатов испытаний включают также показатели вероятности безотказной работы с разнородными данными, стабильности ответа при обработке одного и того же МИ и обобщенную оценку, приведенные в таблице 1.

Помимо представленных показателей оценки результатов испытаний может быть проведена оценка стабильности СИИ при работе с разнородными данными по ГОСТ Р 59898-2021 (подраздел 8.8), а также другие параметры оценки, обоснованные производителем, которые он считает целесообразными.

Когда СИИ не может обработать МИ, она должна уведомить пользователя об ошибке.

1 "Неверное количество изображений" - полученное количество изображений отличается от ожидаемого.

2 "Ошибка модальности" - модальность в DICOM-файле не поддерживается СИИ.

3 "Ошибка изображения" - СИИ не смогла определить, что присутствует в DICOM-файле (предметы, отсутствие изображений и прочее).

4 "Другое" - другая ошибка, требующая информации от СИИ.

Примечание - Примеры уведомлений пользователя об ошибке при обработке МИ приведены в [5], [6].

Результаты испытаний СИИ на способность и устойчивость работы с разнородными данными оформляют в виде протокола с учетом ГОСТ ISO/IEC 17025-2019 (подраздел 7.8). Пример заполнения раздела "Результаты" протокола испытаний на способность и устойчивость работы с разнородными данными приведен в приложении В.

Отрицательные результаты испытаний по одному или нескольким методам испытаний настоящего стандарта требуют внесения соответствующих изменений в техническую документацию СИИ в части условий применения СИИ, потенциальных рисков отказа, которые необходимо учитывать при эксплуатации СИИ. В рамках системы менеджмента качества разработки СИИ может быть также вынесено решение о пересмотре этапа разработки СИИ.

Цель испытания - оценка способности СИИ сохранять работоспособность при обработке разнородных данных, сформированных на основе МИ, соответствующих технической документации производителя (например, техническому заданию) и подвергнутых различным трансформациям.

Набор данных для проведения испытаний формируют на основе применения различных трансформаций изображений по отношению к набору данных, включающему МИ, соответствующие технической документации производителя (например, техническому заданию).

Примеры трансформаций изображений включают: изменение яркости, контраста, угла поворота, сдвиги, добавление шума и др. (см. [7]). Могут быть использованы как конкретные трансформации изображений, так и комбинации нескольких видов трансформаций. Трансформации изображений могут быть выбраны в соответствии с модальностью медицинского оборудования для лучевой диагностики, с изображениями которой работает СИИ, чтобы имитировать частые для нее артефакты (см. приложение Г).

Также в описании набора данных может быть включена информация о диагностической ценности включенных в него МИ.

Пример расчета размера набора данных для указанного метода испытаний представлен в Б.2.

Результаты испытания оценивают с использованием следующих параметров:

а) количественные показатели оценки:

1) разница метрик функциональной корректности на исходном и трансформированном наборах данных,

2) стабильность ответа СИИ при обработке одного и того же МИ до и после трансформаций,

3) вероятность безотказной работы с разнородными данными;

б) качественная оценка, которую проводят с помощью проверки наличия уведомления пользователя о том, что СИИ не может обработать МИ по следующим причинам:

1) качество МИ не удовлетворяет требованиям технической документации производителя.

Формулы расчетов показателей приведены в таблице 1.

Примечание - Допустимый порог оценки результатов испытаний определяет производитель СИИ в зависимости от типа и силы трансформации МИ (аугментации), а также от зрелости модели и сложности модальности МИ для оценки врачами-рентгенологами.

Цель испытания - оценка генерализуемости СИИ при работе с разнородными данными, включающими подгруппы данных (связанные с характеристиками пациентов, особенностями получения МИ, с наличием артефактов).

В набор данных включают подгруппы данных, формирование которых связано:

а) с характеристиками пациента;

б) особенностями получения МИ;

в) наличием артефактов.

В случае, указанном в перечислении а), набор данных должен содержать МИ, полученные путем выполнения исследований пациентов, с различными характеристиками. Выделяют следующие характеристики пациентов:

- пол;

- раса;

- возраст;

- наличие сложных для интерпретации случаев патологии, которая соответствует области назначения СИИ;

- наличие физических аномалий;

- наличие патологий, которые не соответствуют области назначения СИИ.

В случае, указанном в перечислении б), набор данных для проведения тестирования должен включать МИ из различных медицинских организаций и с разного оборудования, соответствующего модальности, с которой работает СИИ, в том числе не указанного в технической документации. Также необходимо включение МИ с различными параметрами проведения исследований и способами их реконструкции, включая не указанные в технической документации.

В случае, указанном в перечислении в), формирование подгруппы набора данных для испытания может быть основано на наличии артефактов на МИ, вызванных следующими факторами:

- физическими процессами, обусловленными особенностями проведения исследования;

- действиями пациента и (или) присутствием инородных объектов;

- неисправностью или ошибками при работе оборудования;

- способом проведения исследования, возможными ошибками при проведении исследования.

Более подробное описание возможных артефактов приведено в приложении Г.

Также в описание набора данных может быть включена информация о диагностической ценности включенных в него МИ.

Пример расчета размера набора данных для данного метода испытаний приведен в Б.3.

Результаты испытания оценивают с использованием следующих параметров:

а) количественные показатели оценки:

1) расчет разницы метрик функциональной корректности в подгруппах данных,

2) обобщенная оценка устойчивости СИИ для нескольких подгрупп данных,

3) вероятность безотказной работы с разнородными данными;

б) качественная оценка, которую проводят с помощью оценки статистической значимости разницы метрик функциональной корректности в подгруппах данных и проверки наличия уведомления пользователя о том, что СИИ не может обработать МИ по следующим причинам:

1) параметры МИ не соответствуют параметрам, указанным в технической документации СИИ,

2) МИ содержит артефакты, снижающие его диагностическую ценность,

3) атрибуты DICOM-файла не соответствуют технической документации СИИ.

Примечание - Метод статистической оценки значимости разницы метрик функциональной корректности для подгрупп данных определяет производитель.

Формулы расчетов показателей приведены в таблице 1.

Примечание - Выбор метрики для сравнения зависит от ответа СИИ, по которому производитель принимает решение относительно стабильности ее работы. Например, если выходными данными СИИ является вероятность наличия патологических изменений, то метрика - площадь под кривой ROC; если регрессия порядкового признака, то метрика - качество или МАЕ, если бинарная оценка, то метриками являются F-мера, чувствительность, избирательность (специфичность).

Поступившие на вход СИИ МИ в формате DICOM могут содержать более одного изображения и (или) более одной серии изображений. СИИ должна обладать возможностью корректно выбирать изображения, соответствующие технической документации производителя.

Цель данного испытания СИИ - оценка корректности работы СИИ при выборе МИ, соответствующего технической документации производителя, для дальнейшей обработки МИ.

Для испытания используют наборы данных, содержащие следующие МИ:

- содержащие несколько серий изображений, соответствующих и не соответствующих качеству или параметрам (атрибуты DICOM) МИ, указанных в технической документации производителя;

- содержащие несколько изображений и/или серий изображений, полученных с использованием различных протоколов сканирования и параметрами реконструкции (например, фильтр реконструкции), одно из которых соответствует указанным в технической документации производителя требованиям;

- содержащие несколько изображений и (или) серий изображений с различными плоскостями сканирования (например, аксиальная, сагиттальная, корональная плоскости) и (или) областями тела, одно из которых соответствует указанными в технической документации производителя требованиям;

- не содержащие изображений для обработки СИИ, соответствующих указанными в технической документации производителя требованиям.

Пример расчета размера набора данных для данного метода испытаний приведен в Б.4.

Результаты испытания оценивают с использованием следующих показателей:

а) количественные показатели оценки:

1) вероятность безотказной работы с разнородными данными;

б) качественная оценка, которую проводят с помощью проверки наличия уведомления пользователя о том, что СИИ не может обработать изображение по следующим причинам:

1) необходимые для обработки МИ отсутствуют.

Формулы расчетов показателей приведены в таблице 1.

Медицинское изображение в формате DICOM содержит совокупность атрибутов, которые описывают в том числе метод выполнения исследования, характеристики пациентов, в соответствии с ГОСТ Р ИСО 12052.

Цель данного испытания - оценка стабильности СИИ при работе с МИ формата DICOM, содержащими ошибки, пропуски, изменения или добавления в атрибутах DICOM-файлов, не хранящих данные пикселей изображения.

Для испытания может быть использован набор данных с измененными, добавленными или удаленными атрибутами DICOM-файлов.

Производитель определяет список атрибутов DICOM-файлов для выполнения данного испытания на основании технической документации.

Пример - Перечень атрибутов DICOM-файлов, которые учитывают при проведении данного испытания, включает:

Пример расчета размера набора данных для данного метода испытаний приведен в Б.5.

Результаты испытания оценивают с использованием следующих параметров:

а) количественные показатели оценки:

1) вероятность безотказной работы с разнородными данными;

б) качественная оценка, которую проводят с помощью проверки наличия уведомления пользователя о том, что СИИ не может обработать изображение по следующим причинам:

1) отсутствие необходимых атрибутов в DICOM-файле МИ,

2) атрибуты DICOM-файла не соответствуют технической документации СИИ.

Формулы расчетов показателей приведены в таблице 1.

Пример - Оценка результатов испытания на возможность СИИ обработки МИ с ошибками в атрибутах DICOM-файлов

1) блок 1 - ФЛГ-изображения, с достоверно заполненным атрибутом части тела проведения исследования DICOM-файла;

2) блок 2 - ФЛГ-изображения, с недостоверно заполненным атрибутом части тела проведения исследования DICOM-файла.

Б.1 Необходимый размер выборки n рассчитывают по следующей формуле:

где - значение нормированной случайной величины, соответствующее уровню значимости ;

- значение нормированной случайной величины, соответствующее уровню ошибки II рода;

p - вероятность события, которое необходимо оценить;

- прогнозируемая погрешность (точность) оценивания;

- абсолютная величина систематической ошибки.

Гипотеза: относительное изменение метрики функциональной корректности [см. таблицу 1, формула (1)] СИИ при обработке разнородных данных в испытаниях на устойчивость к трансформациям изображений B от изначального значения метрики A = 0,80e превышает значения 0,1 (10%).

Размер выборки рассчитывают нижеприведенным образом.

Нулевая статистическая гипотеза может быть сформулирована как:

H₀: (0,80 - B)/0,80 > |0,10| или после проведения преобразования:

H₀: B < 0,72 или B > 0,88.

Альтернативная статистическая гипотеза:

H_а: 0,72 <= B <= 0,88.

Для отклонения нулевой статистической гипотезы на уровне значимости 0,05 необходимо показать, что 95%-ный доверительный интервал для B полностью находится в диапазоне [0,72; 0,88], . При прогнозируемом значении B = 0,80 (т.е. отсутствие изменений после трансформации, ) для достижения статистической мощности исследования 80% необходимо включить:

С учетом запаса 10% на наличие брака или невалидные данные в расчет необходимо включить 235 субъектов.

Гипотеза: относительное изменение [см. таблицу 1, формула (2)] метрики функциональной корректности в разных подгруппах данных при обработке СИИ разнородных данных в испытаниях на генерализуемость не превышает 0,2. Изначальное значение метрики A = 0,80.

Размер выборки рассчитывают нижеприведенным образом.

Нулевая статистическая гипотеза может быть сформулирована как:

H₀: (0,80 - B)/0,80 > |0,20| или после проведения преобразования:

H₀: B < 0,64 или B > 0,96.

Альтернативная статистическая гипотеза:

H_а: 0,64 <= B <= 0,96.

Для отклонения нулевой статистической гипотезы на уровне значимости 0,05 необходимо показать, что 95%-ный доверительный интервал для B полностью находится в диапазоне [0,64; 0,96], . При прогнозируемом значении B = 0,80 (т.е. отсутствие изменения после трансформации, ) для достижения статистической мощности исследования 80% необходимо включить:

С учетом запаса 10% на наличие брака или невалидные данные в расчет необходимо включить 47 субъектов.

Гипотеза: в испытаниях на корректность выбора МИ для обработки СИИ вероятность безотказной работы с разнородными данными [см. таблицу 1, формула (3)] составляет не менее 80%.

Размер выборки рассчитывают нижеприведенным образом. Нулевая и альтернативная статистические гипотезы могут быть сформулированы как:

H₀: Pk < 0,80;

H_а: Pk >= 0,80.

Для отклонения нулевой статистической гипотезы на уровне значимости 0,05 необходимо показать, что нижняя граница 95%-ного доверительного интервала для Pk не пересекает значение 0,80. При прогнозируемом значении Pk = 0,85 для достижения статистической мощности исследования 80% необходимо включить:

С учетом запаса 10% на наличие брака или невалидные данные в расчет необходимо включить 345 субъектов.

Гипотеза: в испытаниях на возможность обработки СИИ МИ с ошибками в атрибутах DICOM-файлов вероятность безотказной работы с разнородными данными [см. таблицу 1, формула (3)] составляет не менее 80%.

Размер выборки рассчитывают нижеприведенным образом. Нулевая и альтернативная статистические гипотезы могут быть сформулированы как:

H₀: Pk < 0,80;

H_а: Pk >= 0,80.

Для отклонения нулевой статистической гипотезы на уровне значимости 0,05 необходимо показать, что нижняя граница 95%-ного доверительного интервала для Pk не пересекает значение 0,80. При прогнозируемом значении Pk = 0,85 для достижения статистической мощности исследования 80% необходимо включить:

С учетом запаса 10% на наличие брака или невалидные данные в расчет необходимо включить 345 субъектов.

В.1 В таблицах В.1, В.2 приведены примеры заполнения раздела "Результаты" протокола испытаний.

Г.1 В зависимости от модальности медицинского оборудования для лучевой диагностики в набор данных, содержащих артефакты, в рамках испытания на генерализуемость (см. 7.2) включают МИ, содержащие нижеприведенные артефакты.

Для проведения испытаний СИИ, предназначенных для обработки МИ, полученных с использованием рентгеновских аппаратов или флюорографов, включают МИ, содержащие артефакты [9], указанные в таблице Г.1.

В таблице Г.1 приведена рекомендованная доля указанных артефактов, а также критерий их включения в набор данных для испытаний СИИ на способность и устойчивость работы с разнородными данными.

Для проведения испытаний СИИ, предназначенных для обработки МИ, полученных с использованием маммографов, необходимо включить МИ, содержащие артефакты [10], указанные в таблице Г.2.

Для проведения испытаний СИИ, предназначенных для обработки МИ, полученных с использованием компьютерного томографа, необходимо включить МИ, содержащие артефакты [11], [12], [13], указанные в таблице Г.3.

Для проведения испытаний СИИ, предназначенных для обработки МИ, полученных с использованием магнитно-резонансного томографа, необходимо включить МИ, содержащие артефакты [14], указанные в таблице Г.4.