"ГОСТ Р 59921.1-2022. Национальный стандарт Российской Федерации. Системы искусственного интеллекта в клинической медицине. Часть 1. Клиническая оценка"
(утв. и введен в действие Приказом Росстандарта от 28.06.2022 N 545-ст)

1 РАЗРАБОТАН Федеральным государственным бюджетным учреждением "Российский институт стандартизации" (ФГБУ "РСТ"), Государственным бюджетным учреждением здравоохранения города Москвы "Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы" (ГБУЗ "НПКЦ ДиТ ДЗМ")

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 28 июня 2022 г. N 545-ст

4 ВВЕДЕН ВПЕРВЫЕ

В целях сбора доказательств соответствия системы искусственного интеллекта требованиям эффективности и безопасности проводят ее клиническую оценку, которая наряду с фактическими данными дает возможность продемонстрировать, что система искусственного интеллекта способна выдавать клинически значимый результат при ее эксплуатации надлежащим образом, а также не несет риска при использовании ее по назначению и в условиях, заявленных изготовителем.

Система искусственного интеллекта не оказывает непосредственного воздействия на пациентов и медицинский персонал, вместо этого выполняет только интерпретацию при обработке данных и предоставляет вывод результата работы пользователю, в том числе с целью поддержки принятия решений. Несмотря на это, все заявления изготовителя в отношении уровней эффективности и безопасности изделия (в том числе указанные в маркировке и сопроводительной документации) должны быть подтверждены данными, полученными в ходе проведения клинических испытаний (исследований).

Настоящий стандарт устанавливает общие подходы к проведению клинической оценки систем искусственного интеллекта.

Стандарт применим к системам искусственного интеллекта как программному обеспечению, являющемуся медицинским изделием.

Настоящий национальный стандарт определяет методологическую основу для проведения клинической оценки систем искусственного интеллекта.

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ Р 56429 Изделия медицинские. Клиническая оценка

ГОСТ Р 59921.5 Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов

ГОСТ Р ИСО 14155 Клинические исследования. Надлежащая клиническая практика

ГОСТ Р ИСО/МЭК 12207-2010 Информационная технология. Системная и программная инженерия. Процессы жизненного цикла программных средств

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1 аналитическая валидация (analytical validation): Подтверждение способности системы искусственного интеллекта точно, воспроизводимо и надежно генерировать предполагаемые результаты вычислений из входных данных.

Примечания

1 См. [1].

2 Аналитическая валидация является частным случаем валидации в соответствии с ГОСТ Р ИСО/МЭК 12207-2010, пункт 4.54.

3.2

Примечания

1 Безопасность систем искусственного интеллекта предполагает ее функционирование в соответствии с тем, как определил изготовитель, при использовании по назначению в условиях, предусмотренных изготовителем, и без нарушений безопасности обрабатываемой информации.

2 Условия использования могут включать уровень технических знаний, опыта, образования и подготовки пользователей, наличие заболеваний и физического состояния предполагаемых пациентов.

3 Безопасность системы искусственного интеллекта предполагает соблюдение требований по защищенности систем искусственного интеллекта, данных, прозрачности алгоритмов, бесперебойности, отсутствия ошибок в работе систем искусственного интеллекта, а также требований качества (см. [1]).

3.3

3.4 дизайн клинического испытания [исследования] (clinical trial design): Методология проведения клинического испытания (исследования) с участием человека в качестве субъекта исследования, с помощью которого планируется получить статистически достоверные доказательства клинической безопасности и эффективности испытуемого (исследуемого) медицинского изделия, включающая в себя использование контрольных групп субъектов испытания (исследования), и (или) распределение субъектов испытаний (исследований) по группам случайным образом, и (или) использование одинарного или двойного слепого метода, а также выбор основных и дополнительных конечных точек.

Примечания

1 См. [2].

2 Методология проведения клинического испытания (исследования) системы искусственного интеллекта подразумевает использование в качестве субъекта исследования набора данных, который получен с участием человека путем ретроспективного анализа и т.п.

3.5 достоверность (reliability): Степень объективного соответствия результатов испытаний действительному изменению в состоянии группы пациентов, для которых систему искусственного интеллекта применяют или предполагают к использованию.

3.6

3.7 заявитель [спонсор] (sponsor): Юридическое или физическое лицо, являющееся инициатором клинического испытания (исследования) и несущее ответственность за его организацию и (или) финансирование (см. [2]).

3.8

3.9

3.10 клиническая валидация (clinical validation): Подтверждение способности системы искусственного интеллекта выдавать клинически значимые выходные данные, связанные с целевым использованием системы искусственного интеллекта в рамках установленного изготовителем функционального назначения.

Примечание - См. [1], пункт 7.0.

3.11 клиническая связь (clinical association): Научное обоснование соответствия результатов действия системы искусственного интеллекта установленному изготовителем (производителем) ее функциональному назначению.

Примечания

1 См. [1], пункт 7.0.

2 Научное обоснование достигается путем поиска в литературных источниках, согласно рекомендациям профессиональных сообществ, на основании новых клинических исследований.

3.12

3.13 клиническое испытание [исследование]; КИ (clinical trials): Испытание (исследование) с участием человека в качестве субъекта испытания (исследования), проводимое с целью изучения безопасности и (или) эффективности испытуемого (исследуемого) медицинского изделия и (или) метода диагностики или лечения, связанного с его применением.

Примечания

1 См. [2].

2 Методология проведения клинического испытания (исследования) системы искусственного интеллекта подразумевает использование в качестве субъекта исследования набор данных, который получен с участием человека путем ретроспективного анализа и т.п.

3.14

3.15 медицинские изделия (medical device): Любые инструменты, аппараты, приборы, оборудование, материалы и прочие изделия, применяемые в медицинских целях отдельно или в сочетании между собой, а также вместе с другими принадлежностями, необходимыми для применения указанных изделий по назначению, включая специальное программное обеспечение, и предназначенные производителем для профилактики, диагностики, лечения и медицинской реабилитации заболеваний, мониторинга состояния организма человека, проведения медицинских исследований, восстановления, замещения, изменения анатомической структуры или физиологических функций организма, предотвращения или прерывания беременности, функциональное назначение которых не реализуется путем фармакологического, иммунологического, генетического или метаболического воздействия на организм человека.

Примечание - См. [3], статья 38.

3.16

3.17 набор данных (data set): Совокупность данных, прошедших предварительную подготовку (обработку) в соответствии с требованиями законодательства Российской Федерации об информации, информационных технологиях и о защите информации и необходимости для разработки программного обеспечения на основе искусственного интеллекта.

Примечание - См. [4].

3.18

3.19 программа клинического [клинико-лабораторного] испытания [исследования] (clinical trial protocol, clinical investigation plan): Документ, в котором установлены обоснование, цели, дизайн клинического (клинико-лабораторного) испытания (исследования) и предполагаемый анализ, методология, мониторинг, проведение записей о клиническом (клинико-лабораторном) испытании (исследовании).

Примечание - См. [2]

3.20 программное обеспечение, являющееся медицинским изделием (software as a medical device): Программное обеспечение, предназначенное изготовителем для использования в медицинских целях, не являющееся составной частью и (или) принадлежностью другого медицинского изделия.

Примечания

1 Программное обеспечение является медицинским изделием, при условии соответствия его следующим критериям (см. [5], пункт 18):

- программное обеспечение представляет собой программу для электронно-вычислительной машины или программные модули вне зависимости от используемой аппаратной платформы, а также способов размещения программного обеспечения и предоставления доступа к нему;

- программное обеспечение не является составной частью другого медицинского изделия;

- программное обеспечение предназначено изготовителем для оказания медицинской помощи;

- результат действия программного обеспечения заключается в интерпретации данных в автоматическом режиме, в том числе с использованием технологий искусственного интеллекта, или по заданным медицинским работником параметрам, влияющим на принятие клинических решений, набора данных.

2 См. [6], пункт 5.0.

3.21

3.22 система менеджмента качества системы искусственного интеллекта (quality management system for artificial intelligence systems): Организационная структура, функции, процедуры, процессы и ресурсы, необходимые для скоординированной деятельности по руководству и управлению изготовителем системы искусственного интеллекта применительно к качеству.

3.23 специфичность (specificity): Доля лиц с отрицательным результатом в целевой популяции без изучаемого заболевания (т.е. вероятность того, что объекты без изучаемого заболевания будут определены как здоровые).

3.24 технологии искусственного интеллекта (artificial intelligence technology): Комплекс технологических решений и методов, направленных на создание систем искусственного интеллекта.

3.25 чувствительность (sensitivity): Доля лиц с положительным результатом для целевой популяции с изучаемым заболеванием (т.е. вероятность того, что объекты с изучаемым заболеванием будут определены как патологичные).

3.26 эффективность (efficiency): Совокупность свойств и характеристик системы искусственного интеллекта, обеспечивающих достижение целей предназначения, установленных изготовителем и подтвержденных практикой клинического применения.

СИИ должна проходить клиническую оценку, включающую аналитическую и клиническую валидацию, а также установление клинической связи (см. рисунок 1), при этом в процессе проведения клинической оценки выполняют анализ эффективности, безопасности и качества использования СИИ при ее использовании по назначению изготовителя.

Аналитическая валидация подтверждает способность СИИ точно, воспроизводимо и надежно генерировать предполагаемые результаты вычислений из входных данных.

Аналитическая валидация включает:

- подтверждение и предоставление объективных доказательств того, что программное обеспечение было правильно сконструировано, а именно правильно и надежно обрабатывает входные данные и генерирует выходные данные с надлежащим уровнем точности, а также повторяемостью и воспроизводимостью;

- подтверждение того, что СИИ соответствует заявленным требованиям изготовителя, а также что требования к СИИ соответствуют потребностям пользователя и предполагаемому использованию.

В рамках оценки клинической связи необходимо обосновать соответствие выходных данных СИИ заявленному изготовителем ее функциональному назначению [1].

Примечание - Клиническая связь подтверждает свойство СИИ генерировать выходные данные, которые коррелируют с клиническими факторами исследуемого объекта.

Определение клинической связи выполняют путем анализа имеющихся данных или получения новой информации, обосновывающей наличие связи между выходными данными СИИ и его функциональным назначением [1].

Примеры имеющихся данных включают литературные источники, документацию, рекомендации профессионального сообщества, проведенные предварительные клинико-технические испытания. Примеры новой информации, обосновывающей наличие клинической связи, включают анализ выходных данных после апробации СИИ, выполнение КИ.

4.2.3.1 Общие положения

В рамках клинической валидации необходимо подтвердить способность СИИ выдавать клинически значимые выходные данные, соответствующие целевому назначению СИИ, в том числе в ходе клинической практики [1].

4.2.3.2 Порядок проведения клинической валидации

Клиническая валидация состоит в оценке эффективности (подтверждение достижения намеченной цели в целевой выборке при практическом применении при использовании выходных данных).

Примечание - Выполнение клинической валидации необходимо для подтверждения эффективности (клинической ценности для пациента) применения СИИ в рамках установленного функционального назначения.

4.2.3.3 Процедуры проведения клинической валидации

С целью клинической валидации СИИ разрабатывают дизайн КИ и в соответствии с ним исследователи формируют набор данных.

Клиническую валидацию СИИ проводят на наборе данных, который не был использован для обучения, настройки и первичной оценки СИИ.

Помимо расчета показателей клинической валидации (чувствительность, специфичность и др.), на этом этапе следует протестировать устойчивость модели к изменениям входных данных (например, данные из иной медицинской организации, которые не участвовали в процессе обучения).

По результатам проведения оценки клинической связи и клинической валидации оформляют отчетные документы, подтверждающие результаты клинических испытаний (исследований) СИИ, в том числе на основании требований действующих нормативных правовых актов (НПА).

КИ (как часть клинической оценки) СИИ могут быть проведены для проверки эффективности СИИ, обеспечения доверия к СИИ со стороны пользователей, в целях оценки возможности дальнейшего практического применения, и должны соответствовать требованиям соответствующих НПА.

Виды клинических испытаний (исследований) СИИ:

1 КИ с целью регистрации СИИ в качестве медицинского изделия. Данный вид испытаний проводят в соответствии с действующими НПА.

2 Предварительные клинико-технические испытания.

Предварительные клинико-технические испытания (ПКТИ) представляют собой разработанное и запланированное испытание, предпринятое для предварительной, научно-практической оценки безопасности и потенциальной эффективности СИИ [7].

ПКТИ проводят с целью получения дополнительных знаний о возможностях и ограничениях СИИ. ПКТИ применимы в контексте научно-исследовательских, опытно-конструкторских работ, а также в качестве инструмента оценки медико-технической готовности СИИ для применения в реальных клинических условиях. По завершении ПКТИ результаты клинической составляющей испытаний следует оформлять в виде отчета в соответствии с приложением А.

3 Иные виды КИ.

КИ проводят в соответствии с программой и методикой для оценки эффективности и безопасности применения СИИ.

В рамках подготовки и проведения КИ СИИ возможно рассмотрение вопросов, связанных с этическими нормами применения искусственного интеллекта (ИИ).

Данные вопросы могут быть подняты на следующих этапах работы:

- при рассмотрении программы: одобрение дизайна испытаний (исследований), процедуры формирования набора данных;

- при оценке соответствия квалификации исследователей предлагаемому испытанию (исследованию);

- при контроле сбора данных и формирования наборов данных для проведения КИ СИИ;

- при анализе возможных неблагоприятных событий, возникающих при использовании СИИ;

- при анализе документов с результатами клинических испытаний (исследований);

- и др. [2].

Эксперты и исследователи, принимающие участие в проведении КИ и последующей оценке полученных результатов, должны иметь квалификацию, подтвержденную обучением, стажировкой или наличием опыта выполнения по специализации в соответствии с назначением СИИ, что должно быть подтверждено сведениями об образовании, профессиональной сертификации/лицензиях, статусе в профессиональных/научных ассоциациях/организациях и прочим (подтверждено документально) (см. ГОСТ Р 56429).

В соответствии с ГОСТ Р 56429 установленные требования к исследователям, участвующим в проведении КИ, необходимы для демонстрации того, что они могут принять на себя ответственность за надлежащее проведение клинической оценки.

Примечание - Данное требование к персоналу, проводящему клинические испытания (исследования), неприменимо к экспертам регулирующего органа, а также его подведомственных учреждений, которые осуществляют оценку результатов клинических испытаний (исследований).

До начала проведения КИ должны быть выполнены следующие действия:

- получена от изготовителя документация на СИИ;

- проведены технические испытания СИИ и получены акты, протоколы оценки результатов технических испытаний (за исключением проведения предварительных клинико-технических испытаний);

- заключен договор на проведение КИ;

- определено предусмотренное изготовителем назначение СИИ на основании представленной изготовителем эксплуатационной и/или технической документации;

- идентифицированы заявленные изготовителем уровни эффективности и безопасности СИИ, требующие подтверждения (показатели клинической валидации);

- составлена и направлена в независимый этический комитет программа клинических испытаний (исследований);

- проведена инсталляция СИИ (при необходимости).

Программу КИ разрабатывают в соответствии с описанием назначения СИИ, анализом данных, касающихся эксплуатационных характеристик СИИ, и предполагаемым методом применения.

Программа КИ должна быть разработана таким образом, чтобы полученные результаты испытаний (исследований) позволили оценить, подходит ли исследуемая СИИ для цели(ей) и групп пациентов, для которой(ых) она предназначена [8], а также ее клиническую эффективность.

В программе КИ должны быть четко определены гипотеза и цели КИ (первичные и вторичные), а также объем выборки, заявленные характеристики и предполагаемая эффективность изделия, которые следует верифицировать.

В программе КИ должны быть указаны методы анализа и обработки данных, включая статистические методы обоснования объема выборки.

Главный исследователь, исследователи и другие лица, задействованные в КИ, должны следовать программе клинических испытаний (исследований).

Документы и данные необходимо создавать и поддерживать таким образом, чтобы обеспечивать возможность управления и прослеживаемость.

После завершения КИ должны быть оформлены отчетные документы, подтверждающие результаты клинических испытаний (исследований) СИИ в соответствии с применимыми регулирующими требованиями, даже если КИ было прекращено (см. 5.7).

Отчетные документы по результатам КИ должны быть оформлены в соответствии с ГОСТ Р ИСО 14155 и действующими НПА.

Заявитель и главный исследователь должны хранить отчетные документы по КИ, согласно применимым регулирующим требованиям, но не менее трех лет с даты завершения КИ. Заявитель и главный исследователь должны использовать процедуры по предотвращению случайного или преднамеренного уничтожения данных документов. Главный исследователь или заявитель могут передавать обязанности по ответственному хранению документов другим лицам/сторонам, при этом необходимо документально подтверждать данную передачу в соответствии с действующими НПА по защите персональных данных.

Процедуры завершения (закрытия) необходимо проводить для подтверждения того, что все документы, необходимые заявителю, получены, СИИ деинсталлирована, идентифицированные ранее проблемы решены и все стороны уведомлены.

Если преждевременно происходит прекращение или приостановление испытаний (исследований) без предварительного согласия заявителя, необходимо незамедлительно проинформировать об этом заявителя, а также предоставить подробное письменное объяснение причины приостановки или прекращения испытания (исследования). Вне зависимости от причины приостановки или прекращения КИ должны быть в полном объеме соблюдены все процедуры, обеспечивающие безопасность вовлеченных в него данных.

Возможные причины прекращения или приостановки клинических испытаний (исследований) СИИ:

- отказ работы СИИ;

- пересмотр программы КИ в процессе испытаний (исследований).

Заявитель может приостановить или прекратить (досрочно завершить) любое клиническое испытание (исследование) в определенном исследовательском центре или все клиническое испытание (исследование) по существенным и документированным причинам.

Главный исследователь, независимый этический комитет или регулирующий орган может приостановить или прекратить участие в клиническом испытании (исследовании) исследовательского центра, за который они ответственны.

Если возникает подозрение на неприемлемый риск для субъектов во время клинического испытания (исследования) или если это предписано независимым этическим комитетом или регулирующими органами, заявитель должен приостановить клиническое испытание (исследование) до тех пор, пока оценивается риск клинического испытания (исследования). Заявитель должен прекратить клиническое испытание (исследование), если подтверждается неприемлемый риск.

Заявитель должен рассматривать возможность прекращения или приостановки участия в клиническом испытании (исследовании) определенного исследовательского центра или исследователя, если мониторинг или аудит выявляет серьезные или неоднократные отклонения со стороны исследователя.

В целях оценки эффективности СИИ для выполнения клинической валидации применяют набор данных. Размер набора данных (т.е. размер выборки) для оценки характеристик СИИ устанавливают с помощью методик определения размера выборки для пропорций и с учетом правил статистики (например, с использованием метода установления требуемой точности для оцениваемой чувствительности, специфичности).

При проведении клинической валидации необходимо использовать верифицированный набор данных.

Для каждого конкретного случая использования СИИ исследователями должны быть заданы параметры эффективности СИИ, и для проверки в рамках КИ должны быть переданы показатели от изготовителя для СИИ.

Структура и порядок применения набора данных должны соответствовать требованиям ГОСТ Р 59921.5.

Набор показателей в рамках клинической валидации (параметры эффективности) устанавливает изготовитель СИИ в зависимости от назначения СИИ, а также с учетом общепризнанного уровня развития знаний.

В таблице 1 приведены виды результатов применения ИИ в случае ответов в бинарной системе (0/1) [7]. В таблице 2 представлены примеры показателей для клинической валидации и подходы к их оценке.

Весь процесс КИ сопровождается соблюдением общих принципов обеспечения качества. Система менеджмента качества подразумевает выполнение определенных требований, контроль над их выполнением и документирование, а также проведение контрольно-надзорных мероприятий в соответствии с действующими НПА.

Контроль качества осуществляют на всех этапах выполнения КИ СИИ ввиду необходимости обеспечения достоверности. Созданные и разработанные документы должны быть оформлены соответствующим образом и должны подлежать хранению после окончания КИ.

Заявитель КИ отвечает за выбор исследовательского центра, за инициацию проведения КИ, предоставление прямого доступа к технической и эксплуатационной документации (в том числе руководству пользователя к СИИ), а также предоставления остального комплекта документов, установленного НПА, исследователям.

Заявитель КИ дает доступ к СИИ (оказывает содействие в инсталляции исследуемой СИИ, включая предоставление специального оборудования, разработанного изготовителем (при наличии)).

Заявитель КИ выполняет доработку технической и эксплуатационной документации согласно замечаниям исследователей (при необходимости).

Заявитель КИ должен согласовывать программу КИ и должен избегать злоупотребления влиянием или мотивации субъекта, наблюдателя, исследователя(ей) или других сторон, принимающих участие или обеспечивающих проведение клинического испытания (исследования).

Заявитель КИ должен оценивать степень и вид мониторинга, подходящего для клинического испытания (исследования).

Заявитель КИ должен хранить документы по клиническому испытанию (исследованию), как того требуют применимые регулирующие требования. Он должен предпринимать меры по предотвращению случайного или преднамеренного уничтожения данных документов. Заявитель КИ может передавать обязанности по хранению документов другим лицам/сторонам в исследовательском центре или учреждении заявителя КИ, при этом необходимо документально подтверждать данную передачу.