"ГОСТ Р 71737-2024. Национальный стандарт Российской Федерации. Системы искусственного интеллекта в здравоохранении. Применение менеджмента риска к медицинским изделиям. Общие положения"
(утв. и введен в действие Приказом Росстандарта от 28.10.2024 N 1518-ст)

1 РАЗРАБОТАН Государственным бюджетным учреждением здравоохранения города Москвы "Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы" (ГБУЗ "НПКЦ ДиТ ДЗМ")

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 28 октября 2024 г. N 1518-ст

4 ВВЕДЕН ВПЕРВЫЕ

Настоящий стандарт содержит руководящие указания по применению положений ГОСТ ISO 14971 в отношении процесса управления рисками при оценке систем искусственного интеллекта в качестве программного обеспечения, являющегося медицинским изделием.

Настоящий стандарт адаптирует и дополняет принципы и процесс для управления рисками, связанными с применением медицинских изделий. Представленные дополнения предназначены для оказания помощи изготовителям систем искусственного интеллекта по управлению рисками при разработке и по применению систем искусственного интеллекта в качестве программного обеспечения, являющегося медицинским изделием.

Настоящий стандарт позволит изготовителям эффективно управлять рисками, связанными с применением систем искусственного интеллекта, являющихся медицинскими изделиями, и будет способствовать безопасности, качеству и инновационному развитию в данной области.

Настоящий стандарт определяет порядок управления рисками при разработке систем искусственного интеллекта (СИИ):

- оценку условий возникновения рисков, связанных с работой СИИ;

- анализ репутационной надежности изготовителя СИИ;

- проверку пригодности использования СИИ в конкретных условиях;

- порядок оценки соответствия характеристик СИИ установленным требованиям;

- тестирование на наличие технологических дефектов работы СИИ и соответствие выходных параметров работы СИИ результатам экспертного мнения врача.

Настоящий стандарт не изменяет и не противоречит требованиям ГОСТ ISO 14971, ГОСТ Р 55544.

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ ISO 13485-2017 Изделия медицинские. Системы менеджмента качества. Требования для целей регулирования

ГОСТ ISO 14971-2021 Изделия медицинские. Применение менеджмента риска к медицинским изделиям

ГОСТ Р 55544-2013/IEC/TR 80002-1:2009 Программное обеспечение медицинских изделий. Часть 1. Руководство по применению ИСО 14971 к программному обеспечению медицинских изделий

ГОСТ Р 55544-2013/IEC/TR 80002-1:2009 Программное обеспечение медицинских изделий. Часть 1. Руководство по применению ИСО 14971 к программному обеспечению медицинских изделий

ГОСТ Р 57449/ISO/TR 24971:2013 Изделия медицинские. Руководство по применению ИСО 14971

ГОСТ Р 59921.0 Системы искусственного интеллекта в клинической медицине. Основные положения

ГОСТ Р 59921.5 Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов

ГОСТ Р ИСО 31000-2019 Менеджмент риска. Принципы и руководство

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

В настоящем стандарте применены термины по ГОСТ Р 59921.0, а также следующие термины с соответствующими определениями:

3.1 менеджмент риска (медицинских изделий): Систематическое применение политики, процедур и практических методов менеджмента для решения задач анализа, оценивания, управления и мониторинга риска медицинских изделий при оценке систем искусственного интеллекта в качестве программного обеспечения, являющегося медицинским изделием.

3.2

3.3

Изготовителю СИИ следует применять основанный на учете рисков подход к выявлению, оценке и пониманию рисков искусственного интеллекта, которым они подвергаются, и принимать надлежащие меры по уменьшению рисков в соответствии с их уровнем. Цель системы управления рисками заключается в оказании изготовителю СИИ содействия в ее интеграции в значимые виды деятельности заказчика. Риски следует определять таким образом, чтобы они были связаны с целями применения СИИ. При этом не все цели имеют отношение ко всем видам использования СИИ, и в зависимости от характера применения в некоторых случаях необходимо определить дополнительные цели.

Степень ответственности руководства определена в соответствии с приведенной в ГОСТ ISO 14971-2021 (подраздел 4.2).

При установлении критериев допустимости риска следует учитывать отличия СИИ от традиционных медицинских изделий.

Примечание - Некоторые СИИ могут предоставлять дополнительную функцию расширения или замены обязанностей, которые ранее (без применения СИИ) входили в обязанности персонала, поэтому при необходимости следует уточнять требования безопасности.

Требования безопасности должны включать результаты оценок ограничений и производительности СИИ, а также необходимую подготовку персонала для адекватной реакции на возможные ошибки работы СИИ.

Компетентность лиц, выполняющих задачи менеджмента риска, определяют в соответствии с требованиями ГОСТ ISO 14971-2021 (подраздел 4.3).

Лица, выполняющие задачи менеджмента риска медицинских изделий, должны обладать достаточным объемом специальных знаний в конкретной предметной области, а также общими знаниями о данных (наборах данных), которые используют для обучения и валидации (тестирования) СИИ. Помимо качества данных необходимо понимать контекст данных.

Примечание - У людей существуют некоторые физиологические различия, которые можно объяснить различиями в их демографических характеристиках (например, плотность ткани молочной железы). Разработка СИИ без учета демографических характеристик может привести к непреднамеренному смещению и последующей некорректной работе СИИ.

Разработку плана менеджмента риска осуществляют в соответствии с приведенным в ГОСТ ISO 14971-2021 (подраздел 4.4). Дополнительные руководящие указания по плану менеджмента риска представлены в ГОСТ Р 57449.

Руководящие указания относительно файла менеджмента риска приведены в ГОСТ ISO 14971-2021 (подраздел 4.5). Дополнительные руководящие указания относительно файла менеджмента риска в части программного обеспечения как медицинского изделия представлены в ГОСТ Р 55544.

Анализ риска проводят в соответствии с приведенным в ГОСТ ISO 14971-2021 (подраздел 5.1). В процессе анализа риска применяют также положения ГОСТ Р ИСО 31000-2019 (пункт 6.4.3).

Документирование предусмотренного применения и обоснованно прогнозируемого неправильного применения проводят в соответствии с требованиями ГОСТ ISO 14971-2021 (подраздел 5.2).

Дополнительно в рамках менеджмента риска медицинских изделий применительно к СИИ применяют положения ГОСТ Р ИСО 31000-2019 (пункты 6.3.1, 6.3.2).

В дополнение к положениям, приведенным в ГОСТ Р ИСО 31000-2019 (пункт 6.3.1), для медицинских организаций, использующих СИИ, необходимо расширить сферу управления рисками применения СИИ, среду процесса управления рисками СИИ и критерии оценки значимости риска для поддержки процессов принятия решений. Перечень разработки или применения СИИ должен быть задокументирован и включен в процесс управления рисками медицинской организации или у изготовителя СИИ.

Кроме того, следует учитывать цели и назначение СИИ, разработанных или используемых медицинской организацией.

Документирование предусмотренного применения СИИ включает (но не ограничивается) следующее:

- предназначение (например, для диагностики, профилактики, наблюдения, лечения или облегчения течения заболеваний);

- основные задачи (например, интерпретация медицинских изображений);

- целевую группу (например, пациенты с подозрением на наличие патологии);

- условия применения;

- способность к непрерывному обучению;

- наличие противопоказаний.

Идентификацию характеристик, связанных с безопасностью, проводят в соответствии с требованиями ГОСТ ISO 14971-2021 (подраздел 5.3).

Помимо общих свойств, влияющих на безопасность и производительность программного обеспечения, особое значение для СИИ имеют качество и адекватность данных (наборов данных), используемых для обучения и валидации (тестирования) СИИ. Результаты валидационных тестирований СИИ следует проанализировать, чтобы оценить риски ошибки в выходных данных, которые могут прямо или косвенно повлиять на безопасность пациента.

Данные обучения и тестирования следует проверять на предмет их актуальности и соответствия намеченной цели. Объем требуемых обучающих и тестовых данных (наборов данных) может варьироваться в зависимости от предполагаемой функциональности и сложности окружения. Обучающие и тестовые наборы данных должны обладать такими характеристиками, как баланс классов, их распределение и т.д., чтобы обеспечить высокую прогнозируемую способность СИИ.

Наборы данных для обучения и тестирования должны соответствовать требованиям ГОСТ Р 59921.5.

Идентификацию опасностей и опасных ситуаций проводят в соответствии с требованиями ГОСТ ISO 14971-2021 (подраздел 5.4).

Изготовитель должен идентифицировать и документировать выявленные и предполагаемые риски. Для СИИ предполагаемыми рисками использования могут являться следующие:

- ошибки эксплуатации (некорректно заданные параметры могут повлиять на работу СИИ и привести к нежелательным последствиям для принятого решения врача и, как следствие, для пациента);

- некорректная настройка баланса между чувствительностью и специфичностью СИИ (может привести к ошибочным результатам работы СИИ и потенциально к пропуску диагноза или его изменению);

- сложный (комплексный) дизайн интерфейса СИИ (может привести к предвзятости или чрезмерному ненадлежащему влиянию на медицинский персонал в качестве пользователя);

- применение СИИ не по назначению.

Примечание - Предполагаемые риски не ограничиваются вышеперечисленными.

При возникновении предполагаемых рисков при эксплуатации СИИ медицинским организациям необходимо направлять информацию о возникшем событии изготовителю посредством заранее определенных видов коммуникации (обратной связи). Изготовитель в свою очередь обязан отражать данную информацию в отчете по мониторингу работы СИИ для регулирующего органа.

Определение риска проводят в соответствии с требованиями ГОСТ ISO 14971-2021 (подраздел 5.5).

С целью идентификации (определения) риска применяют положения ГОСТ Р ИСО 31000-2019 (пункт 6.4.2).

В дополнение к положениям, приведенным в ГОСТ Р ИСО 31000-2019 (пункт 6.4.2), при определении риска необходимо учитывать следующее:

- анализ рисков включает оценку рисков, связанных с медицинским изделием (риск определяют как сочетание вероятности причинения вреда и тяжести этого вреда);

- СИИ имеют много общих характеристик с системами, не относящимися к искусственному интеллекту, и на вероятность причинения потенциального вреда влияют такие факторы, как надежность аппаратного обеспечения и удобство использования (как и в случае с другими рисками, связанными с программным обеспечением, вероятность непрогнозируемого поведения СИИ сложно оценить, и к ней следует относиться так же, как и к сбоям программного обеспечения);

- исходя из выявленных рисков могут потребоваться дополнительные мероприятия по оценке рисков.

Примечания

1 Возможность чрезмерного доверия к результатам работы СИИ может привести к необходимости дополнительных оценок рисков использования СИИ.

2 Вероятность низкого качества наборов данных (например, несбалансированные данные) может привести к повышенной вероятности рисков в процессе работы СИИ.

3 Следует учитывать возможное влияние СИИ на медицинские устройства.

Для комплексного анализа риска применяют также положения ГОСТ Р ИСО 31000-2019 (пункт 6.4.3).

При оценке последствий, выявленных в ходе оценки рисков, изготовитель должен проводить различие между оценкой воздействия на отдельных лиц (персонал) и оценкой воздействия на общество.

Анализ воздействия должен определять степень воздействия и учитывать следующие элементы:

- критичность воздействия;

- материальные и нематериальные последствия;

- критерии, используемые для определения воздействия.

Анализ воздействия на отдельных лиц должен определять степень влияния разработки и/или использования СИИ изготовителем или медицинской организацией. Должны быть учтены следующие элементы:

- типы данных, используемых отдельными лицами;

- прогнозируемое воздействие разработки или применения СИИ;

- потенциальное влияние предвзятости на отдельного человека;

- потенциальное воздействие на основные права, которое может привести к материальному и нематериальному ущербу для отдельного лица;

- безопасность отдельного лица;

- культурная среда индивида (которая может повлиять на то, как определяется относительное воздействие).

Анализ воздействия на общество должен определять ту степень, в которой общество может быть затронуто разработкой и/или использованием СИИ медицинской организацией. Должны быть учтены следующие элементы:

- масштаб воздействия на общество (насколько широк охват СИИ различных групп населения), в том числе для кого СИИ применяется или предназначена (например, ее использование правительством потенциально может оказать большее влияние на общество, чем частное задействование);

- каким образом СИИ влияет на социальные и культурные ценности, которых придерживаются различные группы населения (включая конкретные способы, которыми СИИ усиливает или уменьшает ранее существовавшие модели причинения вреда разным социальным группам).

Изготовитель СИИ должен оценить вероятность возникновения событий и результатов, вызывающих риски. Вероятность может быть определена по качественной или количественной шкале. Вероятность может зависеть от следующих причин:

- типов, значимости и количества источников риска;

- частоты, существенности и распространенности угроз;

- внутренних факторов, таких как эффективность политики и процедур и мотивация внутренних участников;

- внешних факторов, таких как география и другие социальные, экономические и экологические проблемы;

- эффективного (смягчающего) или нерезультативного контроля.

Организациям следует включать расчеты вероятности только в тех случаях, когда они применимы и полезны для определения границ использования методов оценки рисков. Могут возникнуть значительные технические и экономические задачи, связанные с принятием решений на основе вероятностей, особенно когда вероятность не может быть рассчитана или расчет имеет значительную погрешность.

При оценке риска следует проводить оценку надежности изготовителя СИИ, пригодности СИИ к использованию в конкретных условиях, соответствия заявляемых параметров валидации (при оценке эффективности) СИИ.

Оценка надежности изготовителя СИИ должна быть основана на следующих критериях:

- наличие профессиональных навыков и опыта работы с СИИ;

- наличие знаний в области этики и прав человека в контексте использования СИИ в сфере здравоохранения (как медицинского изделия);

- соблюдение стандартов качества и безопасности при разработке СИИ;

- наличие документов о государственной регистрации юридического лица на территории Российской Федерации;

- наличие документов, подтверждающих разработку и (или) право на предоставление в использование представленной СИИ.

Оценку надежности изготовителя СИИ проводят путем:

- анализа документации и сертификатов соответствия (проверки наличия и актуальности сертификатов соответствия стандартам безопасности информации и защиты данных);

- оценки качества управления рисками (исследования механизмов идентификации, оценки и контроля рисков, связанных с использованием СИИ в здравоохранении, включая процедуры внутреннего аудита и мониторинга);

- изучения истории и репутации компании (анализа отзывов клиентов, партнеров и конкурентов, а также участия в судебных процессах, связанных с нарушениями прав потребителей или недобросовестной конкуренцией);

- экспертизы технического уровня и квалификации персонала (оценки уровня знаний и опыта сотрудников).

При оценке пригодности СИИ к использованию в конкретных условиях, включая определенные модели медицинского оборудования, рекомендуется выполнить следующие действия:

- провести детальный анализ требований и спецификаций медицинского оборудования с учетом его технических характеристик, стандартов безопасности и регуляторных требований;

- оценить степень совместимости СИИ с существующими системами и процессами в здравоохранении, выявив потенциальные проблемы взаимодействия;

- провести технические испытания с целью определения соответствия характеристик медицинского изделия требованиям нормативной документации, технической и эксплуатационной документации производителя и принятия последующего решения о возможности проведения клинических испытаний;

- провести клинические испытания (при завершенном проведении технических испытаний), которые представляют собой разработанное и запланированное систематическое исследование, предпринятое для оценки безопасности и эффективности медицинского изделия;

- оценить риски для конфиденциальности персональных данных пациентов.

Основным инструментом для оценки соответствия являются методы статистического анализа. Использование таких методов позволяет сравнить результаты работы СИИ с данными, полученными в ходе проведения клинических испытаний или в процессе эксплуатации СИИ. В зависимости от решаемой СИИ задачи могут быть применены различные сочетания параметров валидации (при оценке эффективности), например: анализ характеристической кривой и определение коэффициента согласованности классификаций и т.д. Такие основные показатели, как чувствительность, специфичность, площадь под характеристической кривой, должны быть использованы для характеристики каждого типового действия СИИ.

При оценке риска снижения параметров валидации (при оценке эффективности) при внедрении СИИ в новых условиях пристальное внимание необходимо уделять следующим аспектам:

- анализу изменений параметров валидации СИИ в новых условиях использования, включая окружающую среду, процессы работы и поведение пользователей;

- анализу условий применения СИИ.

Примечание - Испытуемые СИИ следует использовать по целевому назначению в рамках типового производственного процесса. Процедуры, выполняемые с применением СИИ, оценивают с позиций производительности и качества. Изготовителю следует предусмотреть меры по минимизации рисков и обеспечению безопасности (безвредности для пациентов и их законных представителей) производственных процессов;

- мониторингу работы СИИ после внедрения в новых условиях для своевременного выявления и корректировки возникающих задач, минимизации рисков снижения параметров валидации.

Анализ возможностей управления риском проводят по представленному в ГОСТ ISO 14971-2021 (подраздел 7.1).

В рамках анализа возможностей управления риском следует учесть контроль качества наборов данных. Управление рисками, связанными с качеством наборов данных, включают в себя действия на протяжении всего жизненного цикла данных, такие как проверка полноты, правильности и согласованности данных, а также проверка того, что данные являются наиболее репрезентативными на данный момент для данной СИИ.

Выполнение мер по управлению рисками проводят в соответствии с требованиями ГОСТ ISO 14971-2021 (подраздел 7.2).

Дополнительные руководящие указания относительно управления рисками в программном обеспечении медицинских изделий представлены в ГОСТ Р 55544-2013 (раздел 6).

Оценивание остаточного риска проводят в соответствии с приведенным в ГОСТ ISO 14971-2021 (подраздел 7.3).

При оценивании остаточного риска применяют также положения ГОСТ Р ИСО 31000-2019 (пункт 6.5.2), ГОСТ Р 55544-2013 (подраздел 6.4) и ГОСТ Р 57449-2017 (раздел 5).

Варианты обработки рисков, определенные изготовителем СИИ, должны быть разработаны таким образом, чтобы снизить риски до приемлемого уровня. Если выяснится, что требуемое снижение риска не может быть достигнуто путем применения различных вариантов обработки рисков, изготовитель СИИ должен проводить анализ рисков и выгод для остаточных рисков.

Анализ соотношения риск/польза проводят в соответствии с требованиями ГОСТ ISO 14971-2021 (подраздел 7.4).

Анализ рисков, возникающих вследствие выполнения мер по управлению риском, проводят в соответствии с приведенным в ГОСТ ISO 14971-2021 (подраздел 7.5).

Дополнительные руководящие указания приведены в ГОСТ Р 55544-2013 (подраздел 6.6).

Тестирование работы СИИ на наличие технологических дефектов включает регулярную проверку СИИ для выявления сбоев в работе, несовместимости с иными системами, несоответствия функциональным требованиям, предъявляемым изготовителем к СИИ.

Оценка производительности работы СИИ включает оценку времени выполнения ключевых операций, потребления ресурсов (центральный процессор, память), а также нагрузочное тестирование в условиях реальной эксплуатации.

Для обеспечения непрерывной работы медицинских организаций производительность СИИ должна соответствовать требованиям, установленным изготовителем.

С целью минимизации рисков необходимо проводить регулярные проверки на уязвимость, тестирование на проникновение и оценку соответствия стандартам безопасности данных.

Необходимо обеспечивать шифрование данных и соблюдение стандартов конфиденциальности.

В ходе оценки использования СИИ необходимо проводить анализ частоты и условий использования СИИ медицинскими работниками (врачами) для выявления задач применения и интеграции в клинические процессы.

Также необходимо получать обратную связь от медицинских работников (врачей) для отслеживания состояния работы СИИ.

С целью минимизации рисков использования СИИ рекомендуется проведение регулярных тренингов для медицинского персонала (врачей) по использованию СИИ.

Для повышения удобства и эффективности использования СИИ в клинической практике адаптацию СИИ проводят на основе обратной связи от медицинских работников (врачей).

Оценивание совокупного остаточного риска проводят в соответствии с требованиями ГОСТ ISO 14971-2021 (раздел 8).

Дополнительные руководящие указания относительно программного обеспечения медицинских изделий представлены в ГОСТ Р 55544-2013 (раздел 7).

Анализ плана менеджмента риска проводят в соответствии с требованиями ГОСТ ISO 14971-2021 (раздел 9).

Создание системы активного сбора и анализа информации, относящейся к медицинскому изделию, на стадиях производства и постпроизводства проводят в соответствии с требованиями ГОСТ ISO 14971-2021 (подраздел 10.1).

Дополнительные руководящие указания относительно программного обеспечения медицинских изделий представлены в ГОСТ Р 55544-2013 (раздел 9).

Сбор информации осуществляют в соответствии с представленным в ГОСТ ISO 14971-2021 (подраздел 10.2).

Безопасность и эффективность СИИ необходимо оценивать также в рамках жизненного цикла после получения регистрационного удостоверения, в том числе путем проведения мониторинга в соответствии с [1] - [3].

Наборы данных лежат в основе разработки СИИ, а также являются неотъемлемой частью оценки качества СИИ в процессе их внедрения и использования. Ошибки и дефекты при создании наборов данных напрямую влияют на качество как самих СИИ, так и на качество их оценки при тестировании и мониторинге.

К ошибкам и недостаткам наборов данных, повышающим риски на стадиях жизненного цикла СИИ, относят следующие:

- отсутствие стандартизованной документации и терминологии как в процессе подготовки набора данных (техническое задание, требования, регламенты, инструкции и т.д.), так и уже готового набора данных (сопроводительная информация - readme-файл, карточка библиотеки наборов данных);

- отсутствие проверки качества наборов данных (контроль критериев включения/невключения, дубликатов, дефектов, пропущенных и некорректных значений, баланса классов);

- отсутствие деидентификации или частичная деидентификация данных;

- отсутствие или некорректное обоснование объема выборки и баланса классов набора данных;

- нерепрезентативный для целевой популяции набор данных;

- несоответствующая целевому применению СИИ верификация наборов данных;

- отсутствие внешней валидации СИИ на наборах данных.

Способы минимизации рисков при разработке и применении наборов данных:

- разработка стандартизованных методологий формирования наборов данных (см. [4]);

- разработка стандартизованных шаблонов, форм, чек-листов, регламентов, инструкций для сопровождения процесса создания и использования наборов данных;

- использование стандартизованных структурированных наименований наборов данных с указанием ключевых параметров (см. [5]);

- использование инструментов управления (диаграмма Ганта и др.), в том числе специализированных, таких как реестр наборов данных (см. [6]);

- деидентификация данных, в том числе с применением специального программного обеспечения, в соответствии с действующим законодательством;

- специализированное обучение персонала, участвующего в процессах создания и использования наборов данных;

- создание автоматизированных средств контроля качества данных и тестирования СИИ;

- статистическое обоснование размера и состава набора данных в соответствии с принципами доказательной медицины;

- привлечение компетентного персонала для корректной формулировки необходимых требований, рационального планирования всех процессов и обеспечения качества набора данных;

- проведение валидационных тестирований СИИ на наборах данных, а также использование наборов данных из открытых источников (библиотек).

Анализ информации проводят в соответствии с требованиями ГОСТ ISO 14971-2021 (подраздел 10.3).

Для контроля риска, связанного с изменениями с течением времени, рекомендуется осуществлять сравнение результатов СИИ в разные периоды времени. Аналогично принципу "второго мнения" в здравоохранении возможна поддержка нескольких версий СИИ с целью сравнения их производительности.