"ГОСТ Р 59921.3-2021. Национальный стандарт Российской Федерации. Системы искусственного интеллекта в клинической медицине. Часть 3. Управление изменениями в системах искусственного интеллекта с непрерывным обучением"
(утв. и введен в действие Приказом Росстандарта от 02.12.2021 N 1671-ст)

1 РАЗРАБОТАН Федеральным государственным бюджетным учреждением "Российский институт стандартизации" (ФГБУ "РСТ"), Государственным бюджетным учреждением здравоохранения города Москвы "Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы" (ГБУЗ "НПКЦ ДиТ ДЗМ") в соответствии с Программой национальной стандартизации на 2020 г.

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 2 декабря 2021 г. N 1671-ст

4 ВВЕДЕН ВПЕРВЫЕ

Высокая итеративность, автономность и адаптивность систем искусственного интеллекта с непрерывным обучением требует отдельного подхода для поддержки жизненного цикла продукта, который включает улучшение продукта, обеспечивая при этом гарантии безопасного использования. Поэтому управление изменениями в системах искусственного интеллекта с непрерывным обучением является важным аспектом в работе с подобными типами алгоритмов.

Настоящий стандарт предназначен для применения изготовителями (производителями) систем искусственного интеллекта (СИИ) с непрерывным обучением для управления изменениями в части адаптаций и корректного формирования на данной основе соответствующих разделов технической и эксплуатационной документации СИИ.

Настоящий стандарт обеспечивает формирование некоторых общих требований к содержанию технической и эксплуатационной документации, а также структуры СИИ с непрерывным обучением изготовителями (производителями).

В настоящем стандарте использована нормативная ссылка на следующий стандарт:

ГОСТ Р ИСО/МЭК 12207-2010 Информационная технология. Системная и программная инженерия. Процессы жизненного цикла программных средств

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1 аналитическая валидация (analytical validation): Подтверждение способности системы искусственного интеллекта точно, воспроизводимо и надежно генерировать предполагаемые технические результаты вычислений из входных данных.

Примечания

1 См. [1].

2 Аналитическая валидация является частным случаем валидации в соответствии с ГОСТ Р ИСО/МЭК 12207-2010, пункт 4.54.

3.2 данные реальной клинической практики; RWD (real-world data, RWD): Информация о состоянии здоровья пациентов и/или об оказании медицинской помощи, полученные из различных источников вне рамок предрегистрационных клинических исследований.

Примечания

1 Данные о практическом применении могут быть собраны из разных источников, например:

- электронные медицинские карты;

- заявления и действия по выставлению счетов;

- реестры медицинских изделий и заболеваний;

- данные от пациентов, полученные в том числе в домашних условиях;

- данные, собранные из других источников, которые могут информировать о состоянии здоровья, например, от мобильных устройств.

2 К частному случаю данных о практическом применении могут быть отнесены данные, собранные системой искусственного интеллекта после выхода в эксплуатацию, которые могут дать представление о работе продукта, используемого в условиях практического применения и при регулярном использовании пользователями.

3 См. [2].

3.3

3.4

3.5 клиническая валидация (clinical validation): Подтверждение способности системы искусственного интеллекта выдавать клинически значимые выходные данные, связанные с целевым использованием системы искусственного интеллекта в рамках установленного изготовителем функционального назначения.

Примечание - См. [1], пункт 7.0.

3.6

3.7 набор данных (data set): Совокупность данных, прошедших предварительную подготовку (обработку) в соответствии с требованиями законодательства Российской Федерации об информации, информационных технологиях и о защите информации и необходимости для разработки программного обеспечения на основе искусственного интеллекта.

Примечание - См. [3].

3.8 непрерывное обучение (дообучение, продолжающееся обучение) (continuous learning, continual learning, lifelong learning): Обучение, продолжающееся на протяжении всего жизненного цикла системы искусственного интеллекта.

3.9

3.10 система менеджмента качества систем искусственного интеллекта (quality management system for AI systems): Организационная структура, функции, процедуры, процессы и ресурсы, необходимые для скоординированной деятельности по руководству и управлению изготовителем системы искусственного интеллекта применительно к качеству.

3.11 эффективность (efficacy): Совокупность свойств и характеристик системы искусственного интеллекта, обеспечивающих достижение целей предназначения, установленных изготовителем и подтвержденных практикой клинического применения.

4.1.1 Примеры СИИ с непрерывным обучением и их возможные изменения (адаптации) после данных о практическом применении приведены в приложении А.

Примечание - Информация об изменениях от изготовителя - смене версий/сборок (не адаптаций), представлена в рамках ГОСТ Р ИСО/МЭК 12207 и применима, в том числе к СИИ.

4.1.2 Для определения структуры изменений СИИ с непрерывным обучением изготовитель должен разработать план управления изменениями СИИ, который должен быть включен в техническую и эксплуатационную документацию на СИИ и будет осуществляться по данным практического применения СИИ с непрерывным обучением.

4.1.3 План управления изменениями СИИ с непрерывным обучением описывает методы, которые использует изготовитель для надлежащего контроля рисков ожидаемых изменений, описанных в технической документации. План управления изменениями должен представлять детальное описание данных и процедур, которым необходимо следовать, чтобы изменение было успешно выполнено, а СИИ оставалась безопасной и эффективной. Пример содержимого для плана управления изменениями приведен в приложении Б.

4.2.1 Изменения работы СИИ с непрерывным обучением должны быть описаны в технической и эксплуатационной документации для того, чтобы обеспечить понимание этих изменений.

4.2.2 Сведения о произошедших адаптациях в СИИ при непрерывном обучении или в случае изменений от изготовителя (смена версии/сборки) после получения данных практического применения должны быть открытыми и понятными. Для обеспечения этого следует уведомлять касательно всех изменений СИИ заинтересованные стороны, например, пользователей (врачей), регулирующие органы, в том числе в автоматическом режиме.

4.2.3 Изготовитель должен составлять план управления изменениями таким образом, чтобы в нем полно и точно были описаны возможные изменения в ходе адаптаций, включая их логическое обоснование, любые возможные изменения принимаемых алгоритмом входных данных и обновленные характеристики эффективности СИИ.

4.2.4 Изготовитель может встраивать механизмы уведомлений пользователей о проведенных изменениях в ходе адаптаций СИИ через электронную почту или уведомления в пользовательском интерфейсе СИИ.

4.2.5 Информация о проведенных изменениях должна включать описание данных изменений между текущей и предыдущей адаптациями алгоритмов.

4.3.1 Изменения в СИИ с непрерывным обучением в рамках адаптации необходимо контролировать путем периодического мониторинга СИИ (см. [4]). Данный мониторинг проводят с целью отслеживания работы СИИ, изменений ее работе при возникновении ложноположительных/ложноотрицательных результатов в процессе непрерывного обучения СИИ, а также учета имеющихся клинических данных, специфических особенностей и факторов риска, связанных с СИИ.

4.3.2 Сбор данных о практическом применении СИИ может позволить изготовителю понять, как используют их продукт и своевременно реагировать на проблемы в ходе работы СИИ в рамках практического применения.

Безопасность и эффективность СИИ необходимо оценивать также в рамках жизненного цикла после получения регистрационного удостоверения, в том числе путем проведения мониторинга в соответствии с действующими нормативными правовыми актами.

СИИ с непрерывным обучением, предназначенная для установки в отделениях интенсивной терапии, получает на вход электрокардиограммы, показатели артериального давления и пульсоксиметрии от прикроватного монитора. Данные обрабатывают и анализируют для выявления закономерностей, возникающих в начале физиологической нестабильности. При обнаружении физиологической нестабильности подается звуковой сигнал тревоги, указывающий на то, что необходимы немедленные клинические действия для предотвращения потенциального вреда для пациента.

В технической документации СИИ изготовитель предлагает два возможных изменения СИИ для отделения интенсивной терапии:

А - изменение алгоритма, чтобы обеспечить однородную эффективность среди разных подгрупп населения;

Б - уменьшение количества ложных тревог при условии не ухудшения чувствительности к возникновению физиологической нестабильности.

Сценарий изменений 1А. Повышение эффективности в соответствии с планом управления изменениями

В соответствии с планом управления изменения СИИ данные собраны и использованы для изменения с целью снижения частоты ложных срабатываний при сохранении чувствительности. Собран отдельный независимый набор данных для клинической валидации, по результатам которого обнаружено, что частота ложных срабатываний снизилась, а чувствительность осталась прежней. После успешной проверки изменений СИИ и смены адаптации проводят процедуры, предусмотренные действующим законодательством, пользователям СИИ предоставляют информацию о проведенном изменении и вносят обновления в текущую адаптацию СИИ.

Сценарий изменения 1Б. Повышение эффективности, изменение, связанное с предполагаемым использованием, несовместимое с планом управления изменениями

В соответствии с планом управления изменения СИИ изготовитель повторно обучил свой алгоритм с использованием дополнительных наборов данных для повышения чувствительности. Клиническая валидация показала, что измененный алгоритм имеет такую же чувствительность и частоту ложных тревог, что и предыдущая версия. Изготовитель заметил, что измененный алгоритм может поддерживать ту же чувствительность за 15 мин до начала физиологической нестабильности, чего не могла делать предыдущая версия алгоритма.

Изготовитель хотел бы обновить свой алгоритм и документацию, чтобы указать, что состояние тревоги теперь отражает прогноз физиологической нестабильности на следующие 15 мин, что ранее не было отражено в плане управления изменениями. После указанных действий необходимо выполнить процедуры, предусмотренные действующим законодательством.

СИИ использует изображения, сделанные камерой смартфона, для предоставления дерматологу подробной информации о физических характеристиках поражения кожи, чтобы он мог обозначить поражение кожи как доброкачественное или злокачественное.

В технической документации СИИ изготовитель предлагает два возможных изменения СИИ:

А - повышение чувствительности и специфичности анализа физических характеристик доброкачественных или злокачественных поражений кожи с использованием данных практического применения СИИ;

Б - расширение сферы применения СИИ посредством увеличения числа поддерживаемых смартфонов, которые отвечают установленным техническим критериям к изображениям.

Сценарий изменений 2А. Повышение эффективности в соответствии с планом управления изменениями

Изготовитель СИИ собрал данные о практическом применении СИИ на различных типах смартфонов. СИИ с непрерывным обучением продемонстрировали улучшенную чувствительность и специфичность в оценке физиологических характеристик поражения кожи после успешно пройденной клинической валидации в соответствии с планом управления изменения алгоритма. После успешной проверки изменений и смены адаптации пользователям СИИ изготовитель предоставляет информацию о проведенном изменении, вносит обновления в текущую адаптацию СИИ.

Сценарий изменений 2Б. Изменение входных данных (изменение типа 2) в соответствии с планом управления изменениями

Аналитическая валидация смартфонов показала, что СИИ можно установить на двух не указанных ранее в документации изготовителя типах смартфонов, которые предоставляют изображения, соответствующие спецификации изготовителя СИИ, а значит, соответствуют плану управления изменениями. Аналитические характеристики с использованием новых систем получения изображений соответствовали первоначальным характеристикам. Далее проводят процедуры, предусмотренные действующим законодательством. После успешной проверки изменений и смены адаптации пользователям СИИ изготовитель предоставляет информацию о проведенном изменении, вносит обновления в текущую адаптацию СИИ с непрерывным обучением.

СИИ анализирует рентгенограммы органов грудной клетки пациентов из медицинских организаций, оказывающих стационарную помощь, после установки зонда для энтерального питания с целью оценки правильности его размещения, а также для проведения приоритизации снимков для врачей-рентгенологов среди серии аналогичных изображений.

В технической документации СИИ изготовитель предполагает два возможных изменения СИИ:

А - повышение точности определения неправильного размещения зонда для энтерального питания по данным практического применения СИИ;

Б - разрешение СИИ уведомлять средний медицинский персонал о необходимости проверки пациентов в процессе проведения приоритизации снимков для врачей-рентгенологов на основе достижения заранее заданного порога эффективности.

Сценарий изменения 3А. Повышение эффективности и изменение, связанное с предполагаемым использованием в соответствии с планом управления изменениями

Изготовитель повторно "обучил" и повторно валидировал алгоритм с использованием данных реальной клинической практики СИИ в соответствии с планом управления изменения алгоритма. Это позволило повысить точность СИИ в определении неправильного размещения зонда для энтерального питания. Такое улучшение эффективности предоставило данные, которые позволили выполнять клиническую валидацию алгоритма выявления случаев высокой степени достоверности неправильного расположения зонда в соответствии с планом управления изменения.

Новая адаптация СИИ имеет новое функциональное назначение - уведомление среднего медицинского персонала параллельно с врачами-рентгенологами о случаях высокой степени достоверности смещения зонда для энтерального питания. Это может обеспечить быстрые корректирующие действия для данной подгруппы пациентов. Далее проводят процедуры, предусмотренные действующим законодательством. После успешной проверки изменений и смены адаптации пользователям СИИ изготовитель предоставляет информацию о проведенном изменении, вносит обновления в текущую адаптацию СИИ с непрерывным обучением.

План управления изменениями алгоритма описывает методы, которые использует изготовитель для надлежащего контроля рисков, связанных с изменениями, описанных в технической документации СИИ. План управления изменениями алгоритма предоставляет детальное описание данных и процедур, которым необходимо следовать, чтобы изменение было успешно выполнено, а СИИ оставалась безопасной и эффективной после изменения.

Ниже приведен рекомендованный список некоторых компонентов, план управления изменениями алгоритма, который можно дополнить при необходимости.

План управления данными: как данные будут собирать, добавлять к существующим наборам данных и использовать. Этот план содержит:

- план обеспечения качества, с помощью которого определяют критерии к новым данным для включения в расширенный набор обучающих данных;

- план по доразметке всех или части новых данных, если таковая необходима;

- подход к определению данных, включаемых в проверочный набор данных;

- стратегию увеличения набора данных, которая позволяет добавлять дополнительные данные для обучения и проверок;

- стратегию аудита, мониторинга, документирования проверочных наборов данных, а также контроля доступа как к обучающим, так и к проверяющим наборам данных пересмотренного алгоритма.

Протоколы для повторного обучения/оптимизации СИИ. Эти протоколы могут включать в себя:

- стратегию повторного обучения, которая описывает цель повторного обучения;

- компоненты, которые могут быть изменены в результате обучения;

- любые критерии, которые должны быть соблюдены в процессе повторного обучения, чтобы получить более содержательную оценку эффективности с использованием набора проверочных данных.

Протоколы оценки эффективности. Эти протоколы могут включать в себя:

- описание интервалов между изменениями СИИ и началом процедуры клинической валидации СИИ;

- определение соответствующих показателей и процедур анализа;

- планы статистического анализа;

- предпринимаемые меры для предотвращения утечки информации о проверочном наборе данных;

- целевые показатели эффективности, которые должна достичь СИИ;

- протоколы тестирования, которые могут быть применимы к этой СИИ, например, тестирование с участием врачей.

В описании процедуры обновления указывают как обновленную СИИ будут тестировать и тиражировать при выпуске. Процедуры обновления могут включать описание плана обновления, в том числе ожидаемую частоту обновлений и будут ли обновления глобальными (если все СИИ используют одну и ту же адаптацию) или локальными (распространяется несколько адаптаций алгоритма, нацеленных на определенные подгруппы пользователей). Также допускается включать описание процесса синхронизации различных копий модели (federated learning), если централизованное обучение алгоритма невозможно (например, по причине невозможности копирования всех новых данных в централизованное хранилище) (см. [1]).