"ГОСТ Р 70250-2022. Национальный стандарт Российской Федерации. Системы искусственного интеллекта на автомобильном транспорте. Варианты использования и состав функциональных подсистем искусственного интеллекта"
(утв. и введен в действие Приказом Росстандарта от 05.10.2022 N 1053-ст)

1 РАЗРАБОТАН Обществом с ограниченной ответственностью "Агентство искусственного интеллекта"

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 5 октября 2022 г. N 1053-ст

4 ВВЕДЕН ВПЕРВЫЕ

В настоящее время системы искусственного интеллекта (СИИ) все чаще применяются в транспортной отрасли. В целях повышения доверия к технологиям искусственного интеллекта (ИИ) необходимо установить минимальный, но не исчерпывающий состав функциональных подсистем СИИ на автомобильном транспорте, варианты их использования и общие требования к испытанию алгоритмов ИИ на автомобильном транспорте.

Функциональными подсистемами называются подсистемы СИИАУД, в которых используются частные алгоритмы искусственного интеллекта для решения тех или иных задач. Приведенные в стандарте функциональные подсистемы являются рекомендуемыми.

Настоящий стандарт является частью комплекса стандартов по установлению требований к применению технологий ИИ на автомобильном транспорте с целью повышения доверия к технологиям ИИ, повышения уровня безопасности на транспорте и эффективности транспортных процессов.

Настоящий стандарт устанавливает минимальный, но не исчерпывающий, состав функциональных подсистем искусственного интеллекта (ИИ), обеспечивающих безопасное и эффективное функционирование систем искусственного интеллекта (СИИ) на автомобильном транспорте в составе интеллектуальных транспортных систем (ИТС), систем технического диагностирования (СТД) и СИИ для автоматизированного управления движением (СИИАУД), а также общие требования к испытанию алгоритмов СИИАУД.

Примечание - Функциональными подсистемами ИИ являются подсистемы высокоавтоматизированных транспортных средств (ВАТС), в которых применяются алгоритмы ИИ.

Настоящий стандарт предназначен для применения во всех технологических процессах эксплуатации СИИ на автомобильном транспорте при их коммерческом и личном использовании для перевозки людей и грузов на автомобильных дорогах и применяется:

- при построении ИТС на различных уровнях управления;

- при разработке СТД;

- при интеллектуализации систем управления ВАТС.

СИИ, варианты использования, состав функциональных подсистем и требования к испытаниям, установленные в настоящем стандарте, допускается применять исключительно на ВАТС категорий L, M и N по [1], эксплуатируемых на автомобильных дорогах и соответствующим уровням автоматизации управления 4 и 5 (ГОСТ Р 58823).

Примечание - Настоящий стандарт не накладывает ограничений на способы реализации систем ИИ на автомобильном транспорте. Приведенный в стандарте состав функциональных подсистем является примерным и в конкретных реализациях автомобилей может отличаться.

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ 19.301 Единая система программной документации. Программа и методика испытаний. Требования к содержанию и оформлению

ГОСТ 24940 Здания и сооружения. Методы измерения освещенности

ГОСТ 28195 Оценка качества программных средств. Общие положения

ГОСТ 32846 Дороги автомобильные общего пользования. Элементы обустройства. Классификация

ГОСТ 32944 Дороги автомобильные общего пользования. Пешеходные переходы. Классификация. Общие требования

ГОСТ 32963 Дороги автомобильные общего пользования. Расстояние видимости. Методы измерений

ГОСТ 32965 Дороги автомобильные общего пользования. Методы учета интенсивности движения транспортного потока

ГОСТ 33382 Дороги автомобильные общего пользования. Техническая классификация

ГОСТ 33475 Дороги автомобильные общего пользования. Геометрические элементы. Технические требования

ГОСТ Р 51256-2011 Технические средства организации дорожного движения. Разметка дорожная. Классификация. Технические требования

ГОСТ Р 52289 Технические средства организации дорожного движения. Правила применения дорожных знаков, разметки, светофоров, дорожных ограждений и направляющих устройств

ГОСТ Р 53613 Воздействие природных внешних условий на технические изделия. Общая характеристика. Осадки и ветер

ГОСТ Р 58823 Автомобильные транспортные средства. Системы автоматизации управления движением. Классификация и определения

ГОСТ Р 70249 Системы искусственного интеллекта на автомобильном транспорте. Высокоавтоматизированные транспортные средства. Термины и определения

ГОСТ Р ИСО 26262-1 Дорожные транспортные средства. Функциональная безопасность. Часть 1. Термины и определения

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета этого изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

В настоящем стандарте применены термины по ГОСТ Р 70249.

В настоящем стандарте применены следующие обозначения и сокращения:

- V2X - обмен информацией между автомобилем и другими объектами (vehicle-to-everything);

- ДТП - дорожно-транспортное происшествие;

- ПДД - правила дорожного движения РФ;

- СИИАУД ВАТС - система искусственного интеллекта для автоматизированного управления движением высокоавтоматизированным транспортным средством;

- ЧС - чрезвычайная ситуация.

Варианты использования СИИ на автомобильном транспорте:

- СИИАУД: получение данных с датчиков; обработка данных; объединение полученных данных; согласование полученных данных; обработка изображений; определение препятствий; определение дорожных условий; определение транспортных средств; определение расстояния до объектов; позиционирование ВАТС; определение текущего состояния СИИАУД; автоматическое управление скоростью ВАТС; автоматическое управление траекторией (курсом) движения; автоматическая реакция на объекты, окружающие ВАТС; принятие решений на управляющие действия; управление исполнительными устройствами; формирование базы данных для последующего анализа;

- ИТС: светофорное регулирование, V2X-взаимодействие, видеонаблюдение, видеоаналитика и ситуационное детектирование, адаптивное управление транспортными потоками, распознавание объектов, прогнозирование дорожной обстановки, управление маршрутами общественного и специализированного транспорта;

- СТД: автоматизированное диагностирование узлов и агрегатов транспортного средства, оценка состояния водителя и прогнозирование его действий.

Примечание - Раздел 5 настоящего стандарта отражает представленные варианты использования и не является исчерпывающим.

В настоящем разделе представлены перечни подсистем, использующих технологии ИИ на автомобильном транспорте. Представленные перечни не являются исчерпывающими.

Примечание - В состав функциональных подсистем ИИ могут входить не только интеллектуальные, но и другие алгоритмы.

6.1 Подсистемы СИИАУД, использующие технологии ИИ:

- подсистема планирования базового маршрута;

- подсистема интерпретации входных данных о дорожной обстановке;

- подсистема оценки дорожной обстановки;

- подсистема мониторинга и контроля состояния ВАТС;

- подсистема оперативного управления;

- подсистема тактического управления.

6.2 Подсистемы ИТС, использующие технологии ИИ:

- подсистема светофорного управления;

- подсистема взаимодействия с транспортными средствами;

- подсистема обеспечения приоритетного проезда;

- подсистема контроля соблюдения ПДД и контроля транспорта;

- подсистема контроля соблюдения ПДД пешеходами;

- подсистема управления маршрутами общественного транспорта;

- подсистема видеонаблюдения, детектирования ДТП и ЧС.

6.3 Подсистемы СТД, использующие технологии ИИ:

- подсистема диагностирования;

- подсистема мониторинга.

Примечание - Любые из перечисленных подсистем могут быть реализованы на принципах "черного ящика", в котором создается модель на основе методов машинного обучения, осуществляющих имплицитное построение взаимосвязей между входными и выходными данными.

Набор взаимосвязанных алгоритмов, обеспечивающих функционирование подсистем ИИ, приведен в таблице 1.

В настоящем разделе приведены общие требования к испытанию алгоритмов СИИАУД, а именно дано описание общих принципов испытания, приведены типовой состав входных и выходных данных, требования к испытательному оборудованию, а также правила оформления результатов испытаний.

Примечание - Требования к аппаратным средствам, используемым для реализации алгоритмов ИИ, не отличаются от требований к остальному радиоэлектронному оборудованию и средствам вычислительной техники автомобиля.

Положения этого раздела применяются к испытанию алгоритмов СИИАУД, таких как:

- алгоритм многокритериального поиска оптимального маршрута по улично-дорожной сети;

- алгоритм обнаружения и распознавания препятствий;

- алгоритм обнаружения и распознавания дорожных знаков;

- алгоритм контроля обочины и полосы движения;

- алгоритм обнаружения и реконструкции структуры перекрестков;

- алгоритм прогнозирования поведения участников дорожного движения;

- алгоритм прогнозирования характеристик транспортного потока;

- алгоритм прогнозирования дорожных условий;

- алгоритм низкоуровневого слияния данных.

Примечание - Перечень алгоритмов СИИАУД, подвергающихся испытаниям, является минимальным, но не исчерпывающим.

Отличительными особенностями СИИАУД и используемых в ней алгоритмов обработки данных являются:

- на стадии проектирования: задание функциональных требований к алгоритмам из состава функциональности СИИАУД должно осуществляться в контексте предусмотренных условий эксплуатации, описанных с использованием демонстрационной совокупности вариантов данных, поступающих от датчиков ВАТС (демонстрационный набор данных) и соответствующих этой совокупности вариантов данных описаний управляющих воздействий ВАТС, или иным достаточно полным образом;

- на стадии разработки: при разработке алгоритмов СИИАУД в обязательном порядке используются специально подготовленные наборы данных, содержащие примеры данных, поступающих от датчиков ВАТС или из других модулей СИИАУД, и соответствующие этой совокупности вариантов данных описания управляющих воздействий ВАТС (обучающий набор данных). Обычно алгоритм обработки данных в СИИАУД не обладает полной прозрачностью и объяснимостью для разработчиков, пользователей СИИАУД и других заинтересованных лиц (например, органов по сертификации, испытательных лабораторий, органов власти);

- на стадии испытаний: основным (обязательным) методом испытаний алгоритмов в составе СИИАУД является оценка функциональных характеристик и качества алгоритмов СИИАУД с использованием специально подготовленных представительных наборов данных, содержащих примеры данных, поступающих от датчиков ВАТС в предусмотренных условиях эксплуатации, и соответствующих этой совокупности вариантов данных описаний управляющих воздействий ВАТС (тестовый набор данных). При необходимости могут использоваться другие методы испытаний СИИАУД, в том числе: структурно-функциональный анализ алгоритма обработки данных в СИИАУД, тестирование с использованием данных, принимающих значения, находящиеся на границе и выходящие за границы допустимых диапазонов, а также тестирование с использованием наборов данных, принимающих случайные значения;

- на стадии эксплуатации: данные, получаемые от датчиков или из других модулей СИИАУД в процессе эксплуатации, могут использоваться для дополнительного обучения (дообучения) алгоритмов СИИАУД, направленного на улучшение функциональных характеристик и повышение качества управления ВАТС, при этом дообученные модели должны подвергаться полному циклу тестирования в соответствии с предложенной в настоящем стандарте методикой для предотвращения деградации при дообучении;

- на стадии утилизации: осуществляется контроль уровня конфиденциальности данных, накопленных в СИИАУД за время ее эксплуатации, и, в случае необходимости, принимаются меры по предотвращению нарушения конфиденциальности этих данных путем их уничтожения и (или) соответствующей модификации.

Совокупность идентифицированного сценария дорожно-транспортной ситуации и достаточно полного описания датчиков, установленных на ВАТС, должна обеспечивать формирование вариантов данных, поступающих с датчиков, с точностью до параметра, не влияющего на решение задачи автономного управления движением ВАТС в данной дорожно-транспортной ситуации.

При испытании СИИАУД необходимо руководствоваться принципами:

- объективность испытаний;

- обоснованность применяемых методов (методик) испытаний;

- обеспечение единства измерений (аттестация методик измерений);

- воспроизводимость результатов испытаний и др.

Датчики (сенсоры) управления движением включают (но не ограничиваются):

- средства определения местоположения и параметров движения ВАТС с использованием радионавигационных полей, включая абонентские терминалы спутниковых радионавигационных систем;

- средства инерциальных навигационных систем, включая гироскопы и акселерометры;

- средства определения местоположения ВАТС и контроля окружающей дорожно-транспортной ситуации с использованием пассивных средств получения изображений в видимом, инфракрасном и других диапазонах длин электромагнитных волн;

- средства определения местоположения ВАТС и контроля окружающей дорожно-транспортной ситуации с использованием активных лазерных, радиолокационных и иных средств получения изображений;

- средства измерения расстояния до объектов на основе лазерных, радиолокационных и иных дальномеров;

- средства получения информации об объектах дорожной инфраструктуры, включая дорожные знаки и разметку, на основе пассивных и запрос-ответных технологий радиочастотной идентификации (V2X-взаимодействие).

Факторы дорожно-транспортной ситуации могут быть определены на различных шкалах, включая шкалу наименований, порядковую шкалу, интервальную шкалу и абсолютную шкалу. Ниже приведен минимальный, но не исчерпывающий перечень факторов дорожно-транспортной ситуации:

а) факторы внешней среды:

1) условия освещенности (интервальная шкала, люкс) (см. [2]):

- наибольшая солнечная освещенность при чистом небе - 100 000 люкс;

- обычная освещенность летом в средних широтах в полдень - 17 000 люкс;

- в облачную погоду летом в полдень - 12 000 люкс;

- обычная освещенность зимой в средних широтах - 5000 люкс;

- на открытом месте в пасмурный день - 1500 люкс;

- восход и заход солнца в ясную погоду - 1000 люкс;

- ночью в полнолуние - 0,2 люкс;

- в безлунную ночь - 0,0015 люкс;

- в безлунную ночь при сплошной облачности - 0,0002 люкс;

2) тип видимости (шкала наименований) (ГОСТ 32963):

- дневная;

- сумеречная;

- ночная;

3) вид осадков (шкала наименований) (ГОСТ Р 53613):

- дождь;

- моросящий дождь;

- легкий дождь;

- умеренный дождь;

- интенсивный дождь;

- сильный дождь;

- ливень;

- ледяной дождь;

- косой дождь;

- дождь со снегом;

- снег;

- снежная крупа;

- град;

- образование льда;

4) тип осадков (шкала наименований):

- моросящие осадки;

- ливневые осадки;

- обложные осадки;

5) наличие тумана (шкала наименований):

- тумана нет;

- слабый туман;

- сильный туман;

б) наличие засветки (шкала наименований):

- засветки нет;

- засветка есть;

б) факторы дорожной инфраструктуры (ГОСТ 33382, ГОСТ 32944, ГОСТ 32846, ГОСТ 33475, ГОСТ Р 52289, ГОСТ 32965):

1) категория автомобильной дороги (шкала наименований):

- категория IА;

- категория IБ;

- категория IВ;

- категория II;

- категория III;

- категория IV;

- категория V;

2) количество и ширина полос (шкала наименований):

- четыре и более полос, 3,75 м;

- четыре полосы, 3,5 м;

- две или три полосы, 3,75 м;

- две полосы, 3,5 м;

- две полосы, 3,0 м;

- одна полоса, 4,5 м и более;

3) наличие примыканий и пересечений в одном уровне (шкала наименований):

- примыкания и пересечения в одном уровне отсутствуют;

- примыкания и пересечения в одном уровне присутствуют;

4) наличие пешеходных тротуаров и пешеходных переходов в одном уровне (шкала наименований):

- пешеходные тротуары и пешеходные переходы в одном уровне отсутствуют;

- пешеходные тротуары и пешеходные переходы в одном уровне присутствуют;

5) профиль автомобильной дороги - наибольший продольный уклон (порядковая шкала, ):

- ;

- ;

- ;

- ;

- ;

- ;

- ;

- ;

6) состояние дорожного покрытия (порядковая шкала):

- дорожное покрытие без нарушений;

- одиночные трещины;

- отдельные трещины;

- редкие трещины;

- частые трещины;

- сетка трещин;

- колейность;

- просадки;

- волны;

7) наличие и состояние горизонтальной разметки (шкала наименований):

- горизонтальная разметка отсутствует;

- разрушение и износ горизонтальной разметки превышают показатели (5.4 ГОСТ Р 51256-2011);

- разрушение и износ горизонтальной разметки не превышают показатели (5.4 ГОСТ Р 51256-2011);

8) наличие вертикальной разметки (шкала наименований):

- вертикальная разметка отсутствует;

- вертикальная разметка присутствует;

9) наличие дорожных знаков (шкала наименований):

- дорожные знаки отсутствуют;

- дорожные знаки присутствуют;

10) наличие светофоров (шкала наименований):

- светофоры отсутствуют;

- светофоры присутствуют;

11) наличие отбойников (шкала наименований):

- присутствуют отбойники;

- отсутствуют отбойники;

12) наличие временных ограждений:

- присутствуют временные ограждения;

- отсутствуют временные ограждения;

13) наличие иных технических средств организации дорожного движения (шкала наименований):

- иные технические средства организации дорожного движения отсутствуют;

в) факторы дорожного движения (ГОСТ 32963):

1) плотность потока транспортных средств (интервальная шкала):

- транспортные средства отсутствуют: 0 - 1 ТС/км;

- незначительное количество транспортных средств: 2 - 50 ТС/км;

- большое количество транспортных средств: 51 - 100 ТС/км;

- существенное количество транспортных средств: 101 - 150 ТС/км;

- насыщенный транспортный поток: 151 - 200 ТС/км;

2) скорость потока и отдельных транспортных средств (интервальная шкала):

- транспортный поток стоит: 0 км/ч;

- низкая скорость транспортного потока: 0 - 20 км/ч;

- средняя скорость транспортного потока: 20 - 60 км/ч;

- высокая скорость транспортного потока: 60 - 120 км/ч;

- очень высокая скорость транспортного потока: 120 км/ч и выше;

3) состав потока транспортных средств (интервальная шкала):

- транспортный поток преимущественно из легковых транспортных средств;

- в транспортном потоке примерно одинаковые доли легковых и грузовых транспортных средств, а также подвижных единиц наземного городского пассажирского транспорта;

- транспортный поток преимущественно из грузовых транспортных средств и подвижных единиц наземного городского пассажирского транспорта;

4) наличие участников дорожного движения, нарушающих правила дорожного движения (шкала наименований):

- нет участников дорожного движения, нарушающих правила дорожного движения;

- есть участники дорожного движения, нарушающие правила дорожного движения;

5) виды нарушений ПДД (шкала наименований):

- нарушение скоростного режима;

- нарушение правил маневрирования;

- нарушение правил остановки или стоянки;

г) иные факторы: попадание посторонних предметов и объектов (не являющихся участниками дорожного движения, например, диких животных) на дорогу, и прочее (шкала наименований):

1) проезжая часть без посторонних предметов;

2) неподвижный объект на проезжей части (статическая помеха, не являющаяся участником дорожного движения);

3) животное на проезжей части (динамическая помеха, не являющаяся участником дорожного движения).

Значения некоторых из этих факторов приходят из сенсорных систем ВАТС или обрабатывающих подсистем СИИАУД, в то время как значения отдельных факторов, необходимых для испытания алгоритма, должны передаваться в СИИАУД из внешних систем посредством V2X-взаимодействия. Для испытания алгоритма необходимо отбирать из представленного набора факторов подмножества факторов, релевантных для конкретного алгоритма.

Испытание алгоритмов на основе использования сценариев дорожно-транспортной ситуации заключается в воспроизведении конкретных реальных дорожно-транспортных ситуаций, в которых проверяется безопасность ВАТС, оснащенного СИИАУД.

Сценарий дорожно-транспортной ситуации может включать в себя множество элементов, таких как схема проезжей части, типы пользователей дорог, объектов, обладающих статическими или различными динамическими моделями поведения, различных условий окружающей среды.

Использование сценариев дорожно-транспортных ситуаций может применяться к различным методикам испытаний, таким как виртуальное и имитационное моделирование, испытания на полигоне и испытания на дорогах общего пользования. Вместе данные методики обеспечивают многофакторную схему испытаний алгоритма в составе СИИАУД, при этом каждая методика обладает преимуществами и недостатками. Следовательно, некоторые сценарии могут быть более подходящими для испытаний с использованием определенных методик тестирования по сравнению с другими.

Сценарии дорожно-транспортных ситуаций следует рассматривать для проверки алгоритма в составе СИИАУД, считая, что в идеале сценарии, нейтральные по отношению к технологии транспортного средства, всесторонне отражают ситуацию на дорогах общего пользования во всем мире (см. [1]).

Методы испытаний, основанные на сценариях дорожно-транспортных ситуаций, должны включать охват релевантных, критических и сложных сценариев для эффективной проверки алгоритмов в составе СИИАУД. Сценарии дорожно-транспортной ситуации можно идентифицировать на основе:

- анализа поведения водителя-человека, включая оценку естественных данных о вождении;

- анализа данных о столкновениях, таких как базы данных о ДТП правоохранительных органов и страховых компаний;

- анализа схем организации движения на конкретных участках дорог (например, путем видеозаписи и анализа поведения участников дорожного движения на конкретных перекрестках);

- анализа данных, собранных датчиками ВАТС;

- использования специального измерительного автомобиля, оборудования для мониторинга, измерений с помощью дронов и т.д. для сбора различных данных о дорожном движении;

- знаний и опыта, приобретенных в ходе разработки и обучения СИИАУД в целом;

- синтетически сгенерированных сценариев на основе вариаций ключевых параметров дорожно-транспортных ситуаций;

- спроектированных сценариев, основанных на требованиях функциональной безопасности.

Непрерывный сбор реальных данных важен для выявления неожиданных сценариев, которые могут быть однозначно сложными для СИИАУД конкретного ВАТС и, как следствие, для отдельного алгоритма в составе СИИАУД.

После определения широкого диапазона сценариев дорожно-транспортных ситуаций конкретные требования могут быть протестированы и подтверждены с помощью виртуальных, полигонных и натурных методов валидации испытаний (см. [2]).

Объем информации, которая включена в сценарии, может быть обширным. Например, описание сценария может содержать информацию, определяющую широкий спектр различных действий, характеристик и элементов, таких как объекты (например, транспортные средства, пешеходы), дороги и окружающая среда, а также заранее запланированные направления действий и основные события, которые должны произойти во время сценария. Следовательно, очень важно установить стандартизированный и структурированный язык для описания сценариев, чтобы заинтересованные стороны понимали цель сценария, цели друг друга и возможности алгоритмов в составе СИИАУД.

Один из подходов для разработки стандартизированного и структурированного языка для описания сценариев дорожно-транспортных ситуаций, который также включает различные уровни абстракции и детализации, - это классификация сценариев по трем категориям: функциональные, логические и конкретные сценарии.

Функциональные сценарии: сценарии дорожно-транспортных ситуаций с наивысшим уровнем абстракции, определяющим основную концепцию сценария, такую как базовое описание действий ВАТС; взаимодействие ВАТС с другими участниками дорожного движения и объектами; геометрия проезжей части; и другие элементы, составляющие сценарий (например, условия окружающей среды и т.д.). Данный подход использует доступный язык для описания дорожно-транспортной ситуации и соответствующих ей элементов.

Логические сценарии: создавая элементы, идентифицированные в рамках функционального сценария дорожно-транспортной ситуации, разработчики разрабатывают логические сценарии, выбирая диапазоны значений или распределения вероятностей для каждого элемента в сценарии (например, возможную ширину полосы движения в метрах). Описание логических сценариев охватывает все элементы и технические требования, необходимые для реализации алгоритмов в составе СИИАУД, которая решает эти сценарии.

Конкретные сценарии: конкретные сценарии дорожно-транспортных ситуаций устанавливаются путем выбора конкретных значений для каждого элемента. Этот шаг гарантирует воспроизводимость конкретного тестового сценария. Кроме того, для каждого логического сценария с непрерывными диапазонами может быть разработано любое количество конкретных сценариев, помогающих убедиться, что ВАТС подвергается воздействию самых разных ситуаций (ГОСТ 24940).

Целью испытаний алгоритмов СИИАУД является оценка соответствия требованиям по безопасности ВАТС, содержащимся в нормативных правовых и нормативно-технических актах надежности и безопасности алгоритма до начала его массовой эксплуатации в штатном режиме на дорогах общего и необщего пользования.

Методы испытаний СИИАУД подразделяют на следующие типы:

- виртуальные испытания;

- испытания на полигоне;

- испытания на дорогах общего и необщего пользования;

- процедуры аудита и оценки;

- процедуры мониторинга и отчетности в процессе эксплуатации.

Виртуальные испытания представляют собой компьютерное моделирование процесса управления движением ВАТС средствами СИИАУД, в рамках которой происходит:

- создание среды симуляции, которая с точки зрения СИИАУД идентична автомобильной дороге;

- моделирование движения ВАТС по конкретным участкам автомобильных дорог с привязкой к геометкам на сверхточных электронных картах и цифровым двойникам автомобильных дорог;

- моделирование движения ВАТС в различных дорожно-транспортных ситуациях.

В процессе виртуальных испытаний используются различные типы инструментальных средств для оценки соответствия алгоритмов в составе СИИАУД требованиям безопасности в широком диапазоне виртуальных сценариев, включая те из них, которые было бы чрезвычайно сложно протестировать в реальных условиях.

Для испытаний на полигоне используется испытательный полигон с закрытым доступом с различными элементами сценария для проверки возможностей и функционирования СИИАУД. Возможен вариант полунатурных испытаний, которые допускают масштабирование некоторых элементов дорожно-транспортной ситуации и замену некоторых реальных элементов математическими моделями.

При испытаниях на дорогах общего пользования проводятся тестирование и оценка работы алгоритма в составе СИИАУД, связанной с обеспечением с позиции этого алгоритма способностью ВАТС двигаться в реальных условиях дорожного движения.

Процедуры аудита и оценки устанавливают, как с использованием документации производители будут обязаны демонстрировать контролирующим органам безопасность алгоритма в составе СИИАУД при моделировании, испытаниях на полигоне и в реальных дорожных условиях. Аудит должен подтвердить, что опасности и риски, относящиеся к алгоритму в составе СИИАУД, были идентифицированы, и что была внедрена последовательная концепция безопасности при проектировании (ГОСТ Р ИСО 26262-1). Аудит также должен подтвердить наличие надежных процессов, механизмов и стратегий (то есть системы управления безопасностью), которые обеспечивают соответствие алгоритма в составе СИИАУД требованиям безопасности на протяжении всего жизненного цикла ВАТС. Он также должен оценивать взаимодополняемость между различными компонентами оценки и общим охватом сценария дорожно-транспортной ситуации.

Процедуры мониторинга и отчетности в процессе эксплуатации связаны с безопасностью алгоритма в составе СИИАУД в процессе эксплуатации. Они полагаются на сбор данных о парке ВАТС в условиях реальной эксплуатации, чтобы оценить, остается ли алгоритм в составе СИИАУД безопасным при эксплуатации на автомобильных дорогах общего пользования. Этот сбор данных также можно использовать для наполнения каталога сценариев новыми сценариями дорожно-транспортных ситуаций в случае крупных аварий и инцидентах.

Виртуальные испытания (моделирование) являются эффективными инструментами для оценки производительности алгоритмов в составе СИИАУД в разнообразных и сложных условиях, которые недопустимы для обычных физических испытаний. Виртуальные испытания на основе имитационных моделей играют важную роль в обеспечении комплексной оценки СИИАУД.

Виртуальные испытания можно использовать на разных этапах разработки и проверки алгоритма в составе СИИАУД. Виртуальные испытания можно использовать для комплексного и экономичного исследования каждого конкретного алгоритма в составе СИИАУД в широком диапазоне сценариев дорожно-транспортных ситуаций через различные предусмотренные условия эксплуатации и для множества дополнительных целей. Основываясь на моделировании, виртуальные испытания особенно рекомендуются для проверки алгоритма в составе СИИАУД в критических для безопасности сценариях, которые было бы трудно или небезопасно воспроизводить на испытательных полигонах или дорогах общего пользования.

Виртуальные испытания включают в себя замену одного или нескольких физических элементов, описанных в программе и методике испытаний на основе сценария дорожно-транспортной ситуации, на имитационную модель. Цель такой виртуализации заключается в том, чтобы в достаточной степени воспроизвести оригинальные физические элементы. Для алгоритмов в составе СИИАУД виртуальное тестирование может использоваться для воспроизведения среды вождения и работающих в ней объектов, которые взаимодействуют либо со всей СИИАУД, либо с конкретным алгоритмом.

Благодаря такому подходу к результатам испытаний можно получить уверенность в уровне качества алгоритма в составе СИИАУД на основе виртуальных испытаний и валидации, которые были выполнены разработчиком алгоритма гибким, управляемым, предсказуемым, повторяемым и эффективным образом.

Инструментальная цепочка моделирования, используемая для виртуальных испытаний, может привести к комбинации различных подходов. В частности, испытания могут быть выполнены:

а) полностью с помощью компьютера, при этом модель задействованных элементов и алгоритмов СИИАУД взаимодействует с моделями физических объектов сценария дорожно-транспортной ситуации полностью в виртуальной среде;

б) с использованием датчиков, подсистем или целого транспортного средства, взаимодействующих с виртуальной средой, то есть осуществляется испытание оборудования или ВАТС в целом в контуре виртуальной среды. Для испытания ВАТС в контуре автомобиль может находиться:

1) в лаборатории, в которой ВАТС будет стоять на месте или двигаться на динамометрическом стенде или испытательном стенде трансмиссии и сможет быть подключено к модели окружающей среды с помощью локально вычислительной сети или путем прямого воздействия на его датчики;

2) на испытательном полигоне, где ВАТС будет подключено к модели окружающей среды и будет взаимодействовать с виртуальными объектами, физически перемещаясь по испытательному треку;

в) с использованием испытательной системы, взаимодействующей с водителем. Взаимодействие между тестируемым алгоритмом и окружающей средой может быть разомкнутым или замкнутым;

г) виртуальные испытания с разомкнутым контуром (также называемые повторной обработкой программного или аппаратного обеспечения, теневым режимом и т.д.) можно проводить с помощью различных методов, таких как взаимодействие алгоритма в составе СИИАУД с виртуальными ситуациями, собранными из реального мира. В этом случае действия виртуальных объектов управляются только данными, и информация не корректируется самостоятельно на основе обратной связи с выходными данными. Поскольку контроллер разомкнутого контура может изменяться из-за внешних помех без ведома управляющей подсистемы СИИАУД и (или) испытателя, применимость тестов разомкнутого контура при валидации алгоритмов в составе СИИАУД может быть ограничена;

д) виртуальные испытания с обратной связью включают в себя цикл обратной связи, который непрерывно отправляет информацию от контроллера с обратной связью в алгоритм в составе СИИАУД. В таких испытательных системах поведение цифровых объектов может изменяться в зависимости от действия тестируемой системы.

Выбор испытаний с открытым или замкнутым циклом может зависеть от таких факторов, как цели виртуальных испытаний и статус разработки тестируемого алгоритма. Ожидается, что для проверки реализованного алгоритма в составе СИИАУД будут рассматриваться в основном виртуальные испытания с обратной связью (ГОСТ 32963).

Для проведения виртуальных испытаний алгоритмов в составе СИИАУД ВАТС требуется:

- при проведении имитационного моделирования полностью на компьютере - персональный компьютер или сервер, технические характеристики которых полностью удовлетворяют требованиям к аппаратно-техническому обеспечению для запуска алгоритмов в составе СИИАУД и для запуска испытательной системы, эмулирующей среду функционирования этого алгоритма;

- при проведении виртуального тестирования с использованием датчиков или целого ВАТС - персональный компьютер или сервер, технические характеристики которых полностью удовлетворяют требованиям к аппаратно-техническому обеспечению для запуска испытательной системы, эмулирующей среду функционирования этого алгоритма, а также оборудование для организации локальной вычислительной сети (проводной или беспроводной) для организации взаимосвязи датчиков или ВАТС с испытательной системой;

- при проведении виртуального тестирования с организацией взаимодействия с водителем - испытательный стенд (тренажер), вычислительная подсистема которого обладает техническими характеристиками, полностью соответствующими требованиям к аппаратно-техническому обеспечению для запуска алгоритмов в составе СИИАУД и для запуска испытательной системы, эмулирующей среду функционирования этого алгоритма.

Испытания на полигоне проводятся на закрытой испытательной площадке, где используются реальные элементы дорожной инфраструктуры и прочие элементы, воспроизводящие различные дорожно-транспортные ситуации.

Испытания на полигоне проводят для оценки требований безопасности алгоритма в составе СИИАУД (например, человеческий фактор, система безопасности). Такой подход к испытаниям позволяет испытывать транспортные средства с помощью ограниченного набора реалистичных сценариев, основанных на геометрии, размерах и оптических свойствах испытательного трека, для оценки алгоритма в составе СИИАУД. Эти внешние входы и условия можно контролировать или измерять во время испытаний.

Данный метод испытаний, обеспечивающий более высокий уровень достоверности имитации окружающей среды, чем при виртуальных испытаниях, дает возможность испытать ВАТС с меньшей опасностью, чем та, которая может возникнуть при реальных дорожных испытаниях. Однако работа на тестовых полигонах может быть ресурсоемкой, поэтому испытания на тестовой трассе будут основываться на выбранных известных критических сценариях.

Испытания на полигоне могут быть более подходящими для оценки возможностей алгоритма в составе СИИАУД в дискретном количестве номинальных сценариев и в критических сценариях. Те же испытания можно использовать для проверки характеристик ВАТС с учетом человеческого фактора.

Испытания на полигоне - это завершенный процесс, который используется для оценки требований безопасности для алгоритма в составе СИИАУД. Однако может быть сложно разработать определенные элементы предусмотренных условий эксплуатации, такие как дождь, туман или снег, чтобы надежно проверить, как алгоритм в составе СИИАУД реагирует на эти элементы окружающей среды.

Информация, сгенерированная во время испытаний на полигоне, также может использоваться для проверки виртуальных испытаний путем сравнения производительности алгоритма в составе СИИАУД в виртуальных испытаниях с его производительностью на тестовой трассе при выполнении того же сценария (ГОСТ 32963).

Для проведения испытаний на полигоне алгоритмов СИИАУД ВАТС требуется персональный компьютер или сервер, технические характеристики которых полностью удовлетворяют требованиям к аппаратно-техническому обеспечению для запуска испытательной системы, эмулирующей среду функционирования этого алгоритма, а также оборудование для организации беспроводной локальной вычислительной сети для организации взаимосвязи ВАТС на полигоне с испытательной системой.

При испытаниях на дорогах общего пользования происходит проверка соответствия требованиям безопасности (включая человеческий фактор, системы безопасности) алгоритмов в составе СИИАУД в реальном дорожном движении.

Данный метод испытаний может подвергнуть алгоритмы в составе СИИАУД широкому спектру условий, связанных с предусмотренными условиями эксплуатации. Существуют различные подходы к испытаниям на дорогах общего пользования. Например, испытания допускается проводить в предусмотренных условиях эксплуатации (например, при езде по шоссе) с водителем, обеспечивающим безопасность.

Испытания в реальных дорожных условиях могут использоваться для оценки значений показателей качества алгоритма в составе СИИАУД, связанных с его способностью решать поставленные функциональные задачи в реальных условиях дорожного движения.

Испытания в реальных дорожных условиях могут также использоваться для оценки части значений показателей качества алгоритмов в составе СИИАУД на некоторых границах предусмотренных условий эксплуатации (номинальные и сложные сценарии). Такое же испытание можно использовать для подтверждения характеристик, связанных с человеческим фактором в этих условиях.

Наконец, дорожные испытания могут использоваться для обнаружения проблем, которые не могут быть эквивалентно зафиксированы испытаниями на полигоне и в виртуальной среде - таких, как ограничение качества восприятия (например, из-за условий освещения, дождя и т.д.).

Несмотря на то, что во время реальных дорожных испытаний обычно невозможно реализовать все сценарии дорожно-транспортных ситуаций, вероятность охвата конкретных сложных сценариев может быть увеличена путем выбора конкретного типа предусмотренных условий эксплуатации (например, редкие дорожные знаки) и изучения различных конкретных элементов (например, автомобильная дорога, пролегающая через парковую зону в летнее время года).

Конкретные нарушения, выявленные во время испытаний в реальных дорожных условиях, могут быть позже проанализированы путем оценки и сравнения данных с помощью виртуальных, полигонных и дорожных испытаний. Кроме того, данные реальных дорожных испытаний могут быть собраны для выявления и записи новых сценариев движения и повышения достоверности программ и методик полигонных и виртуальных испытаний в будущем.

Дорожные испытания могут использоваться для проверки правильности моделирования частей виртуальной среды или среды полигонных испытаний путем сравнения производительности алгоритмов в составе СИИАУД в рамках моделирования и мониторинга его производительности при выполнении того же тестового сценария в реальных дорожных условиях (ГОСТ 24940).

Для проведения испытаний на автомобильных дорогах общего пользования алгоритмов СИИАУД ВАТС требуется персональный компьютер или сервер для сбора и дальнейшего анализа данных, а также оборудование для организации беспроводной сети передачи данных для осуществления взаимосвязи ВАТС на дороге общего пользования с испытательной системой.

Цель аудита - оценить и продемонстрировать, что:

- производитель использует правильные процессы для обеспечения эксплуатационной и функциональной безопасности в течение жизненного цикла ВАТС;

- ВАТС безопасно по своей конструкции, и эта конструкция проходит достаточную проверку. Валидация должна быть подтверждена мониторингом использования.

От производителя требуется продемонстрировать, что:

- существуют надежные процессы для обеспечения безопасности на протяжении всего жизненного цикла ВАТС на этапах разработки, производства, эксплуатации на автомобильных дорогах и вывода из эксплуатации, в том числе принятые меры для наблюдения за ВАТС в условиях реальной эксплуатации и принятие правильных действий, когда это необходимо;

- опасности и риски, относящиеся к алгоритмам в составе СИИАУД, были идентифицированы, и была внедрена последовательная проектная концепция безопасности для снижения этих рисков;

- оценка рисков и концепция безопасности, основанная на конструкции ВАТС, были подтверждены производителем посредством испытаний, подтверждающих соответствие ВАТС требованиям безопасности.

На основе доказательств, предоставленных производителем, и целевых испытаний, сертифицирующий орган, производящий испытания, сможет осуществлять аудит и проверять, являются ли процессы, оценка рисков, конструкция и валидация производителя достаточно надежными с точки зрения функциональной и эксплуатационной безопасности.

Как таковые, эти элементы - оценки рисков, концепция безопасности при проектировании и валидационные тесты - могут использоваться для демонстрации качества отдельных алгоритмов в частности и общей безопасности СИИАУД в целом гораздо более надежным образом, чем ограниченное количество физических и виртуальных испытаний сами по себе.

Анализ рисков, концепции безопасности при проектировании, а также методы проверки и подтверждения являются стандартными методами разработки, используемыми в автомобильной промышленности в течение многих лет для обеспечения функциональной безопасности и отказоустойчивости компонентов ВАТС. Ожидается, что производители будут следовать аналогичным методам для систематической минимизации небезопасных и неизвестных сценариев для алгоритмов в составе СИИАУД (эксплуатационная безопасность за пределами отказов).

Что касается оценки безопасности, инструменты, входящие в этот компонент, обеспечат более надежную демонстрацию безопасности алгоритма в составе СИИАУД, чем серия из нескольких испытаний. Обоснование безопасности производителя будет усилено, если оно будет оценено независимым аудитором и подтверждено целевыми натурными или виртуальными испытаниями. В частности, требуются тестовые заезды для подтверждения удовлетворения характеристиками качества алгоритмов ВАТС минимальным требованиям для стандартных маневров (см. [2]).

Компонент мониторинга и отчетности в процессе эксплуатации ВАТС направлен на обеспечение безопасности ВАТС, оснащенных СИИАУД. На практике применение других компонентов испытаний позволит оценить, является ли алгоритм в составе СИИАУД достаточно безопасным, в то время как мониторинг и отчетность в процессе эксплуатации соберут дополнительные свидетельства из реальных условий эксплуатации, подтверждающие безопасность работы алгоритма в составе СИИАУД при эксплуатации ВАТС на дорогах общего пользования.

Описываемый компонент испытаний заключается в сборе соответствующих данных о функционировании алгоритма в составе СИИАУД во время его работы при эксплуатации ВАТС.

Ретроспективный анализ данных от производителей и других соответствующих источников используется для достижения трех основных целей мониторинга и отчетности в процессе эксплуатации:

- подтверждение безопасности алгоритмов - продемонстрировать, что первоначальная оценка безопасности алгоритма (остаточный риск) на этапе аудита подтверждена дополнительно в условиях реальной эксплуатации;

- создание нового сценария - наполнять каталог сценариев новыми сценариями, которые могут произойти с ВАТС в условиях реальной эксплуатации;

- рекомендации по безопасности - выработать рекомендации по безопасности для всех частных алгоритмов и СИИАУД в целом для различных ВАТС путем обмена знаниями, извлеченными из основных происшествий и инцидентов, связанных с безопасностью, чтобы все производители и ответственные органы могли использовать оперативную обратную связь, способствуя постоянному совершенствованию как технологий, так и законодательства.

Фактический уровень безопасности будет подтвержден только после того, как достаточное количество ВАТС будут подвергаться достаточному диапазону условий движения и окружающей среды. Поэтому наличие мониторинга для подтверждения безопасности алгоритма в составе СИИАУД имеет важное значение.

Кроме того, описываемый компонент испытаний можно использовать для создания новых сценариев в каталоге сценариев, чтобы покрыть новые риски безопасности.

Наконец, на ранней стадии внедрения ВАТС важно, чтобы все сообщество узнало о сбоях, связанных с ВАТС, чтобы быстро отреагировать и обеспечить требуемый уровень безопасности для последующего предотвращения этого сбоя для всех других ВАТС (см. [2]).

Общая цель методов испытаний заключается в том, чтобы на основе требований безопасности оценить, способен ли алгоритм в составе СИИАУД справиться с чрезвычайными ситуациями, с которыми можно столкнуться при его эксплуатации - в частности, при рассмотрении сценариев, связанных с поведением участников дорожного движения и условиями окружающей среды в сценариях дорожно-транспортных ситуаций, а также сценариев, связанных с поведением водителя (в случае его наличия) и отказами самой СИИАУД при управлении ВАТС.

В многоуровневом подходе к испытаниям признается, что безопасность алгоритма в составе СИИАУД не может быть надежно оценена и подтверждена с использованием только одного из методов испытаний. Каждый из перечисленных ранее методов испытаний обладает своими сильными сторонами и ограничениями, такими как точность и масштабируемость.

Одного метода испытаний может быть недостаточно, чтобы оценить работоспособность алгоритма в составе СИИАУД во всех вариантах граничных условий, которые могут встречаться при эксплуатации ВАТС.

Например, в то время как испытания в реальных дорожных условиях обеспечивают высокую степень соответствия окружающей среде, такого рода испытания могут быть дорогостоящими, трудоемкими, трудными для воспроизведения и нести риски для безопасности. В этом случае полигонные испытания могут быть более подходящим методом для сценариев повышенного риска, не подвергая других участников дорожного движения потенциальному ущербу. Кроме того, сценарии испытаний также могут быть легче воспроизведены в закрытой среде по сравнению с реальной дорожной обстановкой. Тем не менее, сценарии полигонных испытаний могут быть потенциально трудными для разработки и реализации, особенно при наличии множества сложных сценариев, включающих большое число элементов.

Виртуальные испытания, напротив, могут быть более масштабируемыми, рентабельными, безопасными и эффективными по сравнению с полигонным или реальным дорожным испытанием, что позволяет испытателю безопасно и легко создавать широкий спектр сценариев, включая сложные сценарии, в которых исследуется разнообразный спектр элементов. Однако виртуальное испытание может иметь более низкую точность, чем другие методы. Программное обеспечение для моделирования также может различаться по качеству, и испытания может быть трудно воспроизвести на разных платформах моделирования.

В дополнение к соответствующим сильным и слабым сторонам каждого метода испытаний, характер оцениваемых требований безопасности также будет определять, какие компоненты метода следует использовать.

Виртуальные испытания могут быть более подходящими, когда есть необходимость изменить параметры тестирования и необходимо провести большое количество испытаний для эффективного охвата всех компонентов сценария.

Полигонные испытания могут лучше всего подойти для случаев, когда производительность алгоритма в составе СИИАУД может быть оценена с помощью дискретного количества натурных тестов, и оценка выиграла бы от более высоких уровней точности (например, для критических дорожных ситуаций).

Испытания в реальных дорожных условиях могут быть более подходящими, если сценарий не может быть точно представлен виртуально или на испытательном полигоне (например, взаимодействие с другими участниками дорожного движения).

С учетом этих соображений последовательность и состав методов испытаний, используемых для оценки каждого требования безопасности и функциональности, могут различаться. Хотя большинство испытаний могут следовать логической последовательности от моделирования к мониторингу, а затем и к испытаниям в реальных дорожных условиях, могут быть отклонения от представленной логики в зависимости от конкретного проверяемого требования.

Следовательно, необходимо, чтобы компоненты методов испытаний алгоритма в составе СИИАУД использовались вместе для создания эффективного, всеобъемлющего и согласованного процесса с учетом их сильных сторон и ограничений. Эти методы должны дополнять друг друга, избегая чрезмерного дублирования или избыточности, чтобы обеспечить эффективную и действенную стратегию валидации (ГОСТ 24940).

Экспертами могут быть специалисты, аттестованные уполномоченным органом по представлению созданной им специальной комиссии и получившие аттестат установленной формы по специальности 02.02.02 "Искусственный интеллект и экспертные системы" или укрупненной группы специальностей 23.00.00 "Техника и технологии наземного транспорта". Уполномоченный орган выдает аттестаты, осуществляет контроль над деятельностью экспертов, приостанавливает, отменяет, продлевает действие выданных аттестатов экспертов, представляет заявителю по его требованию необходимую информацию по вопросам аттестации, согласовывает образовательные и специальные программы по подготовке и повышению квалификации экспертов.

Подготовка экспертов должна включать:

- прохождение специальной подготовки;

- прохождение практической подготовки.

Эксперты должны либо иметь степень минимум кандидата технических или физико-математических наук, либо подтвержденный опыт проведения экспертизы в проектах, релевантных задаче, решаемой анализируемым алгоритмом, не менее трех лет. Экспертный метод должен применяться с помощью работы экспертной комиссии, количество экспертов в которой должно быть не меньше трех.

Для вступления в экспертную комиссию по испытанию алгоритмов СИИАУД претендентам на роль эксперта необходимо пройти тестирование для оценки профессиональной компетентности.

Примечание - Процедура тестирования определяется организацией, осуществляющей испытания алгоритмов СИИАУД.

Результаты испытаний алгоритмов СИИАУД оформляют в соответствии с требованиями ГОСТ 19.301.

Документ "Программа и методика испытаний" должен содержать следующие разделы:

- объект испытаний;

- цель испытаний;

- требования к алгоритму;

- требования к программной документации;

- средства и порядок испытаний;

- методы испытаний.

В разделе "Объект испытаний" указывают наименование конкретного алгоритма, его области применения и обозначение конкретной СИИАУД, в которой он используется.

В разделе "Цель испытаний" должна быть указана цель проведения испытаний - подтверждение соответствия алгоритмов в составе СИИАУД требованиям и критериям качества, представленным в настоящем стандарте.

В разделе "Требования к алгоритму" должны быть указаны требования, подлежащие проверке во время испытаний и заданные в техническом задании на реализацию алгоритма, а также конкретные значения метрик критериев качества из настоящего стандарта - в соответствии с 8.1.

В разделе "Требования к программной документации" должны быть указаны состав программной документации, предъявляемой на испытания, а также специальные требования, если они заданы в техническом задании на реализацию алгоритма.

В разделе "Средства и порядок испытаний" должны быть указаны технические и программные средства, используемые во время испытаний, а также порядок проведения испытаний - в соответствии с 7.2.

В разделе "Методы испытаний" должны быть приведены описания используемых методов испытаний. Методы испытаний рекомендуется по отдельным показателям располагать в последовательности, в которой эти показатели расположены в разделах "Требования к алгоритму" и "Требования к программной документации". В методах испытаний должны быть приведены описания проверок с указанием результатов проведения испытаний (перечней тестовых примеров, контрольных распечаток тестовых примеров и т.п.).

В приложение к программе и методике испытаний могут быть включены тестовые примеры, контрольные распечатки тестовых примеров, таблицы, графики и т.п.

Результаты испытаний алгоритмов в составе СИИАУД фиксируют в протоколе, содержащем следующие разделы:

- назначение испытаний и ссылка на программу и методику испытаний, по которой проводят испытания;

- состав технических и программных средств, используемых при испытаниях;

- указание методик, в соответствии с которыми проводились испытания, обработка и оценка результатов;

- условия проведения испытаний и характеристики исходных данных;

- средства хранения и условия доступа к конечной тестирующей программе;

- обобщенные результаты испытаний;

- выводы о результатах испытаний и соответствии испытанного алгоритма требованиям и критериям качества, представленным в настоящем стандарте.

Номенклатура показателей качества и характеризуемые ими свойства алгоритмов, представленные в виде двух уровней иерархической структуры показателей качества алгоритма, приведена в таблице 2.

Первый уровень определяет группы показателей качества алгоритма, характеризующие потребительски-ориентированные свойства, которые соответствуют потребностям конечного пользователя и заказчика.

Второй уровень определен комплексными показателями качества алгоритма, характеризующими программно-ориентированные свойства, которые обеспечивают достижение требуемых потребительски-ориентированных свойств.

В настоящем разделе приведены методики измерения каждой группы показателей качества алгоритма: надежности, сопровождаемости, удобства применения, эффективности, корректности и доверенности.

Оценка качества алгоритма включает выбор номенклатуры показателей, их оценку и сопоставление значений показателей, полученных в результате сравнения с базовыми значениями.

Показатели качества алгоритма объединены в систему из четырех уровней. Каждый вышестоящий уровень содержит в качестве составляющих показатели нижестоящих уровней. Допускается вводить дополнительные показатели на каждом из уровней.

Для обеспечения возможности получения интегральной оценки по группам показателей качества используют факторы качества (1-й уровень): надежность, сопровождаемость, удобство применения, эффективность, корректность и доверенность.

Каждому фактору качества соответствует определенный набор критериев качества (комплексные показатели - 2-й уровень): устойчивость функционирования, работоспособность, простота конструкции, наглядность, легкость освоения, доступность эксплуатационных программных документов, удобство эксплуатации и обслуживания, временная эффективность, ресурсоемкость, полнота реализации, согласованность, логическая корректность, проверенность, полнота данных, несмещенность данных, объяснимость результатов алгоритма, понятность результатов алгоритма, непредвзятость результатов алгоритма, предсказуемость работы алгоритма.

Критерии качества алгоритма определяются по одной или нескольким метрикам (3-й уровень). Если критерий качества определяется одной метрикой, то уровень метрики опускается (например, для показателей эффективности).

Метрики составляются из оценочных элементов (единичных показателей - 4-й уровень), определяющих заданное в метрике свойство. Число оценочных элементов, входящих в метрику, потенциально не ограничено. В настоящем стандарте приведены примеры оценочных элементов для измерения качества каждого показателя.

Выбор оценочных элементов в метрике зависит от функционального назначения оценочного элемента и определяется с учетом данных, полученных при проведении испытаний различных видов, а также по результатам эксплуатации алгоритма.

Для накопления информации об оценочных элементах формируется справочник оценочных элементов, на основе ранее полученных данных о качестве аналогичных алгоритмов.

Оценка качества алгоритма проводится в определенной последовательности:

а) осуществляется выбор показателей и их базовых значений;

б) для показателей качества на всех уровнях (факторы, критерии, метрики, оценочные элементы) принимается единая шкала оценки от 0 до 1;

в) показатели качества на каждом вышестоящем уровне (кроме уровня оценочных элементов) определяются показателями качества нижестоящего уровня, то есть:

1) результаты оценки каждого фактора определяются результатами оценки соответствующих ему критериев;

2) результаты оценки каждого критерия определяются результатами оценки соответствующих ему метрик;

3) результаты оценки каждой метрики определяются результатами оценки определяющих ее оценочных элементов;

г) факторы, критерии, метрики и оценочные элементы кодируются следующим образом:

1) факторы - в соответствии с таблицей 2: Н, С, У, Э, К, Д;

2) критерии - в соответствии с таблицей 2: Н1, Н2, С2, С3, У1, У2, У3, Э2, Э3, Э4, К1, К2, К3, К4, Д1, Д2;

3) метрики - в виде кода X#-#, где X# - код критерия, к которому относится метрика, и # - номер метрики в критерии; например, Н1-1 - метрика "Средства восстановления при ошибках на входе". В случае если для выбранного критерия нет метрик, в качестве номера метрики используется 0;

4) оценочные элементы - в виде кода X#-#-#, где X#-# - код метрики, к которой относится оценочный элемент, и # - номер оценочного элемента в метрике; например, Н1-1-1 - "Наличие требований к алгоритму по устойчивости функционирования при наличии ошибок во входных данных".

К метрикам показателей надежности относятся следующие:

а) Н1 - устойчивость функционирования:

1) Н1-1 - средства восстановления при ошибках на входе;

2) Н1-2 - средства восстановления при сбоях оборудования;

3) Н1-3 - реализация управления средствами восстановления;

б) Н2 - работоспособность:

1) Н2-1 - функционирование в заданных режимах;

4) Н2-2 - обеспечение обработки заданного объема информации.

Оценочные элементы фактора "Надежность" приведены в таблице 3. Для всех показателей с расчетным методом оценки в графе "Оценка" указан код типа "Ф#", соответствующий формулам (1) - (3), (5).

Формулы для расчета оценки для оценочных элементов фактора "Надежность":

Ф1:

где D - число экспериментов, в которых искажающие воздействия приводили к отказу;

K - общее число экспериментов, в которых имитировались искажающие воздействия;

Ф2:

где Q - число зарегистрированных отказов;

N - общее число экспериментов;

Ф3:

где - предельное время восстановления, выше которого алгоритм получает минимальную оценку;

- допустимое время восстановления, ниже которого алгоритм получает максимальную оценку;

T_в - общее наблюдаемое время восстановления алгоритма, вычисляемое по формуле

- время восстановления после i-го отказа;

N - общее число восстановлений;

Ф4:

где - предельное время преобразования i-го входного набора данных, выше которого алгоритм получает минимальную оценку;

- допустимое время преобразования i-го входного набора данных, ниже которого алгоритм получает максимальную оценку;

- фактическая продолжительность преобразования i-го входного набора данных.

Примечание - Общая оценка элемента Н2-2-2 вычисляется как минимум от всех , рассчитанных по формуле (5).

К метрикам показателей сопровождаемости относятся следующие:

а) С2 - простота конструкции:

1) С2-1 - простота кодирования;

2) С2-2 - простота архитектуры алгоритма;

3) С2-3 - сложность архитектуры алгоритма;

4) С2-4 - межмодульные связи;

б) С3 - наглядность:

1) С3-1 - экспертиза принятой системы идентификации;

2) С3-2 - комментирование логики программных компонентов;

3) С3-3 - оформление текста алгоритма.

Оценочные элементы фактора "Сопровождаемость" приведены в таблице 4. Для всех показателей с расчетным методом оценки в графе "Оценка" указан код типа "Ф#", соответствующий формулам (6), (7).

Формулы для расчета оценки для оценочных элементов фактора "Сопровождаемость":

Ф5:

где A - общее число переходов по условию;

B - общее число исполняемых операторов;

Ф6:

где D - общее число точек входа в программу;

F - общее число точек выхода из программы.

К метрикам показателей удобства применения относятся следующие:

а) У1 - легкость освоения:

1) У1-1 - освоение работы алгоритма;

2) У1-2 - документация для освоения;

б) У2 - доступность эксплуатационных программных документов:

1) У2-1 - полнота пользовательской документации;

2) У2-2 - точность пользовательской документации;

3) У2-3 - понятность пользовательской документации;

4) У2-4 - техническое исполнение пользовательской документации;

5) У2-5 - прослеживание вариантов пользовательской документации;

в) У3 - удобство эксплуатации и обслуживания:

1) У3-1 - эксплуатация;

2) У3-2 - управление алгоритмом;

3) У3-3 - управление данными;

4) У3-4 - рабочие процедуры.

Оценочные элементы фактора "Удобство применения" приведены в таблице 5.

Оценочные элементы фактора "Эффективность" приведены в таблице 6. Для всех показателей с расчетным методом оценки в графе "Оценка" указан код типа "Ф#", соответствующий формулам (8) - (11), (13), (15) - (17).

Формулы для расчета оценки для оценочных элементов фактора "Эффективность":

Ф7:

где Точность - измеряет, насколько точны предсказания;

Чувствительность - измеряет, насколько легко можно найти положительные случаи в k предсказаниях.

Оба эти понятия определяются математически как:

Ф8:

Ф9:

где TP - истинно-положительный результат (True Positive);

FP - ложно-положительный результат (False Positive);

FN - ложно-отрицательный результат (False Negative).

Также F1 можно вычислить из mAP и mAR, заменив ими показатели "Точность" и "Чувствительность" соответственно.

Ф10:

где n - количество пороговых значений;

AP - среднее значение точности со значениями Чувствительность (n) = 0 и Точность (n) = 1, вычисляемое по формуле:

Ф11:

где n - количество пороговых значений;

AR - среднее значение чувствительности, вычисляемое по формуле (14), расчеты по которой интегрируются по кривой перекрытия между двумя областями:

Ф12: избирательность (показатель истинно-отрицательных результатов) измеряет долю правильно идентифицированных отрицательных результатов и рассчитывается по следующей формуле:

где TN - истинно-отрицательный результат (True Negative);

Ф13: среднеквадратичная ошибка между прогнозируемыми и фактическими значениями, и она рассчитывается по следующей формуле:

где, в регрессионной модели, y_i - фактическое значение, а - прогнозируемое значение;

Ф14: средняя абсолютная ошибка (или среднее абсолютное отклонение) - метрика, определяющая среднее абсолютное расстояние между прогнозируемыми и целевыми значениями, рассчитывается по следующей формуле:

Представленные метрики оценки элементов фактора "Эффективность" являются рекомендуемыми для испытания алгоритмов, основанных на методах машинного обучения при решении задач классификации и регрессии. При этом в конкретных случаях рекомендуемые метрики могут быть дополнены или заменены специфическими метриками оценки фактора "Эффективность", применимыми для конкретного метода машинного обучения.

К метрикам показателей корректности относятся следующие:

а) К1 - полнота реализации:

1) К1-1 - полнота документации разработчика;

2) К1-2 - полнота программной документации;

3) К2 - согласованность;

4) К2-1 - единообразие интерфейсов между модулями;

5) К2-2 - единообразие кодирования, символики и определения общих переменных;

6) К2-3 - непротиворечивость документации разработчика;

7) К2-4 - соответствие документации разработчика стандартам;

8) К2-5 - соответствие алгоритма стандартам программирования;

9) К2-6 - непротиворечивость алгоритма;

10) К2-7 - соответствие алгоритма документации;

11) К2-8 - соответствие изменений, внесенных в алгоритм, изменениям в документации;

б) К3 - логическая корректность:

1) К3-1 - реализация алгоритма;

2) К3-2 - реализация всех ветвей процесса автоматизации;

3) К3-3 - отсутствие явных ошибок и достаточность реквизитов;

в) К4 - проверенность:

1) К4-1 - полнота тестирования алгоритма.

Оценочные элементы фактора "Корректность" приведены в таблице 7. Для всех показателей с расчетным методом оценки в графе "оценка" указан код типа "Ф#", соответствующий формулам (17), (18).

Формулы для расчета оценки для оценочных элементов фактора "Корректность":

Ф15:

где - число модулей, отработавших в процессе тестирования и отладки;

- общее число модулей алгоритма;

Ф16:

где - число логических блоков, отработавших в процессе тестирования и отладки;

- общее число логических блоков.

К метрикам показателей доверенности относятся следующие:

а) Д1 - доверие к данным:

1) Д1-1 - полнота данных;

2) Д1-2 - несмещенность данных;

3) Д1-3 - актуальность данных;

4) Д1-4 - целостность данных;

б) Д2 - доверие к функционированию алгоритма:

1) Д2-1 - объяснимость (интерпретируемость) результатов алгоритма;

2) Д2-2 - понятность результатов алгоритма;

3) Д2-3 - непредвзятость результатов алгоритма;

4) Д2-4 - предсказуемость работы алгоритма.

Оценочные элементы фактора "Доверенность" приведены в таблице 8.

При использовании экспертного метода анализа значений элементов оценивания метрик качества алгоритма эксперты на основе своего экспертного мнения проставляют оценки, пользуясь, при необходимости, представленной шкалой для выбора численного значения оценки:

- метрика не проявлена в оцениваемом алгоритме - 0,0;

- метрика практически никак не проявлена в оцениваемом алгоритме - 0,1;

- метрика очень слабо проявлена в оцениваемом алгоритме - 0,2;

- метрика слабо проявлена в оцениваемом алгоритме - 0,3;

- метрика проявлена в оцениваемом алгоритме чуть хуже среднего - 0,4;

- метрика проявлена в оцениваемом алгоритме примерно наполовину - 0,5;

- метрика проявлена в оцениваемом алгоритме чуть лучше среднего - 0,6;

- метрика достаточно хорошо проявлена в оцениваемом алгоритме - 0,7;

- метрика хорошо проявлена в оцениваемом алгоритме - 0,8;

- метрика полностью проявлена в оцениваемом алгоритме, за исключением мелких нюансов - 0,9;

- метрика полностью и абсолютно проявлена в оцениваемом алгоритме - 1,0.

При использовании представленной шкалы эксперты выбирают конкретное значение оценки исходя из своего экспертного понимания того, насколько соответствующая метрика проявлена в тестируемом алгоритме. Например, метрика Д1-1-5 "Процесс сбора данных описан и регламентирован" может быть оценена при помощи изучения объема представленной документации, при этом эксперт на основе своего экспертного мнения оценивает посредством представленной шкалы объем и достаточность рассмотренной документации о процессе сбора данных.

В настоящем разделе приведено описание расчетной процедуры для свертки частных показателей качества к скалярной величине (интегральному показателю качества) для каждого фактора качества алгоритма.

В процессе оценки качества алгоритма на каждом уровне (кроме уровня оценочных элементов) проводятся вычисления показателей качества алгоритма, то есть определение количественных значений абсолютных показателей (P_ij, где j - порядковый номер показателя этого уровня для i-го показателя вышестоящего уровня) и относительных показателей (K_ij), являющихся функцией показателя P_ij, и базового значения .

Каждый показатель качества 2-го и 3-го уровней (критерий и метрика) характеризуется двумя числовыми параметрами - количественным значением и весовыми коэффициентами (V_ij).

Сумма весовых коэффициентов показателей уровня (L), относящихся к i-му показателю вышестоящего уровня (L - 1), есть величина постоянная. Сумма весовых коэффициентов (V_ij) принимается равной 1.

где n - число показателей уровня (L), относящихся к i-му показателю вышестоящего уровня (L - 1).

Общая оценка качества алгоритма в целом формируется экспертами по набору полученных значений оценок факторов качества.

Для оценки качества алгоритма методом экспертного опроса составляется таблица значений базовых показателей качества алгоритма.

Усредненную оценку (m_kq) оценочного элемента по нескольким его значениям (m_э) рассчитывают по формуле

где t - число значений оценочного элемента;

k - порядковый номер метрики;

q - порядковый номер оценочного элемента.

Итоговую оценку k-й метрики j-го критерия рассчитывают по формуле

где Q - число оценочных элементов в k-й метрике.

Абсолютные показатели критериев i-го фактора качества рассчитывают по формуле

где n - число метрик, относящихся к j-му критерию.

Относительный показатель j-го критерия i-го фактора качества вычисляется по формуле:

Фактор качества вычисляют по формуле:

где N - число критериев качества, относящихся к i-му фактору.

Представленная расчетная процедура позволяет свернуть все оценки качества алгоритма для каждого из шести факторов качества (надежность, сопровождаемость, удобство применения, эффективность, корректность и доверенность) в единый интегральный показатель качества. В результате применения этой расчетной процедуры должно быть получено шесть скалярных интегральных показателей качества для алгоритма.

В настоящем разделе приводится пример расчета интегральных показателей качества для некоторого алгоритма X.

Оценки каждого эксперта для всех оценочных элементов фактора "Надежность" приведены в таблице 9. В графе "Среднее" приведено среднее значение оценки для соответствующего оценочного показателя.

Оценка метрики Н1-1: (0,97 + 0,95 + 0,72 + 0,65 + 0,67 + 0,8 + 0,87 + 0,63 + 0,78 + 1,0)/10 = 0,804.

Оценка метрики Н1-2: (0,33 + 0,05 + 0,03 + 0,5 + 0,0)/5 = 0,182.

Оценка метрики Н1-3: (0,17 + 0,9 + 1,0 + 0,47 + 1,0)/5 = 0,708.

Оценка метрики Н2-1: 1,0.

Оценка метрики Н2-2: (1,0 + 1,0)/2 = 1,0.

Абсолютная оценка критерия Н1: 0,804·0,2 + 0,182·0,5 + 0,708·0,3 = 0,4642.

Абсолютная оценка критерия Н2: 1,0·0,7 + 1,0·0,3 = 1,0.

Относительные оценки критериев Н1 и Н2 равны абсолютным, так как принято, что базовое значение оценки качества для каждого критерия равно 1,0.

Оценка фактора Н: 0,4642·0,5 + 1,0·0,5 = 0,7321.

Применение процедуры свертки частных показателей качества к скалярной величине (интегральному показателю качества), дает интегральные показатели для шести факторов качества алгоритма:

- Н - надежность;

- С - сопровождаемость;

- У - удобство применения;

- Э - эффективность;

- К - корректность;

- Д - доверенность.

Следующий набор правил используется для качественной оценки алгоритма:

а) если значение хотя бы одного из факторов качества (Н, С, У, Э, К, Д) менее 0,5, то оцениваемый алгоритм признается НЕКАЧЕСТВЕННЫМ;

б) если значения всех факторов качества более или равны 0,5, при этом значение хотя бы одного фактора качества менее 0,6, то оцениваемый алгоритм признается НИЗКОГО КАЧЕСТВА;

в) если значения всех факторов качества более или равны 0,6, при этом значение хотя бы одного фактора качества менее 0,7, то оцениваемый алгоритм признается ПРИЕМЛЕМОГО КАЧЕСТВА;

г) если значения всех факторов качества более или равны 0,7, при этом значение хотя бы одного фактора качества менее 0,8, то оцениваемый алгоритм признается КАЧЕСТВЕННЫМ;

д) если значения всех факторов качества более или равны 0,8, при этом значение хотя бы одного фактора качества менее 0,9, то оцениваемый алгоритм признается ВЫСОКОГО КАЧЕСТВА;

е) если значения всех факторов качества более или равны 0,9, то оцениваемый алгоритм признается ВЫСОЧАЙШЕГО КАЧЕСТВА.