"ГОСТ Р 71534-2024. Национальный стандарт Российской Федерации. Системы искусственного интеллекта на автомобильном транспорте. Системы управления движением транспортным средством. Требования к испытанию алгоритмов обнаружения и распознавания сигналов светофоров"
(утв. и введен в действие Приказом Росстандарта от 06.09.2024 N 1181-ст)

1 РАЗРАБОТАН Обществом с ограниченной ответственностью "Симетра Групп" (ООО "Симетра Групп"), Обществом с ограниченной ответственностью "А-Я эксперт" (ООО "А-Я эксперт")

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 6 сентября 2024 г. N 1181-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Настоящий стандарт устанавливает общие положения и основные требования к испытанию частных алгоритмов искусственного интеллекта в системах управления движением транспортных средств для обнаружения и распознавания сигналов светофора.

Технологии искусственного интеллекта обладают значительным потенциалом для повышения безопасности дорожного движения, оптимизации управления дорожным движением и обеспечения точного обнаружения и распознавания сигналов светофора. Настоящий стандарт направлен на создание методологической основы для реализации алгоритмов искусственного интеллекта, специально разработанных для обнаружения и распознавания сигналов светофора системами компьютерного зрения на транспортных средствах.

Системы управления движением транспортных средств, оснащенные средствами искусственного интеллекта, открывают широкие возможности для улучшения параметров транспортного потока, повышения эффективности управления движением при помощи обнаружения и распознавания сигналов светофоров. Кроме того, внедрение алгоритмов искусственного интеллекта позволяет транспортным службам эффективно контролировать состояние светофоров, выявлять потенциальные проблемы и принимать соответствующие меры для обеспечения безопасного и эффективного управления движением.

В настоящем стандарте изложены требования, которым должны соответствовать алгоритмы искусственного интеллекта для точного и надежного обнаружения и распознавания сигналов светофоров. Принятие требований обеспечивает объективное тестирование, позволяющее разрабатывать надежные и безопасные решения на основе искусственного интеллекта для систем управления движением транспортных средств.

Настоящий стандарт направлен на повышение безопасности дорожного движения, оптимизацию систем управления движением и содействие развитию интеллектуальных транспортных систем, способных решать текущие и будущие проблемы мобильности. Он служит важным методическим материалом для заинтересованных сторон, участвующих в разработке и внедрении технологий искусственного интеллекта в дорожном транспорте, способствуя созданию более безопасной и эффективной транспортной среды для всех участников дорожного движения.

Настоящий стандарт направлен на определение основных требований к испытанию алгоритмов искусственного интеллекта в системах управления движением транспортного средства. Алгоритмы искусственного интеллекта позволяют не только облегчить управление высокоавтоматизированными и беспилотными транспортными средствами, но и позволяют отслеживать и контролировать состояние объекта распознавания, то есть светофора, с помощью технологий V2X-взаимодействия.

Стандарт распространяется на алгоритмы искусственного интеллекта в системах управления движением транспортного средства. Эти системы работают на высокоавтоматизированных и беспилотных транспортных средствах как в городских агломерациях, так и на автомагистралях вне населенных пунктов, и направлены на повышение безопасности движения, оптимизацию управления дорожным движением и эффективное управление беспилотными транспортными средствами за счет принятия решений на основе искусственного интеллекта.

Заинтересованные стороны, занимающиеся разработкой, внедрением и тестированием алгоритмов ИИ, а также технологий V2X-взаимодействия, должны придерживаться требований, определенных в настоящем стандарте. Соблюдение этих требований способствует созданию надежных и безопасных систем управления движением транспортного средства на основе технологий искусственного интеллекта, повышению безопасности дорожного движения и эффективной интеграции технологий искусственного интеллекта в интеллектуальные транспортные системы.

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ Р 52282 Технические средства организации дорожного движения. Светофоры дорожные. Типы и основные параметры. Общие технические требования. Методы испытаний

ГОСТ Р 53613 (МЭК 60721-2-2:1988) Воздействие природных внешних условий на технические изделия. Общая характеристика. Осадки и ветер

ГОСТ Р 59276 Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения

ГОСТ Р 70250-2022 Системы искусственного интеллекта на автомобильном транспорте. Варианты использования и состав функциональных подсистем искусственного интеллекта

ГОСТ Р 70252 Системы искусственного интеллекта на автомобильном транспорте. Системы управления движением транспортным средством. Требования к испытанию алгоритмов низкоуровневого слияния данных

ГОСТ Р 70982 Системы искусственного интеллекта на автомобильном транспорте. Системы управления движением транспортным средством. Требования к структуре и архитектуре V2X-взаимодействия

ГОСТ Р 71533-2024 Системы искусственного интеллекта на автомобильном транспорте. Системы управления движением транспортным средством. Требования к испытанию алгоритмов обнаружения и распознавания дорожной разметки

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1

3.2

3.3

3.4 сцена: Пространство в поле зрения видеокамеры.

3.5

В настоящем стандарте использованы следующие обозначения и сокращения:

I2V - взаимодействие придорожной инфраструктуры с подключенными транспортными средствами (infrastructure-to-vehicle);

JSON - объектная нотация на языке программирования JavaScript (JavaScript Object Notation);

V2V - взаимодействие подключенных транспортных средств друг с другом (vehicle-to-vehicle);

V2X - взаимодействие подключенных транспортных средств с любыми другими участниками взаимодействия (vehicle-to-everything);

ИИ - искусственный интеллект;

ОР - объект распознавания;

СИИ - система искусственного интеллекта;

СФЭ - существенный фактор эксплуатации;

ТООВ - табло обратного отсчета времени;

ТС - транспортное средство.

5.1 Цель испытаний алгоритмов ИИ заключается в установлении надежности СИИ в соответствии с общими принципами, предусмотренными ГОСТ Р 59276.

5.2 Общие нормы и правила, а также общие методы проведения испытаний и обязательные стандарты для тестирования алгоритмов ИИ регламентированы в ГОСТ Р 70250.

5.3 Организация, ответственная за проведение испытаний алгоритмов ИИ, при проведении оценки качества обязана использовать индикаторы и критерии, утвержденные в ГОСТ Р 70250-2022 (раздел 8).

5.4 ОР для алгоритмов ИИ - сигналы светофоров, наблюдаемые при помощи технических средств восприятия визуальной информации в составе системы управления движением ТС.

5.5 Для улучшения показателей критериев и метрик качества алгоритмов ИИ они могут получать дополнительные данные для обнаружения и распознавания ОР из различных источников, таких как (без ограничения):

а) карты высокой точности;

б) цифровые двойники автомобильных дорог;

в) окружающие ТС путем V2V-взаимодействия;

г) дорожные контроллеры, управляющие светофорными объектами, путем I2V-взаимодействия;

д) иные элементы придорожной инфраструктуры путем I2V-взаимодействия.

5.6 Для улучшения значений критериев, показателей и метрик качества алгоритмов ИИ можно применять технологию низкоуровневого слияния данных, также известную как мультисенсорная интеграция данных. В случае использования этой технологии испытания алгоритмов ИИ должны проводиться в соответствии с требованиями, изложенными в ГОСТ Р 70252.

5.7 Если для низкоуровневого слияния данных используются данные, полученные путем V2X-взаимодействия, то структура и архитектура такого взаимодействия должны соответствовать требованиям, установленным в ГОСТ Р 70982.

6.1 Общие положения касательно СФЭ приведены в ГОСТ Р 71533-2024 (подраздел 6.1).

6.2 Классы ОР - главный СФЭ. Для алгоритмов ИИ выделяются следующие классы ОР:

- основной светофор. Зеленый;

- основной светофор. Зеленый мигающий;

- основной светофор. Желтый;

- основной светофор. Желтый мигающий;

- основной светофор. Красный;

- основной светофор. Красный и желтый;

- основной светофор. Неисправен;

- основной светофор. Выключен;

- дополнительный светофор. Зеленый;

- дополнительный светофор. Зеленый мигающий;

- дополнительный светофор. Желтый;

- дополнительный светофор. Желтый мигающий;

- дополнительный светофор. Красный;

- дополнительный светофор. Красный и желтый;

- дополнительный светофор. Неисправен;

- дополнительный светофор. Выключен;

- реверсивный светофор. Движение запрещено;

- реверсивный светофор. Съезд направо;

- реверсивный светофор. Движение разрешено;

- реверсивный светофор. Неисправен;

- Реверсивный светофор. Выключен;

- прочий светофор. Зеленый;

- прочий светофор. Зеленый мигающий;

- прочий светофор. Желтый;

- прочий светофор. Желтый мигающий;

- прочий светофор. Красный;

- прочий светофор. Красный и желтый;

- прочий светофор. Неисправен;

- прочий светофор. Выключен;

- пешеходный светофор. Зеленый;

- пешеходный светофор. Красный;

- пешеходный светофор. Неисправен;

- пешеходный светофор. Выключен;

- трамвайный светофор. Движение запрещено;

- трамвайный светофор. Движение прямо;

- трамвайный светофор. Движение налево;

- трамвайный светофор. Движение направо;

- трамвайный светофор. Движение прямо и направо;

- трамвайный светофор. Движение прямо и налево;

- трамвайный светофор. Движение направо и налево;

- трамвайный светофор. Движение прямо, направо и налево;

- трамвайный светофор. Неисправен;

- трамвайный светофор. Выключен;

- железнодорожный светофор. Бело-лунный;

- железнодорожный светофор. Красный;

- железнодорожный светофор. Неисправен;

- железнодорожный светофор. Выключен;

- велосипедный светофор. Зеленый;

- велосипедный светофор. Зеленый мигающий;

- велосипедный светофор. Желтый;

- велосипедный светофор. Желтый мигающий;

- велосипедный светофор. Красный;

- велосипедный светофор. Красный и желтый;

- велосипедный светофор. Неисправен;

- велосипедный светофор. Выключен;

- регулируемый пешеходный переход;

- подсветка на опоре. Красный;

- подсветка на опоре. Желтый;

- подсветка на опоре. Зеленый;

- подсветка на опоре. Выключена.

Примечание - Под термином "Прочий светофор" понимается находящийся на сцене светофор для регулирования автомобильного дорожного движения (транспортный светофор для автомобильных ТС), который не является ни основным, ни дополнительным в терминах организации дорожного движения. Прочими светофорами, например, являются светофоры следующего перекрестка по ходу движения ТС, которые наблюдаются на сцене, но не относятся к организации дорожного движения на ближайшем светофорном объекте.

6.3 СФЭ для сцены в целом:

а) время суток;

б) засветка;

в) направление движения ТС;

г) осадки;

д) освещенность;

е) плотность потока ТС;

ж) полоса движения ТС;

и) тип освещенности.

6.4 СФЭ для отдельных ОР:

а) дополнительная секция светофора;

б) направление движения ТС по зеленому сигналу;

в) тип светофора (по ГОСТ Р 52282);

г) ТООВ;

д) значение на ТООВ;

е) наличие подсветки на опоре;

ж) направление ОР;

и) нахождение ОР по отношению к ТС;

к) расстояние от ТС до ОР;

л) тип ламп ОР;

м) частичное перекрытие ОР ТС.

6.5 В целях тестирования алгоритмов ИИ могут применяться дополнительные СФЭ, не перечисленные в 6.2 и 6.3.

6.6 Значения СФЭ "Время суток":

а) день;

б) сумерки;

в) ночь.

6.7 Значения СФЭ "Засветка":

- да - на воспринимаемой сцене присутствует засветка от ярких источников внешнего освещения (произвольной природы - естественного или искусственного);

- нет.

6.8 Значения СФЭ "Направление движения ТС":

а) налево - ОР наблюдается с ракурса, при котором ТС поворачивает налево;

б) прямо - ОР наблюдается с ракурса, когда ТС движется прямо;

в) направо - ОР наблюдается с ракурса, при котором ТС поворачивает направо.

6.9 Значения СФЭ "Осадки":

а) нет;

б) дождь - капли дождя не мешают распознавать ОР на воспринимаемой сцене (легкий или умеренный дождь по ГОСТ Р 53613);

в) сильный дождь - потоки воды от дождя мешают распознавать ОР на воспринимаемой сцене (интенсивный или сильный дождь, а также ливень по ГОСТ Р 53613);

г) морось - многочисленные капельки воды могут искажать воспринимаемую сцену (моросящий дождь по ГОСТ Р 53613);

д) туман - взвешенная смесь водного пара мешает воспринимать ОР на сцене;

е) снег - снежинки не мешают распознавать ОР на воспринимаемой сцене;

ж) сильный снег - снегопад мешает распознавать ОР на воспринимаемой сцене.

6.10 Значения СФЭ "Освещенность":

а) яркое солнце - ясная погода, на небе нет облачности, либо она спорадическая;

б) рассеянное солнце - на небе отдельные кучевые облака, солнце за облаком;

в) тень - небо полностью затянуто тучами, пасмурно, светлое время суток;

г) натриевая лампа - искусственное освещение в темное время суток при помощи натриевых светильников ("желтый" свет);

д) светодиодная лампа - искусственное освещение в темное время суток при помощи светодиодных светильников (яркий "белый" свет);

е) ближний свет фар - внешнего искусственного освещения на автомобильной дороге нет, используется ближний свет фар ТС;

ж) дальний свет фар - внешнего искусственного освещения на автомобильной дороге нет, используется дальний свет фар ТС;

и) освещение отсутствует - освещение отсутствует полностью в сумеречное или темное время суток.

6.11 Значения СФЭ "Плотность потока ТС":

а) поток отсутствует - на воспринимаемой сцене отсутствуют другие ТС;

б) низкая - на воспринимаемой сцене присутствуют отдельные ТС;

в) средняя - большая часть автомобильной дороги в попутном направлении на воспринимаемой сцене занята ТС;

г) высокая - вся воспринимаемая автомобильная дорога в попутном направлении занята ТС.

6.12 Значения СФЭ "Полоса движения ТС":

а) крайняя левая - ТС движется по крайней левой полосе, воспринимаемые ОР находятся преимущественно справа от ТС;

б) средняя - ТС движется по средним полосам или посередине проезжей части, воспринимаемые ОР находятся со всех сторон;

в) крайняя правая - ТС движется по крайней правой полосе, воспринимаемые ОР находятся преимущественно слева от ТС.

6.13 Значения СФЭ "Тип освещенности":

а) естественная;

б) искусственная.

6.14 Значения СФЭ "Дополнительная секция светофора":

- основной светофор. Стрелка направо;

- основной светофор. Стрелка направо красная;

- основной светофор. Стрелка направо выключена;

- основной светофор. Стрелка налево;

- основной светофор. Стрелка налево красная;

- основной светофор. Стрелка налево выключена;

- дополнительный светофор. Стрелка направо;

- дополнительный светофор. Стрелка направо красная;

- дополнительный светофор. Стрелка направо выключена;

- дополнительный светофор. Стрелка налево;

- дополнительный светофор. Стрелка налево красная;

- дополнительный светофор. Стрелка налево выключена;

- прочий светофор. Стрелка направо;

- прочий светофор. Стрелка направо красная;

- прочий светофор. Стрелка направо выключена;

- прочий светофор. Стрелка налево;

- прочий светофор. Стрелка налево красная;

- прочий светофор. Стрелка налево выключена.

6.15 Значения СФЭ "Направление движения ТС по зеленому сигналу":

а) прямо и направо;

б) прямо и налево;

в) направо и налево;

г) прямо и разворот;

д) только прямо;

е) только направо;

ж) только налево (и разворот);

и) в любом направлении;

к) только разворот.

6.16 Значения СФЭ "Тип светофора" определяются по ГОСТ Р 52282.

6.17 Значения СФЭ "Табло обратного отсчета времени":

а) да - на ОР присутствуют числа ТООВ;

б) нет - на ОР отсутствуют числа ТООВ.

6.18 Значения СФЭ "Значение на табло обратного отсчета времени" представляют собой числа (однозначные, двухзначные и трехзначные), которые должны распознаваться алгоритмами ИИ.

6.19 Значения СФЭ "Наличие подсветки на опоре":

а) да - на опоре, на которой подвешен ОР, имеется подсветка сигнала ОР;

б) нет - подсветки сигнала ОР нет или она не включена.

6.20 Значения СФЭ "Направление ОР":

а) попутное - сигналы ОР направлены на полосы проезжей части, по которым едет ТС;

б) конкурирующее - сигналы ОР направлены на полосы проезжей части, конкурирующие для полосы, по которой едет ТС.

6.21 Значения СФЭ "Нахождение ОР по отношению к ТС":

а) слева - ОР находится слева от центра воспринимаемой сцены;

б) напротив - ОР находится по центру от воспринимаемой сцены, то есть центральная линия сцены либо пересекает ОР, либо ОР находится в центральной области воспринимаемой сцены, границы которой отходят от центральной линии не более чем на 10% от ширины сцены в каждую сторону;

в) справа - ОР находится справа от центра воспринимаемой сцены.

6.22 Значения СФЭ "Расстояние от ТС до ОР":

а) небольшое - ОР находится прямо непосредственно перед ТС (ближе 3 м);

б) среднее - расстояние ОР от ТС примерно 10 м или менее, но не ближе 3 м;

в) большое - расстояние ОР от ТС более 10 м.

6.23 Значения СФЭ "Тип ламп ОР":

а) оптические - в ОР используются лампы накаливания;

б) светодиодные - в ОР используются светодиодные источники света.

6.24 Значения СФЭ "Частичное перекрытие ОР ТС":

а) нет - ОР полностью воспринимается, его не загораживает ТС;

б) да - ОР воспринимается частично из-за перекрытия его ТС.

6.25 При тестировании алгоритмов ИИ могут применяться значения СФЭ, дополнительные к множествам значений, перечисленных в 6.5 - 6.23.

Разметка тестовых наборов данных должна осуществляться на основе принципов, изложенных в ГОСТ Р 71533-2024 (раздел 7).

8.1 Факторы качества, критерии и метрики для алгоритмов ИИ описаны в соответствии с ГОСТ Р 70250.

8.2 Для проведения оценки алгоритмов ИИ в таблицах 1 - 5 приведены весовые коэффициенты для критериев и метрик качества. В первой графе указаны весовые коэффициенты для критериев. Сумма всех коэффициентов в этой графе должна равняться 1. В строке каждого критерия указаны весовые коэффициенты для соответствующих метрик. Сумма всех коэффициентов метрик в строке должна равняться 1. Символ "#" в наименовании метрик заменяется на номер критерия, к которому относится данная метрика. Например, для критерия "Надежность", метрика "Н#-1" заменяется на "Н1-1", а для критерия "Н2" - "Н2-1".

8.3 В таблице 1 представлены конкретные весовые коэффициенты для критериев и метрик фактора качества "Надежность".

8.4 В таблице 2 содержатся конкретные весовые коэффициенты для критериев и метрик фактора качества "Сопровождаемость".

8.5 В таблице 3 представлены конкретные весовые коэффициенты для критериев и метрик фактора качества "Удобство применения".

8.6 Для фактора качества "Эффективность" применяются следующие весовые коэффициенты: для критериев Э2 и Э3 - по 0,25, для Э4 - 0,5.

8.7 В таблице 4 содержатся конкретные весовые коэффициенты для критериев и метрик фактора качества "Корректность".

8.8 В таблице 5 представлены конкретные весовые коэффициенты для критериев и метрик фактора качества "Доверенность".

8.9 Представленные в таблицах 1 - 5 весовые коэффициенты для критериев и метрик являются рекомендуемыми. В процессе испытаний конкретной реализации алгоритмов ИИ можно выбирать специфические значения коэффициентов, которые должны быть описаны в документации о проведении испытаний.

8.10 Пример расчета интегрального показателя качества алгоритма ИИ приведен в ГОСТ Р 70250.

9.1 Общие положения по тестовым наборам данных, требования к представительности тестовых наборов данных и принципы расширения тестовых наборов данных приведены в ГОСТ Р 71533-2024 (подразделы 9.1, 9.2 и 9.4 соответственно).

9.2 Основной демонстрационный тестовый набор данных для тестирования алгоритмов ИИ, содержащий в себе фрагменты различных вариантов ОР с учетом разнообразных значений СФЭ, приведен в [1].

9.3 Демонстрационный тестовый набор данных предоставляет примеры ОР в различных вариантах комбинаций значений СФЭ и содержит разметку изображений в формате JSON, в котором описываются полигоны, охватывающие ОР, к каждому из которых приписано множество значений СФЭ. Значения СФЭ также приписаны к изображениям в целом.

9.4 В состав архива, содержащего демонстрационный тестовый набор данных, входит индексный файл в формате электронной таблицы, в котором перечислены все варианты ОР и все возможные значения каждого СФЭ с указанием файла изображения и соответствующей ему JSON-разметки, в которых приводятся примеры этих ОР и значений СФЭ.