"ГОСТ Р 70983-2023. Национальный стандарт Российской Федерации. Системы искусственного интеллекта на автомобильном транспорте. Системы управления интеллектуальной транспортной инфраструктурой. Требования к испытанию алгоритмов прогнозирования характеристик транспортного потока"
(утв. и введен в действие Приказом Росстандарта от 17.10.2023 N 1170-ст)

1 РАЗРАБОТАН Обществом с ограниченной ответственностью "А+С Транспроект" (ООО "А+С Транспроект"), Обществом с ограниченной ответственностью "А-Я эксперт" (ООО "А-Я эксперт")

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 17 октября 2023 г. N 1170-ст

4 ВВЕДЕН ВПЕРВЫЕ

Развитие технологий искусственного интеллекта (ИИ) на прикладном уровне происходит на всех уровнях жизни. На транспорте эти технологии используются в нескольких аспектах - построения интеллектуальных транспортных систем (ИТС) на различных уровнях управления и для интеллектуализации систем управления интеллектуальной транспортной инфраструктурой (СУИТИ). В автомобильной транспортной модальности разработка СУИТИ основана на применении ряда алгоритмов ИИ для прогнозирования дорожных условий, прогнозирования параметров транспортных потоков.

Вместе с этим СУИТИ проходят широкие испытания. От полноты и достоверности процесса испытаний зависят перспективы этой технологии и сроки начала ее массового использования на автомобильных дорогах общего пользования.

Для решения задач организации и управления дорожным движением одним из алгоритмов является алгоритм прогнозирования характеристик транспортного потока. При использовании данных из различных источников СУИТИ может использовать алгоритм прогнозирования характеристик транспортного потока для организации управления дорожным движением на улично-дорожной сети населенных пунктов или региональных и межмуниципальных автомобильных дорог.

Для испытания алгоритмов прогнозирования характеристик транспортного потока в целях обеспечения доверия к СУИТИ, основанным на использовании методов ИИ, настоящий стандарт устанавливает общие принципы проведения испытаний. В настоящем стандарте приведены перечни весовых коэффициентов для показателей качества алгоритма и тестовых наборов данных с приведением сценариев испытаний описываемого алгоритма. Приведены требования к представительности (полноте и несмещенности) тестовых данных, демонстрационные тестовые наборы данных, правила формирования представительных тестовых наборов данных и приведены принципы расширения (аугментации) тестовых наборов данных.

Настоящий стандарт является частью комплекса стандартов по установлению требований к применению технологий ИИ на автомобильной транспортной модальности для повышения доверия к технологиям ИИ, обеспечения безопасности дорожного движения, жизни и здоровья людей, сохранности их имущества, охраны окружающей среды и эффективности транспортных процессов.

Настоящий стандарт распространяется на СУИТИ и устанавливает требования к испытаниям частных алгоритмов, реализованных с использованием методов ИИ, подсистемы интерпретации входных данных о дорожной обстановке в автомобильной транспортной модальности - алгоритмов прогнозирования характеристик транспортного потока в СУИТИ.

СУИТИ, в состав которых входят алгоритмы прогнозирования характеристик транспортного потока с использованием методов ИИ, требования к испытаниям которых установлены в настоящем стандарте, могут быть реализованы в составе интеллектуальных транспортных систем, управляющих дорожной деятельностью в населенных пунктах, городских агломерациях, на сети региональных и межмуниципальных дорог, федеральных автомобильных дорог.

Настоящий стандарт предназначен для применения при проведении всех типов испытаний алгоритмов прогнозирования характеристик транспортного потока при управлении СУИТИ.

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ Р 70249 Системы искусственного интеллекта на автомобильном транспорте. Высокоавтоматизированные транспортные средства. Термины и определения

ГОСТ Р 70250-2022 Системы искусственного интеллекта на автомобильном транспорте. Варианты использования и состав функциональных подсистем искусственного интеллекта

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

В настоящем стандарте применены термины по ГОСТ Р 70249, а также следующие термины с соответствующими определениями:

3.1 автомобильная транспортная модальность: транспортная модальность, использующая колесные транспортные средства для перемещения по автомобильным дорогам общего пользования.

3.2

3.3

3.4 аугментация данных: Способ увеличения количества обучающих данных путем модификации имеющихся данных.

3.5 доверенность: Показатель качества алгоритма искусственного интеллекта, отражающий степень проявления свойства доверия к системе искусственного интеллекта.

3.6

3.7

3.8

3.9

3.10

3.11

3.12

3.13 переобученность: Свойство модели машинного обучения хорошо классифицировать примеры из обучающей выборки, но относительно плохо классифицировать примеры, не участвовавшие в обучении (например, из тестовой выборки).

3.14

3.15 существенный фактор эксплуатации: Важный входной параметр для алгоритма искусственного интеллекта, который относится к решаемой задаче и изменение значения которого существенно влияет на результат работы алгоритма.

3.16 транспортная модальность: Вид транспорта, включая типы транспортных средств и транспортной инфраструктуры, а также среду, в которой функционирует транспорт.

3.17

3.18

4.1 Общие требования и методику проведения испытаний алгоритмов прогнозирования характеристик транспортного потока определяют по ГОСТ Р 70250.

4.2 При проведении испытаний алгоритмов прогнозирования характеристик транспортного потока необходимо провести экспертизу на патентную чистоту алгоритмов.

Организация, осуществляющая тестирование алгоритма прогнозирования характеристик транспортного потока, обязана применять показатели и критерии для проведения оценки качества этого алгоритма, установленные в ГОСТ Р 70250-2022 (раздел 8).

6.1 Для конкретизации процедуры оценки качества алгоритма прогнозирования поведения участников дорожного движения в таблицах 1 - 5 приведены весовые коэффициенты для критериев и метрик качества. Весовые коэффициенты для критериев представлены в первой графе. Сумма всех коэффициентов первой графы должна быть равна 1. Весовые коэффициенты для всех метрик качества заданного критерия приведены в строке соответствующего критерия. Сумма всех коэффициентов для каждой строки должна быть равна 1. Знак "#" в наименовании метрик является "маской подстановки" для номера критерия, к которому относится соответствующая метрика. Например, для фактора качества "Надежность" метрика "Н#-1" для критерия "Н1" должна читаться как "Н1-1", а для критерия "Н2" - "Н2-1".

6.2 Конкретные весовые коэффициенты для критериев и метрик фактора качества "Надежность" приведены в таблице 1.

6.3 Конкретные весовые коэффициенты для критериев и метрик фактора качества "Сопровождаемость" приведены в таблице 2.

6.4 Конкретные весовые коэффициенты для критериев и метрик фактора качества "Удобство применения" приведены в таблице 3.

6.5 Для фактора качества "Эффективность" используют следующие весовые коэффициенты: для критериев Э2 и Э3 - 0,25, для Э4 - 0,5.

6.6 Конкретные весовые коэффициенты для критериев и метрик фактора качества "Корректность" приведены в таблице 4.

6.7 Конкретные весовые коэффициенты для критериев и метрик фактора качества "Доверенность" приведены в таблице 5.

6.8 Представленные в таблицах 1 - 5 весовые коэффициенты для критериев и метрик являются рекомендуемыми, однако при испытании частного алгоритма для конкретной задачи допускается выбирать специфические коэффициенты для этой задачи.

7.1.1 В настоящем разделе описаны тестовые наборы данных и сценарии испытания алгоритма прогнозирования характеристик транспортного потока, а именно приведены требования к представительности (полноте и несмещенности) тестовых наборов данных, приведены фрагменты тестовых наборов данных - демонстрационные наборы данных, описаны правила формирования представительных тестовых наборов данных, включая, в случае необходимости, описание представительной совокупности тестовых сценариев, а также разъяснены принципы расширения (аугментации) тестовых наборов данных.

7.1.2 При подготовке тестовых наборов данных для проведения испытаний алгоритмов прогнозирования характеристик транспортного потока необходимо обеспечить единство измерений в части обеспечения единообразия средств измерений в соответствии с требованиями к эталонам Государственной системы обеспечения единства измерений.

7.2.1 Тестовый набор данных должен быть репрезентативен, содержать целевой набор значений характеристик и ситуаций по отношению к каждому существенному фактору эксплуатации.

7.2.2 Для обеспечения представительности тестового набора данных необходимо:

а) проводить испытания алгоритма прогнозирования характеристик транспортного потока на тестовом наборе, подготовленном в соответствии со статистическими закономерностями распределения значений существенных факторов эксплуатации, что позволит обеспечить тестирование алгоритма прогнозирования дорожных условий на соответствие реальной картине распределения дорожно-транспортных ситуаций;

б) обеспечить повторные испытания со специально смещенной выборкой относительно количества ситуаций независимо от их реального статистического распределения. Для этих целей допускается использовать следующие процедуры:

1) выделение ситуаций, частота встречаемости которых в реальном окружении периферийного оборудования СУИТИ для сбора данных о характеристиках транспортного потока ниже средней частоты встречаемости всех ситуаций более чем на 3 стандартных отклонения (редкие ситуации).

Примечание - Уровень определения редких ситуаций является рекомендуемым и может быть изменен,

2) для выделенных ситуаций подготовку для испытаний "смещенной" выборки, которая позволяет лучше проанализировать поведение алгоритма в части редких ситуаций. Например, путем семплирования с изменением частоты соответствующих ситуаций, которая приближена к среднему по всем вариантам ситуаций, или путем ввода весовых коэффициентов при оценке ошибки в соответствующих классах. Конкретный способ должен быть явно определен в программе испытаний алгоритма до начала этих испытаний,

3) проведение испытания с подготовленной выборкой, чтобы убедиться, что алгоритм прогнозирует характеристики транспортного потока с достаточным качеством.

7.2.3 Такой принцип подбора тестового набора данных позволит обеспечить проверку возможностей алгоритма по прогнозированию всех ситуаций в различных контекстах (вариантах комбинаций значений существенных факторов эксплуатации), поскольку для обеспечения доверия к результатам работы алгоритма необходимо, чтобы точность прогнозирования не зависела от частоты встречаемости конкретного объекта распознавания при эксплуатации алгоритма.

7.2.4 При испытании СУИТИ необходимо руководствоваться принципами проведения испытаний: объективность испытаний, обоснованность применяемых методов (методик) испытаний, обеспечение единства измерений (аттестация методик измерений), воспроизводимость результатов испытаний и др.

7.3.1 Основной демонстрационный набор тестовых данных для прогнозирования характеристик транспортного потока приведен в [1].

7.3.2 Тестовый набор описывает существенные факторы эксплуатации. Тестовый набор данных содержит следующие поля данных:

- вид оборудования;

- идентификатор оборудования;

- наименование оборудования;

- местоположение;

- дорога;

- направление;

- дата;

- интенсивность транспортного потока;

- средняя скорость.

7.3.3 Приведенный классификатор является рекомендуемым перечнем существенных факторов эксплуатации для рассматриваемого алгоритма прогнозирования характеристик транспортного потока, при этом сценарии дорожно-транспортных ситуаций должны генерироваться на основе приведенного перечня существенных факторов эксплуатации при испытании алгоритма прогнозирования характеристик транспортного потока с учетом тех или иных законов распределения существенных факторов эксплуатации.

7.4.1 Демонстрационный тестовый набор данных содержит в себе файл "Демонстрационный набор данных.xlsx" - таблицу с временным рядом значений параметров транспортных потоков с трех детекторов транспорта для тестирования алгоритмов прогнозирования параметров транспортных потоков.

7.4.2 Сам тестовый набор данных должен содержать в себе исходный набор данных с выборкой подтвержденных соответствующих ситуаций. Формат файла должен быть доступен для применения подходов аугментации обучающей выборки, описанных в 7.5.

7.5.1 В целях увеличения репрезентативности обучающей выборки рекомендуется использовать методы из числа следующих:

- сдвиг по времени.

Примечание - Сдвиг по времени предполагает сдвиг данных временного ряда на определенное количество временных шагов для создания новых образцов для обучения. Например, можно сдвинуть данные о транспортном потоке вперед или назад на определенное количество временных шагов, чтобы создать новые образцы для обучения;

- масштабирование.

Примечание - Масштабирование предполагает масштабирование данных временного ряда на определенный коэффициент для создания новых образцов для обучения. Например, можно масштабировать данные транспортного потока на коэффициент 0,5 или 2, чтобы создать новые обучающие выборки;

- добавление шума.

Примечание - Добавление шума - это добавление случайного шума к данным временного ряда для создания новых образцов для обучения. Например, можно добавить гауссовский шум к данным транспортного потока, чтобы создать новые обучающие выборки;

- интерполяция.

Примечание - Подразумевают интерполяцию недостающих данных во временном ряду для создания новых образцов для обучения. Например, можно интерполировать недостающие данные о транспортном потоке для создания новых обучающих выборок;

- сглаживание.

Примечание - Подразумевают сглаживание данных временного ряда для создания новых образцов для обучения. Например, можно использовать фильтр скользящего среднего для сглаживания данных о транспортном потоке, чтобы создать новые обучающие выборки;

- повторная выборка.

Примечание - Означает повторную выборку данных временного ряда с другой частотой для создания новых образцов для обучения. Например, данные о транспортном потоке можно дискретизировать с большей или меньшей частотой, чтобы создать новые обучающие выборки;

- преобразование Фурье.

Примечание - Применяется к данным временного ряда для создания новых образцов для обучения. Например, можно использовать преобразование Фурье для извлечения частотных характеристик из данных транспортного потока, чтобы создать новые обучающие выборки;

- вейвлет-преобразование.

Примечание - Предполагает применение вейвлет-преобразования к данным временного ряда для создания новых образцов для обучения. Например, можно использовать вейвлет-преобразование для извлечения частотно-временных характеристик из данных транспортного потока, чтобы создать новые образцы для обучения.

7.5.2 Этот перечень методов может быть применен к временным рядам с целью генерализации тестового набора данных для более объективного тестирования степени переобученности и устойчивости алгоритмов прогнозирований к шуму, различным дефектам изображений и настройкам периферийного оборудования, с которого были получены значения характеристик транспортных потоков.