"ПНСТ 966-2024. Предварительный национальный стандарт Российской Федерации. Алгоритмы искусственного интеллекта для обнаружения и идентификации препятствий строительно-дорожной техники. Методы испытаний"
(утв. и введен в действие Приказом Росстандарта от 28.10.2024 N 76-пнст)

1 РАЗРАБОТАН Обществом с ограниченной ответственностью "ДСТ-УРАЛ" (ООО "ДСТ-УРАЛ")

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 28 октября 2024 г. N 76-пнст

Безопасная работа строительно-дорожной техники и работников, задействованных в строительно-дорожном процессе, зависит от информации о препятствиях, возникающих на пути следования техники. Для испытания алгоритмов интеллектуальной системы обнаружения и распознавания препятствий, в целях обеспечения доверия к системам искусственного интеллекта для автоматизированного управления движением строительно-дорожной техники, основанным на использовании методов искусственного интеллекта, настоящий стандарт устанавливает общие требования и принципы проведения испытаний. В стандарте приведены алгоритмы интеллектуальной системы для обнаружения и распознавания препятствий и описание демонстрационных наборов данных с приведением сценариев испытаний описываемого алгоритма.

Настоящий стандарт является частью комплекса стандартов по установлению требований к применению технологий искусственного интеллекта на промышленном транспорте для повышения доверия к технологиям искусственного интеллекта, обеспечения безопасности строительно-дорожного процесса, жизни и здоровья людей, сохранности их имущества, охраны окружающей среды и повышения эффективности технологических процессов.

Настоящий стандарт устанавливает общие положения в отношении работы интеллектуальной системы обнаружения и идентификации препятствий в совокупности с исполнительными механизмами строительно-дорожной техники, в том числе устанавливает технические требования и методы испытаний.

Стандарт не относится к области испытаний строительно-дорожной техники на соответствие ее технических параметров выполнению дорожно-строительных работ.

Требования настоящего стандарта не распространяются на испытания тракторов и самоходных машин с целью определения их соблюдения соответствия требованиям дорожно-строительной технологии.

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ 19.301 Единая система программной документации. Программа и методика испытаний. Требования к содержанию и оформлению

ГОСТ 53613 Воздействие природных внешних условий на технические изделия. Общая характеристика. Осадки и ветер

ГОСТ ISO 15817 Машины землеройные. Требования безопасности к дистанционному управлению

ГОСТ Р 59276 Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения

ГОСТ Р 59898 Оценка качества систем искусственного интеллекта. Общие положения

ГОСТ Р ИСО/МЭК 27002 Информационные технологии. Методы и средства обеспечения безопасности. Свод норм и правил применения мер обеспечения информационной безопасности

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1 строительно-дорожная техника; СДТ: Совокупность рабочих машин, энергосредств и устройств, взаимоувязанных по конструктивным и эксплуатационным параметрам и предназначенных для дорожного строительства, а также для обслуживания и ремонта дорожного покрытия.

3.2 пульт управления: Беспроводной или проводной ручной (переносной) блок управления с интерфейсами к системе управления и с возможностью исключительно локальной или удаленной эксплуатации.

3.3 датчики обнаружения: Средства обнаружения, включая пассивные датчики, такие как видеокамеры, и активные датчики, такие как радар.

3.4

3.5 искусственный интеллект; ИИ: Комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые с результатами интеллектуальной деятельности человека или превосходящие их.

Примечание - См. [1].

3.6

3.7

3.8 препятствие: Окружающие объекты, находящиеся в подвижном или неподвижном состоянии, затрудняющие выполнение операций эксплуатационного задания.

3.9 удаленный оператор: Человек, который осуществляет основное управление при опытной эксплуатации посредством системы диспетчерского управления и получает данные в целях контроля работы СДТ, при этом находится не в СДТ, а в зоне тестирования.

3.10

3.11

3.12

3.13

3.14

3.15 High Definition карта; HD карта: Карты с точным месторасположением объектов в векторном формате.

3.16

Алгоритмы ИТС обнаружения и идентификации препятствий СДТ могут осуществлять следующее:

- обработку задания, поступившего от оператора;

- коррекцию направления движения и скорости СДТ на основе информации с измерительных датчиков;

- определение функциональной связи между параметрами в рамках отдельных классов для корректировки поведения СДТ;

- классифицировать и аннотировать файлы образцов данных непосредственно после обучения модели для высокой точности и быстродействия функционирования алгоритмов ИТС обнаружения и идентификации препятствий, исходя из различных условий строительно-дорожного технологического процесса.

Алгоритмы ИТС обнаружения и идентификации препятствий могут быть разработаны на основе различных технологий, таких как нейронные сети, деревья решений, байесовские сети и пр.

Алгоритмы ИТС обнаружения и идентификации препятствий универсальны и могут применяться для различных типов строительно-дорожной техники, например бульдозеров, грейдеров, дорожных катков, погрузчиков, экскаваторов и т.д.

ИТС обнаружения и идентификации препятствий определяется как программно-аппаратный комплекс, представляющий собой совокупность технических и программных средств, решающих задачи обнаружения и идентификации препятствий.

ИТС может предусматривать возможность интеграции новых алгоритмов в соответствии с требованиями заказчика.

Алгоритмы ИТС обнаружения и идентификации препятствий должны быть совместимы с системами СДТ, в которые они встраиваются.

Алгоритмы ИТС должны быть надежными, т.е. выполнять функции, необходимые для обнаружения и идентификации препятствий СДТ, в соответствии с требованиями заказчика и/или пользователей ИТС. Конкретные требования надежности алгоритмов должны быть приведены в техническом задании на ИТС.

Алгоритмы ИТС могут быть устойчивыми, т.е. способными восстанавливать свое рабочее состояние после сбоя согласно требованиям заказчика. Некоторые алгоритмы могут функционировать непрерывно с ограниченными возможностями после сбоя.

Алгоритмы ИТС могут быть объяснимыми, т.е. предоставлять причины, приводящие к тому или иному решению ИТС, в виде, понятном человеку.

ИТС обнаружения и идентификации препятствий должна пройти испытание непосредственно перед применением для подтверждения соответствия бизнес-требованиям заказчика. Бизнес-требования должны включать следующую информацию, необходимую для проведения испытаний:

- условия проведения испытаний;

- номенклатуру существенных характеристик согласно ГОСТ Р 59898;

- порядок испытаний;

- существенные факторы, представленные в 5.1.

ИТС обнаружения и идентификации препятствий должна соответствовать требованиям инструкций по эксплуатации ИТС и СДТ, [2] и [3].

Алгоритмы ИТС должны минимизировать риски, связанные с эксплуатацией данной ИТС, в интересах участников дорожно-строительного процесса согласно [4].

Алгоритмы ИТС должны обеспечивать безопасное взаимодействие со строительно-дорожной инфраструктурой согласно [4].

ИТС обнаружения и идентификации препятствий может в режиме реального времени отслеживать свое функционирование и уведомить оператора о любых ошибках и сбоях в соответствии с требованиями заказчика.

Алгоритмы ИТС могут обновляться и улучшаться в процессе дообучения с обязательной оценкой показателей эффективности.

Для исключения несанкционированного доступа к данным ИТС должны быть реализованы протоколы безопасного обмена данными и их хранения согласно требованиям ГОСТ Р ИСО/МЭК 27002.

Работа ИТС обнаружения и идентификации препятствий должна соответствовать требованиям безопасности, определенным в ГОСТ ISO 15817.

Алгоритмы ИТС обнаружения и идентификации препятствий должны избегать направления СДТ по заведомо опасному пути следования. Уровень опасности следования может определяться либо алгоритмами ИТС обнаружения и идентификации препятствий, либо оператором с учетом требований [4].

Алгоритмы ИТС обнаружения и идентификации препятствий должны поддерживать безопасное расстояние во время любого взаимодействия СДТ с предполагаемой рабочей средой согласно [4]. В случае сокращения этого расстояния другим участником движения ИТС должна изменить траекторию следования СДТ или остановить ее.

Из полевых эксплуатационных испытаний и исследований естественного вождения СДТ (испытания на полигоне) должна быть получена информация, которая имеет отношение к расчету показателей безопасности, качеству и т.д. алгоритмов ИТС для обнаружения и идентификации препятствий. Испытания должны предоставлять данные об определенных условиях работы СДТ, измеряемые датчиками, входящими в состав СДТ. Условия эксплуатации СДТ являются существенными факторами, которые имеют влияние на качество работы алгоритма ИТС обнаружения и идентификации, и включают:

- различные погодные условия (солнечно/пасмурно/облачно, дождь/туман/снег и пр.);

- различные виды опорной поверхности (скала, чернозем, щебень и др.);

- разметку дорожного полотна (для дорожных катков, фрез, асфальтоукладчиков) и/или грунта (для землеройных машин, погрузчиков и пр.) путем установки дорожных конусов и/или сигнальных лент;

- различные виды статических объектов (козловой кран, вагончик для рабочих, другая СДТ в нерабочем состоянии, деревья, кустарники и т.д.);

- различные виды динамических объектов (рабочие, находящиеся на участке работы СДТ, животные, другая СДТ в рабочем состоянии).

Наряду с этими данными также должна определяться совокупность данных об измеренном поведении оператора СДТ и технологиях управления СДТ, а именно распределение скорости и направления движения и/или пройденного расстояния в испытаниях, в том числе и другой СДТ, в рамках всего испытания.

В таблице приведены основной перечень существенных факторов и их диапазоны принимаемых значений.

Таким образом, объем информации сценариев испытаний должен предусматривать максимальное покрытие предусмотренных условий эксплуатации.

Для реализации методик испытаний (имитационное моделирование, испытание на полигоне и др.) должны применяться сценарии дорожно-строительного процесса. Совокупность вышеуказанных методик позволяет создать мультифакторную программу испытаний алгоритмов ИТП, используемых в ИТС для обнаружения и идентификации препятствий.

Сценарии дорожно-строительного процесса должны максимально отражать реальные ситуации технологического процесса.

Для полной проверки алгоритмов в составе ИТС для обнаружения и идентификации препятствий методы испытаний должны включать критические, сложные, а также релевантные сценарии. Идентификацию сценариев испытаний дорожно-строительного процесса можно провести на основе:

- заранее определенных сценариев, основанных на требованиях безопасности;

- анализа поведения оператора СДТ, включая оценку естественных данных о вождении;

- анализа информации, полученной с датчиков СДТ;

- анализа плана работы СДТ;

- результатов обучения ИТС обнаружения и идентификации препятствий и знаний.

Определенные требования должны быть протестированы и подтверждены с использованием виртуальных, полигонных и натурных методов валидации испытаний.

Для оценки соответствия требованиям безопасности СДТ должны применяться следующие методы испытаний:

- компьютерное моделирование;

- испытания на полигоне;

- испытание в зоне строительства;

- процедура аудита;

- процедуры мониторинга и отчетности в процессе эксплуатации.

Компьютерное моделирование представляет собой виртуальное тестирование алгоритмов ИТС СДТ с использованием программного обеспечения и математических моделей для воспроизведения тысяч различных сценариев, чтобы гарантировать соответствие разрабатываемой СДТ нормам безопасности.

Испытания на полигоне производятся на подготовленном участке земли с элементами инфраструктуры с использованием цифровых систем, оснащенным испытательным оборудованием, в условиях, близких к условиям штатной эксплуатации СДТ, установленных в рамках нормативной и технической документации.

При испытаниях СДТ в зоне строительства и обслуживания проводится тестирование и оценка работы алгоритма в составе ИТС для обнаружения и идентификации препятствий, связанной с обеспечением с позиции этого алгоритма способности СДТ двигаться в реальных условиях дорожно-строительного процесса.

Процедура аудита ИТС обнаружения и идентификации препятствий должна обеспечивать исследование и оценку, смягчение последствий и обеспечение безопасности, законности и этичности алгоритма. Комплексные аудиты охватывают весь конвейер жизненного цикла системы, включая такие области, как отчетность и экономическое обоснование, оценка команды разработчиков и тестовые наборы данных. Целью аудита ИТС является оценка системы, выявление ее рисков, как в ее технической функциональности, так и в ее структуре управления, а также рекомендации мер, которые можно предпринять для снижения этих рисков.

Процедура мониторинга и отчетности заключается в сборе информации о СДТ в режиме реального времени для оценки безопасности алгоритмов, входящих в состав ИТС обнаружения и идентификации препятствий.

Результаты испытаний алгоритмов ИТС обнаружения и идентификации препятствий должны оформляться в соответствии с ГОСТ 19.301 и содержать следующую информацию об испытании:

- цель испытаний (например, критерии завершения испытания, остановки и/или возобновления) в соответствии с требованиями безопасности;

- описание устройства, функциональность и версионность алгоритма ИТС;

- требования к алгоритму;

- требования к тестовому набору данных;

- диапазон изменения значимых, наиболее существенных факторов, влияющих на работу алгоритмов ИТС;

- показатели качества и критерии оценки;

- перечень несоответствий требованиям;

- средства и порядок испытаний;

- методы испытаний;

- сценарии с фиксацией всех параметров испытаний, разделенных на видимые СДТ и скрытые;

- результаты работы.

Порядок тестирования алгоритмов ИТС должен быть следующим:

- выбор стенда для тестирования и оценка условий его проведения;

- определение требований к качеству алгоритмов ИТС (согласно ГОСТ Р 59898);

- выбор и обоснование существенных характеристик (согласно ГОСТ Р 59276);

- формирование тестового набора данных на основе базового и дополнительного демонстративного набора данных;

- подача данных из тестового набора данных на вход алгоритмов ИТС;

- тестирование алгоритма ИТС и оценка полученных результатов;

- доработка (коррекция) алгоритмов ИТС по итогам тестирования.

Все тесты алгоритма должны документироваться согласно 5.3.

Количественную и качественную оценку алгоритмов ИТС обнаружения и идентификации препятствий СДТ проводят согласно ГОСТ Р 59898.

В настоящем разделе приведено описание характеристик базового демонстрационного набора данных.

Базовый демонстрационный набор данных размещен (записан) на внешний носитель.

Базовый демонстрационный набор данных не является полным и носит рекомендательный характер. Он может быть дополнен заказчиком ИТС во время тестирования для формирования уточненных требований к системе.

Базовый демонстрационный набор данных охватывает существенные факторы эксплуатации, перечисленные в 5.1 настоящего стандарта, и содержит тактико-технические характеристики видеорегистратора, метаданные видеосъемки (координаты СДТ, пример видеодорожки, время съемки и т.д.).

Прилагаемый к настоящему стандарту демонстрационный набор данных содержит следующий набор файлов:

- meta - папка с метаданными тестового набора;

- screen - папка с примерами-скриншотами с приложенного видео;

- Accelerometr.csv - данные акселерометра с приложенного видео с указанием ускорения по осям x, y и z и времени записи;

- Gyroscope.csv - данные гироскопа с приложенного видео с указанием угловой скорости по осям x, y и z и времени записи;

- Location.csv - данные о координатах СДТ с приложенного видео с указанием точных GPS-координат и времени записи;

- Magnetometr.csv - данные магнитометра с приложенного видео с указанием измеренных величин магнитных полей по осям x, y и z и времени записи;

- test.MOV - видео, содержащее пример целевой ситуации/объекта с подтвержденным набором соответствующего содержания;

- device.csv - данные и параметры самого записывающего устройства внутри кабины СДТ.

А.1 Параметры видов препятствий разработаны с учетом [5].

Препятствие для испытаний, предназначенное для имитации сидящего человека, должно соответствовать следующим требованиям и использоваться исключительно для достижения сходных (воспроизводимых) результатов (рисунок А.1):

- препятствие для испытаний должно быть наполнено песком или щебнем;

- препятствие должно быть выполнено из пластика (например, полиэтилена с матовой поверхностью);

- цвет должен быть графитовый серый с матовой поверхностью.

А.2 Объект, имитирующий габаритную структуру, схематично представлен на рисунке А.2.

А.3 Для тестирования ИТС обнаружения и идентификации препятствий СДТ используются движущиеся и неподвижные объекты (таблица А.1), которые представляют контуры и макеты возможных объектов при движении и работе СДТ.