"ГОСТ Р 71484.2-2024 (ИСО/МЭК 5259-2:2024). Национальный стандарт Российской Федерации. Искусственный интеллект. Качество данных для аналитики и машинного обучения. Часть 2. Показатели качества данных"
(утв. и введен в действие Приказом Росстандарта от 28.10.2024 N 1551-ст)

1 ПОДГОТОВЛЕН Федеральным государственным бюджетным образовательным учреждением высшего образования "Московский государственный университет имени М.В. Ломоносова" (МГУ имени М.В. Ломоносова) в лице Научно-образовательного центра компетенций в области цифровой экономики МГУ и Обществом с ограниченной ответственностью "Институт развития информационного общества" (ИРИО) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 28 октября 2024 г. N 1551-ст

4 Настоящий стандарт является модифицированным по отношению к международному стандарту ИСО/МЭК 5259-2:2024 "Искусственный интеллект. Качество данных для аналитики и машинного обучения. Часть 2. Показатели качества данных" (ISO/IEC 5259-2:2024 "Artificial intelligence - Data quality for analytics and machine learning (ML) - Part 2: Data quality measures", MOD) путем изменения отдельных фраз (слов, значений, показателей, ссылок), которые выделены в тексте курсивом.

Сведения о соответствии ссылочных национальных стандартов международным стандартам, использованным в качестве ссылочных в примененном международном стандарте, приведены в дополнительном приложении ДА

5 ВВЕДЕН ВПЕРВЫЕ

Ввиду того, что сегодня решения все активнее принимаются на основе данных, встают новые задачи по управлению качеством данных в области аналитики и искусственного интеллекта на основе машинного обучения. Проблемы с качеством данных, такие как неполные, ложные или устаревшие данные, могут отрицательно повлиять на процессы и результаты аналитики и машинного обучения. Данные из различных источников, включая структурированные данные (например, содержащиеся в реляционных базах данных) и неструктурированные данные (например, документы, изображения, аудио), могут быть напрямую использованы в жизненном цикле данных для аналитики и разработки моделей машинного обучения. Данные преобразуются на каждом этапе жизненного цикла данных аналитики и машинного обучения. Чтобы анализ данных и модели машинного обучения были безопасными, надежными и совместимыми, необходим целостный стандартизированный подход к контролю, производству и поставке достаточного количества высококачественных данных. Для разработки надежного управления качеством данных для аналитики и машинного обучения можно рассмотреть внутренние международные стандарты качества данных, включая концепции и варианты использования, характеристики и измерения, требования к управлению и структуру процессов.

Настоящий стандарт является частью серии ИСО/МЭК 5259 и основан на серии стандартов ИСО 8000, ИСО/МЭК 25012 и ИСО/МЭК 25024. Целью настоящего стандарта является описание модели качества данных посредством определения характеристик качества данных и показателей качества данных на основе ИСО/МЭК 25012 и ИСО/МЭК 25024. Модели качества данных могут быть расширены или изменены в соответствии с настоящим стандартом.

В настоящем стандарте представлена модель качества данных, показатели качества данных и рекомендации по составлению отчетов о качестве данных для аналитики и машинного обучения.

Документ применим для всех типов организаций, которые хотят достичь своих целей в области качества данных.

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ Р 71476 (ИСО/МЭК 22989:2022) Искусственный интеллект. Концепции и терминология искусственного интеллекта

ГОСТ Р 71484.1-2024 (ИСО/МЭК 5259-1:2024) Искусственный интеллект. Качество данных для аналитики и машинного обучения. Часть 1. Обзор, терминология и примеры

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающая положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

В настоящем стандарте применены термины по ГОСТ Р 71476, а также следующие термины с соответствующими определениями:

3.1

3.2 фрейм данных (data frame): Множество записей данных с общей структурой элементов данных, связанных с определенной предметной областью или предназначением.

Примечание - Фрейм данных является двумерным, как таблица со строками и столбцами. Этот термин специально используется в аналитике и машинном обучении, например, в языке R, в то время как в других языках термин "набор данных" означает то же самое. В настоящем стандарте термин "набор данных" имеет более общее значение.

3.3 тип данных (data type): Категоризация абстрактного набора возможных значений, характеристик и набора операций для атрибута.

Примечания

1 Примерами типов данных являются строки символов, тексты, даты, числа, изображения, звуки и т.д.

2 См. [1], пункт 4.16.

3.4 значение данных (data value): Содержимое элемента данных.

Примечания

1 В [2], пункт 5.1.1 указано, что качество данных является внутренне присущей характеристикой самих данных, такой как допустимые значения данных и возможные ограничения.

2 Номер или категория, присвоенные атрибуту сущности путем проведения измерения.

3 См. [1], пункт 4.17.

3.5 пустой элемент данных (empty data item): Элемент данных, содержимое которого (3.4) имеет пустое значение, т.е. Null или None.

Примечание - Это определение в целом означает отсутствие значения данных (т.е. значение NULL или None). Элемент данных со строковым типом данных может быть пустым элементом данных, использующим либо пустую строку, либо значение Null. Однако есть исключение для некоторых приложений: строка может быть пустой (например, " "), но не нулевой и, следовательно, не подразумевает пустого элемента данных.

3.6 сущность (entity): Конкретная или абстрактная вещь в рассматриваемой предметной области.

3.7 необработанные данные (raw data): Данные в первоначально полученной, прямой форме из источника перед последующей обработкой.

Примечание - См. [3], пункт 3.1.10.04.

3.8 целевые данные (target data): Данные, используемые в задаче аналитики или машинного обучения, качество которых измеряется.

3.9 целевая аудитория (target population): Генеральная совокупность, в отношении которой необходимо сделать выводы в проекте аналитики данных или машинного обучения.

3.10 предмет качества данных (data quality subject): Сущность, на которую влияет качество данных.

3.11

3.12 количество (quantity): Свойство явления, тела или вещества, когда свойство имеет величину, которая может быть выражена количественно в виде числа с указанием отличительного признака как основы для сравнения.

Примечание - См. [4], пункт 1.1.

3.13 значение количества (quantity value): Число с указанием основы для сравнения, выражающее размер величины количества.

Примечание - См. [4], пункт 1.1.

3.14

3.15 результат измерения (measurement result, result of measurement): Набор значений количества, приписываемых измеряемой величине вместе с любой другой доступной и существенной информацией.

Примечание - См. [4], пункт 2.9.

3.16

3.17

3.18 ограничивающий прямоугольник (bounding box): Прямоугольная область, охватывающая аннотируемый объект.

Примечания

1 Большая и малая оси прямоугольника параллельны краям изображения, в другом случае следует использовать ограничивающий многоугольник.

2 См. [5], пункт 3.3.

3.19

3.20 алгоритм кластеризации: Алгоритм, группирующий кластеры (3.19) по входным данным.

Примечание - Примеры алгоритмов кластеризации включают кластеризацию на основе центроидов, кластеризацию на основе плотности, кластеризацию на основе распределения, иерархическую кластеризацию и кластеризацию на основе графов.

3.21

3.22 верность (fidelity): Степень, в которой модель или симуляция воспроизводит состояние и поведение объекта реального мира или восприятие объекта реального мира, функции, состояния или выбранного стандарта измеримым или воспринимаемым образом.

Примечание - См. [7], пункт 3.1.4.

3.23 сопровождаемость (maintainability): Способность функционального блока при данных условиях использования сохраняться или восстанавливаться до состояния, в котором он может выполнять требуемую функцию, когда обслуживание выполняется в данных условиях и с использованием установленных процедур и ресурсов.

Примечание - См. [8], пункт 2123027.

3.24 надежность (reliability): Величина, которой измеряется оценка.

Пример - Оценка будет иметь низкую надежность, если две формы оценки имеют неодинаковую сложность или охват, или если есть ошибки в процедурах начисления баллов или в отчетности о баллах.

3.25 достоверность (validity): Степень, в которой оценка соответствует поставленной цели путем измерения того, что она должна измерять, и получения результатов, которые можно использовать по их прямому назначению.

Примечание - Оценка имеет низкую достоверность, если на результаты оказывают чрезмерное влияние навыки, не имеющие отношения к заявленным целям оценки.

В настоящем стандарте применены следующие сокращения:

ИИ - искусственный интеллект (artificial intelligence);

МО - машинное обучение (machine learning);

ПДн - персональные данные (personally identifiable information);

CSV - значения, разделенные запятыми (comma separated values);

HDF - иерархический формат данных (hierarchical data format);

JSON - текстовый формат описания объектов JavaScript (javascript object notation);

IP - интернет-протокол (internet protocol);

UML - унифицированный язык моделирования (Unified Modeling Language).

На рисунке 1 показаны компоненты качества данных, соответствующие модели жизненного цикла данных, представленной в ГОСТ Р 71484.1-2024 (рисунок 3), которая может поддерживать процессы управления качеством данных. ГОСТ Р 71484.1 определяет модель качества данных как определенный набор характеристик качества данных. Характеристика качества данных обеспечивает основу для требований к качеству данных и методов оценки. Показатели качества данных - это присвоенные переменные, значения которых являются результатами измерений характеристик качества данных. Показатели качества данных используются для оценки того, соответствуют ли данные требованиям к качеству данных. Показатели качества данных также можно использовать для мониторинга и составления отчетов о качестве данных.

Целевые данные - данные, которые являются предметом измерения качества. Целевые данные могут быть необработанными данными либо данными, подвергшимися одному или нескольким преобразованиям. Целевыми данными для измерения качества могут быть обучающие, тестовые, валидационные или эксплуатационные данные, а также данные результатов использования аналитики или машинного обучения (см. [6]). Целевые данные могут быть сформированы как элементы данных или как наборы данных. Элемент данных состоит из имени элемента, значения данных и типа данных, представляющего область значений (например, строки символов, тексты, даты, числа, изображения, звуки). Набор данных можно разделить на три формы:

- совокупность элементов данных;

- совокупность записей данных;

- совокупность фреймов данных.

Целевые данные могут быть немаркированными или маркированными в зависимости от ассоциации с метками данных при использовании аналитики или машинного обучения.

Примечание - В настоящем стандарте не делается различия между структурами данных, такими как структурированные данные, полуструктурированные данные и неструктурированные данные, или способом их использования, например, в качестве основных (мастер-) данных, транзакционных данных или справочных данных.

Отчеты о качестве данных - это документы, в которых представлены требования к качеству данных, модель качества данных, показатели качества данных, результаты измерений качества данных и оценка того, соответствуют ли данные предъявляемым требованиям к качеству данных.

Модель качества данных задает структуру, позволяющую определить требования к качеству данных и проводить оценку их качества. На практике модель качества данных объединяет предметы качества данных, характеристики качества данных и требования к качеству данных в контексте их использования. Организация может уточнить модели качества данных, выбрав характеристики качества данных и показатели для достижения целевых требований к качеству целевых данных. На рисунке 2 представлена диаграмма отношений (в нотации UML) между компонентами модели качества данных.

Область применения данных описывает, как и где данные могут использоваться в задачах аналитики или машинного обучения и как они вписываются в систему ИИ.

Предмет качества данных представляет собой сущность, на которую влияет качество данных. Характеристика качества данных - это категория атрибутов качества данных, которые влияют на качество данных (такие как аккуратность, наполненность, точность). Требование к качеству данных описывает свойства или атрибуты данных, а также критерии приемлемости для конкретной области применения данных. Критерии приемлемости могут быть количественными либо качественными.

Когда одна качественная характеристика влияет на другую, можно найти компромисс, оценивая каждое требование с точки зрения его важности и воздействия. Кроме того, крайне важно сбалансировать затраты на управление качеством данных с приоритетом требований к качеству данных при определении того, как характеристики и показатели качества данных включаются в модель качества данных. Организация может отобрать характеристики и показатели качества данных, которые соответствуют ее потребностям и требованиям. Качество данных следует оценивать путем сравнения результатов измерения выбранных показателей качества данных с целевыми показателями, установленными в требованиях к данным. В тех случаях, когда выполнить требования к качеству данных не удается, должны быть приняты корректирующие меры. ГОСТ Р 71484.3 описывает требования и рекомендации системы управления качеством данных, которые должна применять организация.

Стандарты [9] и [2] описывают модели качества данных. В [9] определено три характеристики качества данных: синтаксическая (формат), семантическая (значение) и прагматическая (полезность) для поддержки промышленных данных в целом как продукта деловых и производственных процессов. В [2] определена общая модель качества данных, хранящихся в структурированном формате в компьютерной системе как часть программного продукта. В [2] учтены все типы данных (такие, как символы, строки, текст, даты, числа, изображения, звуки). Стандарт [2] предоставляет пятнадцать характеристик качества данных: аккуратность, наполненность, согласованность, достоверность, актуальность, доступность, соответствие, конфиденциальность, эффективность, точность, прослеживаемость, понятность, готовность, переносимость и восстанавливаемость.

В [10] рассмотрены различные аспекты качества данных, такие как управление данными, управление качеством данных (включая обработку) и оценку зрелости. В ГОСТ Р ИСО/МЭК 25000 рассмотрены требования к качеству продукции (программного обеспечения, систем, данных, услуг) и ее оценку. В настоящем стандарте описывается, как характеристики качества данных [2] могут быть применены к модели качества данных для аналитики и машинного обучения. Кроме того, в нем определены дополнительные характеристики, которые могут способствовать более высокому качеству моделей и приложений МО, как показано на рисунке 3. Организации должны использовать характеристики качества данных и меры качества данных, описанные в этом документе, когда это возможно. Однако характеристики качества данных из настоящего стандарта не могут всесторонне охватывать аспекты для поддержки потребностей всех организаций в качестве данных. Организации могут разработать свою собственную модель качества данных, расширив характеристики качества данных и показатели качества данных в соответствии со своими требованиями к данным.

Примечания

1 См. приложение A для получения информации о разработке и документировании функций измерения.

2 См. приложение E для сравнения характеристик качества данных в [2] и настоящем стандарте.

Характеристики и показатели качества данных используются при определении и проверке требований к качеству данных для определенных атрибутов целевых данных. Каждая характеристика качества данных связана с одним или несколькими показателями качества данных для количественной оценки. Показатель качества данных - это переменная, которой присваивается значение в результате применения функции измерения. Показатели качества данных в настоящем стандарте выбраны на основе контекста использования аналитики и машинного обучения.

Примечание - В приложении B показана структура предоставления общих словарей и взаимосвязей между компонентами показателей качества данных. В приложениях C и D показано, как показатели качества группируются с разных точек зрения.

В контексте аналитики и машинного обучения общее качество набора обучающих данных, набора валидационных данных или набора тестовых данных может быть столь же важным, как и качество отдельных значений данных в конкретном наборе данных. Даже если каждое значение данных в наборе данных является аккуратным, использование набора данных, который некорректно отражает основное распределение данных, может привести к некорректному результату анализа или к созданию модели МО, не соответствующей требованиям. Организация должна документировать целевые данные для каждого показателя качества данных.

Примечание - Характеристики статистических показателей (например, доступность для уполномоченных пользователей, аккуратность, согласованность, актуальность, понятность, релевантность, своевременность [11]), определенные такими учреждениями, как Статистический отдел Организации Объединенных Наций или Евростат, также могут использоваться для оценки того, соответствует ли качество набора данных установленным требованиям.

Там, где это возможно, следует использовать показатели качества данных и функции измерения, представленные в настоящем стандарте. В случае создания нового специального показателя качества данных и функции измерения качества данных следует использовать приложение A. При использовании любых модифицированных или вновь создаваемых показателей качества следует выбирать характеристики качества данных, определенные настоящим стандартом, и приводить обоснование изменений в соответствии с [1], раздел 2.

6.2.1.1 Общие сведения

Аккуратность набора данных - это степень, в которой элементы данных в наборе данных имеют корректные значения данных или корректные метки данных. В [2] описана аккуратность как степень, в которой значения данных имеют атрибуты, корректно представляющие истинное значение предполагаемых атрибутов. В [2] описана аккуратность с точки зрения:

- синтаксической аккуратности, которая учитывает близость значений данных к набору синтаксически корректных значений данных для соответствующей области;

- семантической аккуратности, которая учитывает близость значений данных к набору семантически корректных значений данных для соответствующей области.

Элемент данных является синтаксически корректным, если его значение данных имеет тот же тип, что и его явный тип данных, и семантически корректным, если его значение данных имеет ожидаемое значение, соответствующее задаче МО. Модели машинного обучения представляют собой математические конструкции, а это означает, что низкая синтаксическая или семантическая аккуратность значений данных в наборах данных для обучения, валидации, тестирования или эксплуатации может привести к тому, что сама модель будет некорректной, либо выводы, сделанные моделью, будут некорректными.

Для системы обучения с учителем, предназначенной для классификации, корректность содержимого последовательности меток может повлиять на аккуратность вывода обученной модели. Факторы, которые следует учитывать при измерении аккуратности разметки, включают:

- корректность значений меток;

- корректность маркировки тегов;

- корректность содержания последовательности меток.

6.2.1.2 Показатели качества для аккуратности

В таблице 1 представлены показатели качества данных для обеспечения аккуратности в конкретном контексте использования аналитики и машинного обучения.

6.2.2.1 Общие сведения

В [2] описана наполненность с точки зрения наличия значений данных для всех предполагаемых атрибутов и экземпляров сущностей. В некоторых случаях алгоритмы МО могут давать сбой, когда они обнаруживают один или несколько пустых элементов данных в наборах данных для обучения, валидации или тестирования. Кроме того, обученные модели машинного обучения также могут давать сбой, если эксплуатационные данные содержат элементы с отсутствующим значением данных.

Показатели наполненности могут помочь специалистам по МО удовлетворить свои требования к данным и указать, следует ли предпринять дополнительные шаги по заполнению данных (imputation), как описано в ГОСТ Р 71484.4.

Характеристика наполненности размеченных данных в наборе данных является относительной. В разных сценариях представление о полноте может быть разным, и его следует учитывать в зависимости от конкретного варианта использования. Факторы, которые следует учитывать при измерении наполненности набора данных, включают следующие:

- проверка на наполненность набора данных, используемого для классификации изображений на основе МО, должна заключаться в проверке неразмеченных выборок в наборе данных, которые нельзя сразу использовать при машинном обучении с учителем;

- проверка на наполненность набора данных, используемого для обнаружения объектов на основе МО, должна заключаться в проверке на неполноту размеченных ограничивающих прямоугольников на объектах.

В частности, в реальной жизни часто бывает, что в выборке имеется несколько объектов разных категорий, поскольку сложно запечатлеть сцену с одним изолированным объектом, занимающим все пространство обзора. В этом случае в целях измерения наполненности набора данных для распознавания изображений на основе МО следует учитывать следующие факторы:

- в выборке существует какой-либо целевой объект;

- все целевые объекты категорированы;

- все обнаруженные целевые объекты размечены ограничивающими прямоугольниками или другими методами.

6.2.2.2 Показатели качества для наполненности

В таблице 2 представлены показатели качества данных для обеспечения наполненности в конкретном контексте использования аналитики и машинного обучения.

6.2.3.1 Общие сведения

В [2] описана согласованность с точки зрения когерентности данных с другими данными и отсутствия противоречий. Когерентность - это ключевой аспект данных, используемых для машинного обучения, поскольку признаки, используемые в обучающих данных, вместе должны обеспечивать модель, позволяющую делать корректные выводы на основе производственных данных. Кроме того, машинное обучение может быть буквальным в интерпретации значений данных. Дублирующиеся записи могут привести к переоценке определенных признаков. Противоречия между признаками в обучающих данных могут привести к тому, что обученная модель не будет соответствовать требованиям. Качество обучающих данных зависит от согласованности меток, присваиваемых схожим элементам данных. Для улучшения производительности моделей МО метки данных во избежание несоответствий необходимо присваивать согласованно.

6.2.3.2 Показатели качества для согласованности

В таблице 3 представлены показатели качества данных для обеспечения согласованности в контексте использования аналитики и машинного обучения.

6.2.4.1 Общие сведения

[2] определяет достоверность как степень, в которой данные обладают атрибутами, которым пользователи склонны доверять в конкретном контексте использования. Достоверность применима к отдельным элементам данных, к связанным элементам данных в записи данных и ко всему набору данных. Контекст, в котором используются данные, может повлиять на их воспринимаемую достоверность и правдоподобность. Данные могут быть изменены во время обработки (например, при перемещении, хранении, вычислении) уполномоченными и неавторизованными сторонами. Растущая озабоченность в МО связана с тем, что посторонние лица искажают данные для обучения, валидации, тестирования и эксплуатации, чтобы намеренно сделать обученные модели непригодными для использования либо манипулировать выводами, сделанными обученной моделью.

Процессы, используемые при подготовке данных, могут изменять данные, не меняя их значения (например, при нормализации, разделении или объединении признаков). В этих случаях данные сохраняют свою достоверность.

6.2.4.2 Показатели качества для достоверности

В таблице 4 представлены показатели качества данных для обеспечения их достоверности в контексте использования аналитики и машинного обучения.

6.2.5.1 Общие сведения

В [2] описана актуальность данных с точки зрения надлежащего возраста относительно использования данных. Для машинного обучения актуальность может определяться возрастным диапазоном, подходящим для задачи МО. Например, данные о людях могут быть неполными для недостаточно представленных групп населения до изменений в законодательстве и социальных нормах. Модели МО, основанные на экономических данных, собранных за несколько десятилетий, могут быть неверными, если данные не скорректированы с учетом инфляции, обменных курсов и других факторов, которые меняются со временем. Проблемы, возникающие из-за различий в эксплуатационных данных по сравнению с данными, используемыми для обучения и тестирования модели, обычно известны как проблемы дрейфа данных, и их можно решить, обеспечив актуальность данных.

Актуальность набора данных можно описать с точки зрения общего периода времени, который охватывает конкретный набор данных (например, изображения или высказывания, собранные с 2010 по 2021 год), периода времени между последней датой элемента данных и текущей датой (например, 8 месяцев) и цикла обновления (например, каждые 6 месяцев). Актуальность следует рассматривать как составной показатель, основанный на этих трех аспектах.

6.2.5.2 Показатели качества для актуальности

В таблице 5 представлены показатели качества данных для обеспечения их актуальности в контексте использования аналитики и машинного обучения.

6.3.1.1 Общие сведения

Согласно [1] доступность означает степень, в которой данные могут быть доступны в конкретном контексте использования, особенно для лиц, которым необходимы вспомогательные технологии или специальная конфигурация из-за ограниченных возможностей здоровья. Кроме того, для аналитики и машинного обучения должны быть обеспечены беспрепятственный доступ к наборам данных и простое развертывание наборов данных с помощью соответствующих инструментов.

6.3.1.2 Показатели качества для доступности

В таблице 6 представлены показатели качества данных для обеспечения доступности в контексте использования аналитики и машинного обучения.

6.3.2.1 Общие сведения

В [2] описано соответствие с точки зрения степени, в которой данные удовлетворяют требованиям нормативного регулирования, стандартов, соглашений или других правил. Например, персональные данные, используемые для аналитики или МО, могут подпадать под действие законодательных и нормативных требований. Аналогично пользователи данных могут иметь собственные требования соответствия, а схемы сертификации также могут иметь требования соответствия.

6.3.2.2 Показатели качества для соответствия

В таблице 7 представлены показатели качества данных для обеспечения соответствия в контексте использования аналитики и машинного обучения.

6.3.3.1 Общие сведения

Эффективность означает степень, в которой данные обладают атрибутами, которые можно обрабатывать и обеспечивать ожидаемый уровень производительности при использовании соответствующих объемов и типов ресурсов в конкретном контексте. Например, эффективность формата данных важна при совместном использовании наборов обучающих данных, особенно когда размер данных велик, например CSV, HDF, JSON. Кроме того, оптимальный размер набора данных в памяти может снизить стоимость обучения.

6.3.3.2 Показатели качества для эффективности

В таблице 8 представлены показатели качества данных для обеспечения эффективности в контексте использования аналитики и машинного обучения.

6.3.4.1 Общие сведения

Согласно [1] точность означает степень, с которой можно утверждать, что данные являются точными или их можно различить. Например, можно утверждать, что данные совпадают с точностью до нескольких десятичных знаков после запятой для действительного числа. В контексте машинного обучения точность, выраженная количеством десятичных знаков для значения элемента данных, может влиять на вес данного признака в обученной модели машинного обучения. Например, признак со многими значениями элементов данных, равными 99,4, может иметь больший вес, чем другой признак, у которого то же значение округлено в меньшую сторону до 99. Аналогично признак, значения которого были округлены в большую сторону, может иметь больший вес, чем признак с большей точностью. При указании требований к точности данных пользователи данных должны учитывать общее влияние на обученную модель МО.

6.3.4.2 Показатели качества для точности

В таблице 9 представлены показатели качества данных для обеспечения точности в контексте использования аналитики и машинного обучения.

6.3.5.1 Общие сведения

Прослеживаемость показывает, в какой степени данные обладают атрибутами, позволяющими отслеживать доступ и любые внесенные в них изменения в конкретном контексте использования.

6.3.5.2 Показатели качества для прослеживаемости

В таблице 10 представлены показатели качества данных для обеспечения прослеживаемости в контексте использования аналитики и машинного обучения.

6.3.6.1 Общие сведения

В [2] описана понятность с точки зрения возможности пользователей читать и интерпретировать данные. Кроме того, понятность подразумевает использование соответствующих символов, единиц измерения и языков. Модели МО могут не соответствовать требованиям, если единицы измерения признаков используются ненадлежащим образом. Понятность - важная характеристика, обеспечивающая объяснимость системы ИИ и помогающая заинтересованным сторонам взаимодействовать с эксплуатационными данными системы ИИ (меткой вывода или значениями весов модели МО).

В задачах обработки естественного языка ненадлежащее использование человеческих языков и символов может привести к сбою при решении таких задач, как понимание и генерация языка.

Хотя показатели качества данных из настоящего стандарта являются количественными, люди, использующие данные для МО, также проводят качественную оценку данных. Соответствующее использование символов, единиц измерения и языков может помочь в вынесении качественных суждений.

6.3.6.2 Показатели качества для понятности

В таблице 11 представлены показатели качества данных для понятности в контексте использования аналитики и машинного обучения.

6.4.1.1 Общие сведения

Готовность означает степень, в которой авторизованные пользователи или приложения могут извлекать наборы данных для конкретной задачи аналитики или МО на стадии комплектования данных жизненного цикла данных.

6.4.1.2 Показатели качества для готовности

В таблице 12 представлены показатели качества данных для готовности в контексте использования аналитики и машинного обучения.

6.4.2.1 Общие сведения

В [2] описана характеристика переносимости для качества данных с точки зрения возможности в пределах заданного контекста переносить данные из одной системы в другую, сохраняя при этом их качество.

Данные, используемые в аналитике и МО, могут обрабатываться в нескольких системах. Например, данные для машинного обучения можно собирать в одной системе, процессы оценки качества используемых данных можно выполнять во второй системе, а затем данные передавать в третью систему для обучения модели МО.

Если качество данных (т.е. соответствие требованиям) не поддерживается при передаче данных из одной системы в другую, то сама обученная модель МО может не соответствовать требованиям.

Примечание - Требования к переносимости данных устанавливаются на стадии формирования требований к данным жизненного цикла данных и зависят как от системы, так и от окружения.

6.4.2.2 Показатели качества для переносимости

В таблице 13 представлены показатели качества данных для переносимости в контексте использования аналитики и машинного обучения.

6.4.3.1 Общие сведения

Восстанавливаемость означает степень, в которой наборы данных могут поддерживаться и сохраняться на определенном уровне операций и качества (даже в случае сбоя) для конкретной задачи анализа и МО на стадиях подготовки и предоставления данных жизненного цикла данных, особенно с большим объемом наборов данных.

6.4.3.2 Показатели качества для восстанавливаемости

В таблице 14 представлены показатели качества данных для восстанавливаемости в контексте использования аналитики и машинного обучения.

6.5.1.1 Общие сведения

Для целей настоящего стандарта проверяемость относится к характеристике набора данных, заключающейся в том, что весь набор данных или его часть подверглись аудиту или что данные доступны соответствующим заинтересованным сторонам с целью проведения аудита. Аудит наборов данных, используемых для аналитики и МО, может способствовать повышению достоверности данных и может потребоваться для обеспечения соответствия требованиям.

Пример - Набор данных с изображениями используется для распознавания изображений и был размечен сторонним исполнителем. Чтобы убедиться, что изображения размечены корректно, организация привлекает третью сторону для проверки подмножества размеченных изображений.

6.5.1.2 Показатели качества для проверяемости

В таблице 15 представлены показатели качества данных для проверяемости в контексте использования аналитики и машинного обучения.

6.5.2.1 Общие сведения

Под сбалансированностью набора данных понимается распределение выборок по всем признакам конкретного набора данных. Например, если набор данных представляет X категорий элементов данных, количество выборок на категорию должно быть распределено равномерно, чтобы набор данных был сбалансирован. Для набора данных с изображениями такие признаки могут включать метки, значимые для логики деловых процессов; разрешение; яркость; соотношение ширины и высоты размеченных ограничивающих прямоугольников; размер размеченных ограничивающих прямоугольников и любые другие, которые потенциально влияют на производительность модели МО.

Сбалансированность набора данных может частично повлиять на общую производительность модели МО. Для системы компьютерного зрения на основе машинного обучения также следует учитывать сбалансированность набора данных.

Хотя представленные здесь примеры относятся к изображениям, концепцию сбалансированности можно применить и к другим типам данных.

6.5.2.2 Показатели качества для сбалансированности

В таблице 16 представлены показатели качества данных для сбалансированности в контексте использования аналитики и машинного обучения.

6.5.3.1 Общие сведения

Разнообразность набора данных означает различия между выборками с точки зрения целевых данных. В наборе данных, используемом для модели МО, важно адекватное различие между выборками. Если все записи или большинство записей данных в наборе данных одинаковы, модель МО, обученная на основе этого набора данных, может иметь риск переобученности и, следовательно, быть менее подходящей для обобщения. Разнообразность набора данных представляет собой степень, в которой набор данных содержит различные диапазоны для различных признаков, значений, меток, кластеров или источников среди отдельных данных. Улучшение данных с помощью генеративных моделей МО может улучшить разнообразность данных, но эти подходы могут потерпеть неудачу, если разнообразность исходного набора данных ограничено. Разнообразность тесно связана с репрезентативностью и сбалансированностью. Это характеристика качества данных, которую также можно использовать для оценки верности набора данных.

Измерение разнообразности может выполняться в контексте конкретных целевых данных, как это определено требованиями задачи МО.

6.5.3.2 Показатели качества для разнообразности

В таблице 17 представлены показатели качества данных для разнообразности в контексте использования аналитики и машинного обучения.

6.5.4.1 Общие сведения

Результативность набора данных показывает, соответствует ли набор данных требованиям для использования в конкретной задаче МО.

6.5.4.2 Показатели качества для результативности

В таблице 18 представлены показатели качества данных для результативности в контексте использования аналитики и машинного обучения.

6.5.5.1 Общие сведения

В ГОСТ Р ИСО/МЭК 29100 описана идентифицируемость как возможность идентифицировать субъект персональных данных (ПДн) прямо или косвенно на основе заданного набора ПДн. Важно понимать, могут ли какие-либо персональные данные в наборе данных использоваться для идентификации субъекта ПДн, поскольку требования законодательства в некоторых юрисдикциях могут ограничивать такую деятельность. Чтобы снизить возможность идентификации, к обучающим, валидационным, тестовым и эксплуатационным данным могут применяться процессы обезличивания.

6.5.5.2 Показатели качества для идентифицируемости

В таблице 19 представлены показатели качества данных для идентифицируемости в контексте использования аналитики и машинного обучения.

6.5.6.1 Общие сведения

Для целей настоящего стандарта релевантность означает степень, в которой набор данных подходит для данного контекста (при условии, что он аккуратен, наполнен, согласован, актуален и т.д.).

Для машинного обучения релевантность может означать, что отобранные признаки в обучающих данных и их значениях данных являются хорошими предикторами для целевой переменной.

6.5.6.2 Показатели качества для релевантности

В таблице 20 представлены показатели качества данных для релевантности в конкретном контексте использования аналитики и машинного обучения.

6.5.7.1 Общие сведения

В [12] определена репрезентативность как степень, в которой набор данных отражает изучаемую целевую совокупность. Для машинного обучения с учителем набор обучающих данных можно рассматривать как подмножество более крупной совокупности, а эксплуатационные данные - как целевую совокупность, на основе которой можно делать выводы. Если обучающие данные недостаточно представляют эксплуатационные данные, обученная модель МО может не работать должным образом. В [13] описана смещенность в данных, возникающая в результате процесса отбора данных или процесса разметки данных.

Репрезентативность как характеристика качества данных связана с релевантностью в том смысле, что набор данных, который не представляет изучаемую целевую совокупность, вряд ли обеспечит хорошие предикторы для целевой переменной.

6.5.7.2 Показатели качества для репрезентативности

В таблице 21 представлены показатели качества данных для репрезентативности в контексте использования аналитики и машинного обучения.

6.5.8.1 Общие сведения

Сходство набора данных означает сходство между выборками с точки зрения интересующих признаков. Это актуально для задач классификации (см. [6], пункт 6.2.3), которые обычно реализуются с использованием машинного обучения с учителем (см. [6], пункт 7.2). Это также актуально для задач кластеризации (см. [6], пункт 6.2.4), которые обычно реализуются с использованием обучения без учителя (см. [6], пункт 7.3). Для успешного выполнения задач классификации и кластеризации требуется адекватный уровень различий между выборками (см. [13], раздел 5.2).

Модель МО, обученная на наборе данных, содержащем достаточно похожие изображения (например, созданные путем небольшого сдвига пикселей из нескольких исходных изображений), может оказаться переобученной и, следовательно, обладать меньшей возможностью для обобщения. В этом случае можно применить подходы, основанные на манипулировании данными, такие как вращение и сдвиг, которые могут улучшить возможности обобщения у модели МО. Эти подходы не будут работать, если количество исходных изображений ограничено. В этом случае следует проверить долю одинаковых образцов. Иной подход заключается в рассмотрении алгоритмов кластеризации с использованием концептуальных методов уменьшения дрейфа [14].

Другие показатели выявляют сходство данных с помощью геометрического подхода: т.е. набор данных, состоящий из N записей данных и M признаков, может быть представлен как совокупность N векторов в M-мерном пространстве, поэтому его можно анализировать и сравнивать с использованием геометрических инструментов; в частности, сходство может быть связано с взаимным расположением векторов в пространстве.

6.5.8.2 Показатели качества для сходства

В таблице 22 представлены показатели качества данных для сходства в контексте использования аналитики и машинного обучения.

6.5.9.1 Общие сведения

Своевременность означает задержку (т.е. ) между моментом возникновения явления и моментом, когда данные, связанные с этим явлением, станут доступны для использования. Своевременность отличается от актуальности тем, что актуальность представляет собой разницу между временем записи выборки данных и временем ее использования. Своевременность может быть важным компонентом: если разница между явлением и доступностью соответствующей выборки данных слишком велика, она больше не может быть хорошим предиктором в контексте машинного обучения. Например, задачи МО для потоковой передачи данных (например, анализ транзакций с ценными бумагами, обучение с подкреплением, поисковые запросы) могут использовать непрерывное обучение и делать выводы практически в режиме реального времени.

6.5.9.2 Показатели качества для своевременности

В таблице 23 представлены показатели качества данных для своевременности в контексте использования аналитики и машинного обучения.

Общий процесс реализации модели качества данных и связанных с ней показателей качества данных для задач аналитики или машинного обучения может включать в себя:

- отбор характеристик качества данных из настоящего стандарта, подходящих для задачи аналитики или машинного обучения;

- выбор для каждой характеристики качества данных соответствующих показателей качества данных из настоящего стандарта и их доработка для конкретного приложения;

- если для оценки качества данных необходимы дополнительные показатели качества данных, разработку показателей и соответствующих функций измерения качества данных можно проводить с использованием приложения A;

- пересмотр требований к качеству данных с критериями приемлемости для каждого показателя качества данных (такими как минимальное или максимальное пороговое значение, диапазон значений);

- применение функции измерения к целевым данным на соответствующих стадиях модели жизненного цикла качества данных для аналитики и машинного обучения (см. ГОСТ Р 71484.1);

- оценку соответствия каждого результата измерения качества данных заданным требованиям;

- оценку соответствия всего набора данных заданным требованиям;

- применение (при необходимости) процессов улучшения качества данных (см. ГОСТ Р 71484.4);

- постоянное отслеживание и улучшение качества данных, а также валидация процесса управления качеством данных на протяжении жизненного цикла задачи аналитики или машинного обучения (например, применяя функции измерения качества данных всякий раз, когда данные или условия задачи изменяются).

Примечание - ГОСТ Р 71484.4 описывает структуру процесса управления качеством данных.

Отчеты о качестве данных могут предоставить соответствующим заинтересованным сторонам сведения по использованию качества данных, например модели качества данных, показатели качества данных и результаты их измерений, а также о том, соответствуют ли целевые данные требованиям к качеству данных. Данные и качество данных могут меняться со временем. Может возникнуть необходимость пересматривать отчеты о качестве данных по заданному графику в соответствии с рисками качества данных для задачи аналитики или машинного обучения.

Отчеты о качестве данных должны включать:

- назначение отчета (например, проинформировать соответствующие заинтересованные стороны, облегчить принятие решений, предоставить доказательства соответствия);

- предмет отчета (например, первоначальный отчет или редакция, охватываемый период времени, решаемая задача аналитики или МО);

- график пересмотра отчета;

- критерии завершения процесса отчетности;

- местонахождение и способ хранения отчетов (например, для последующего использования или аудита);

- элементы, описанные в 8.3.

На рисунке 4 показана модификация модели деятельности (см. [9], приложение D), для аналитики и машинного обучения.

При подготовке отчетов о качестве данных для задач аналитики или МО организация должна:

a) определить лиц, ответственных за подготовку, рассмотрение и утверждение отчетов о качестве данных;

b) определить соответствующие заинтересованные стороны, которые должны получать копии отчетов о качестве данных;

c) определить, в каких контрольных точках на стадиях жизненного цикла качества данных следует инициировать или пересматривать отчеты о качестве данных;

d) определить соответствующий интервал между пересмотрами отчета о качестве данных;

e) обеспечить, чтобы отчеты о качестве данных учитывались при планировании работы с данными;

f) определить охват целевых данных, включаемых в отчеты о качестве данных;

g) собрать требования к качеству данных;

h) документировать модель качества данных, включая характеристики качества данных, составляющие модель качества данных;

i) документировать отобранные показатели качества данных и их целевые значения;

j) документировать любые показатели качества данных, разработанные в соответствии с приложением A;

k) документировать результаты измерений всех выбранных показателей качества данных;

l) документировать все преобразования, произведенные с целевыми данными;

m) документировать оценку соответствия или несоответствия целевых данных требованиям к качеству данных;

n) документировать план улучшения качества данных, если целевые данные не соответствуют требованиям к качеству данных.

Некоторые из показателей, перечисленных в серии стандартов ГОСТ Р ИСО/МЭК 25000 и в настоящем стандарте, описаны с общей точки зрения. Для практического применения может возникнуть необходимость в детальном проектировании функции измерения и ее контекстной информации, как это описано в ГОСТ Р ИСО/МЭК 25020.

Ниже на примере показано как спроектировать и задокументировать соответствующую настоящему стандарту функцию измерения синтаксической аккуратности с помощью показателя Acc-I-1 (см. [1]).

В некоторых случаях (например, когда сравнение необходимо для оценки) показателя Acc-I-1 недостаточно, и необходимо получить представление о "синтаксически аккуратных значениях" для A и "количестве элементов данных, для которых требуется синтаксическая аккуратность" для B, то есть выбрать метод измерения расстояния между строками для A и определить область для B. Существует несколько возможностей для проектирования как A, так и B, например, задать:

A - как отношение количества строк, в которых расстояние равно нулю, к общему количеству строк в области B;

B - как количество допустимых строк.

Используя функцию измерения с A и B, пересмотренный показатель Acc-I-1-IT-2 приведен в таблице A.1.

Примечания

1 Наилучшее сходство между сравниваемыми строками и заданной областью достигается при меньшем расстоянии, поэтому чем меньше значение, тем лучше.

2 Идентификатор включает дополнение "IT-2", см. ГОСТ Р ИСО/МЭК 25020-2023, приложение C.

В таблице A.2 показано применение меры Acc-I-1-IT-2 для сравнения аккуратности двух баз данных, каждая из которых содержит по три имени. Сравнение производится с синтаксисом, состоящим из имен длиной 4. Имена длиной 4 представляют собой подмножество всех возможных строк длины 4.

По результатам применения функции измерения значения в базе данных R, выраженные меньшим значением показателя аккуратности, являются более аккуратными, чем значения в базе данных W, поскольку имя Marj не принадлежит к синтаксису имен.

Примечание - Здесь 26 - количество возможных символов английского алфавита.

На рисунке B.1 показана диаграмма классов UML для структуры показателя качества данных, обеспечивающая общий словарь и взаимосвязи между компонентами показателей качества данных в настоящем стандарте. Подробную информацию о нотации UML см. [17].

На рисунке B.1 описана структура измерения характеристик качества данных на основе эталонной модели измерения качества из ГОСТ Р ИСО/МЭК 25020. Показатель качества данных связан с целевой характеристикой качества данных. Каждый показатель качества данных определяется как результат измерения, возвращаемый функцией измерения двух или более элементов показателя качества данных. Элемент показателя качества данных - это базовая мера, связанная с методом измерения и с целевыми данными. Метод измерения - это общее описание логической структуры операций, используемых для количественной оценки базовой меры с помощью автоматизированных средств или человеческого суждения.

Чтобы представить взаимосвязь между элементами данных и общими характеристиками качества набора данных, полезно их объединить в четыре группы: сопровождаемость, достоверность, надежность и верность [18].

Примечание - Сопровождаемость, достоверность, надежность и верность не являются характеристиками сами по себе и не связаны с теми же или разными терминами, используемыми в ГОСТ Р ИСО/МЭК 25010. В частности, сопровождаемость не связана с возможностью поддерживать данные (как это предусмотрено в ГОСТ Р ИСО/МЭК 25010), а связана с прозрачностью данных (соответствие, подотчетность, документирование, идентификация происхождения).

- Сопровождаемость. Сопровождаемость данных относится к свойству набора данных (на основе лучших практик жизненного цикла разработки программного обеспечения), которое указывает на уровень соответствия практикам разработки набора данных и уровень прозрачности для поддержки принятия решений и подотчетности с набором данных. Это относится к существованию и актуальности документации, определяющей происхождение версий набора данных и его обладателей, а также к механизму контроля версий. Это группа качественных характеристик для доступности, проверяемости, переносимости и понятности целевых данных как элементов данных и наборов данных, для идентификации элементов данных и эффективности наборов данных.

- Достоверность. Достоверность набора данных относится к эксплуатационной достоверности набора данных, т.е. насколько хорошо он описывает (в целом или на уровне элемента) явления, для которых он предназначен, и какова его актуальность. Например, учитывает ли набор данных всю сложность и спектр субъективности явлений, с которыми он связан, позволяет ли он делать обобщения в рамках явлений и каковы справочные материалы для актуальности и доступности. Достоверность - это всеобъемлющая группа, характеризующая актуальность как для элемента данных, так и для набора данных.

- Надежность. Надежность набора данных относится к внутренней достоверности набора данных, т.е. к его достоверности, вытекающей из его последовательности, тиражируемости и воспроизводимости в целевых данных элементов данных и наборов данных. Надежность тесно связана с сопровождаемостью, поскольку наборы данных, которые не поддерживаются должным образом, часто не воспроизводимы и не поддаются проверке на предмет согласованности. Кроме того, показатели аккуратности и аккуратности можно использовать для определения аспектов надежности набора данных.

- Верность. Верность набора данных относится к характеристикам наполненности, согласованности, сбалансированности и репрезентативности набора данных по отношению к явлению, с которым он связан. Как правило, способы выборки данных из более крупных источников или выбор самих источников могут повлиять на верность получаемого набора данных с точки зрения его разнообразности и появления возможных систематических ошибок, таких как временные, географические, культурные и другие социальные предубеждения. Верность также связана с надежностью с точки зрения таких свойств, как релевантность и своевременность.

В таблице C.1 представлена группа характеристик качества данных. Качество набора данных можно измерить двумя способами: качество отдельных элементов данных и интегральный показатель качества всего набора данных. Отсюда вытекает разделение характеристик качества данных (в таблице C.1) для элементов данных и для набора данных. Каждая характеристика качества данных может быть применена к целевым данным либо для элемента данных, либо для набора данных.

В таблице D.1 показан пример сопоставления характеристик качества данных со следующими альтернативными группами:

- техничность;

- законность;

- ориентация на пользователя;

- ориентация на реальность.

В таблице E.1 приведены характеристики качества данных ИСО/МЭК 25012 и дополнительные характеристики, представленные в настоящем стандарте.

Примечание - Доступность (для предполагаемых пользователей) и эффективность (формат и пространство) могут применяться к элементу данных.