"ГОСТ Р 70945-2023. Национальный стандарт Российской Федерации. Технологии искусственного интеллекта в образовании. Функциональная подсистема организации и проведения научных мероприятий. Общие положения"
(утв. и введен в действие Приказом Росстандарта от 18.10.2023 N 1173-ст)

1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования "Волгоградский государственный университет" (ФГАОУ ВО ВолГУ)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 октября 2023 г. N 1173-ст

4 ВВЕДЕН ВПЕРВЫЕ

Функциональная подсистема организации и проведения научных мероприятий входит в систему образования как наиболее значимая ее составляющая, обеспечивающая научную подготовку обучающихся, в том числе аспирантов и магистрантов в части формирования их компетенций в определенной предметной области.

В настоящем стандарте описываются подходы к использованию систем искусственного интеллекта при организации и проведении научных мероприятий в образовательных организациях. Предполагается, что организация и проведение научных мероприятий реализуются с помощью комплекса процедур, в рамках которого предусмотрено использование функциональной подсистемы, представляющей собой взаимосвязанную совокупность систем искусственного интеллекта, направленных на решение задач организации и проведения научных мероприятий.

Настоящий стандарт предоставляет описание функциональной подсистемы организации и проведения научных мероприятий, основанной на технологиях искусственного интеллекта, включая:

- общую модель реализации функциональной подсистемы на этапах организации и проведения научного мероприятия;

- рекомендации и примеры по использованию конкретных систем искусственного интеллекта при решении различных задач, возникающих при организации и проведении научных мероприятий;

- требования к защите данных, содержащихся в функциональной подсистеме;

- рекомендации по управлению рисками качества данных в функциональной подсистеме.

Настоящий стандарт входит в серию стандартов "Технологии искусственного интеллекта в образовании".

В настоящем стандарте описываются общая модель реализации функциональной подсистемы на этапах организации и проведения научных мероприятий в сфере образования и науки, в том числе с привлечением обучающихся, а также системы искусственного интеллекта, предназначенные для обеспечения ее работы.

Настоящий стандарт применим в организациях профессионального образования [1] (статья 10), а также в иных организациях, которые осуществляют образовательную деятельность.

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ Р 59407 Информационные технологии. Методы и средства обеспечения безопасности. Базовая архитектура защиты персональных данных

ГОСТ Р 59897-2021 Данные для систем искусственного интеллекта в образовании. Требования к сбору, хранению, обработке, передаче и защите данных

ГОСТ Р 59900 Системы искусственного интеллекта. Типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1

3.2 модель участника: Формализованное описание существенных характеристик участника научного мероприятия, позволяющих создавать, использовать и представлять научные материалы.

3.3 модель эксперта: Формализованное описание существенных характеристик эксперта научного мероприятия, позволяющих проводить экспертизу научных материалов.

3.4

3.5 научные материалы: Научная информация, характер которой обусловлен видом и тематическим профилем научной деятельности и которая отражает идеи, концепции, взгляды, сформированные в результате научных исследований, и обладает высоким уровнем новизны, теоретической или практической значимости.

3.6 научное мероприятие: Мероприятие, являющееся площадкой для обсуждения результатов исследований в науке и образовании для заинтересованных лиц, реализующих свой научный потенциал.

Примечание - Мероприятием может являться съезд, конгресс, симпозиум, саммит, конференция, форум, семинар, конкурс, круглый стол и т.п.

3.7 объект научного мероприятия: Область науки и технологий, рамки которой обуславливают темы научного мероприятия.

3.8

3.9 руководящий орган научного мероприятия: Программный и/или организационный комитеты, наделенные правами и обязанностями в принятии решений по организации и/или проведению научного мероприятия.

3.10 секция научного мероприятия: Обособленный структурный элемент научного мероприятия, выделяемый по признаку схожести обсуждаемых научных проблем.

3.11

3.12 субъект научного мероприятия: Лицо, принимающее участие в научном мероприятии.

3.13

3.14 форма участия в научном мероприятии: Роль, в которой заинтересованное лицо участвует в работе научного мероприятия, реализуя присущие ей функции.

Примечание - Заинтересованными лицами могут быть эксперт, докладчик на секции, пленарный докладчик, член организационного комитета, член программного комитета и т.п.

3.15 функциональная подсистема: Взаимосвязанная совокупность систем искусственного интеллекта, направленных на решение определенных задач.

3.16

Руководящий орган научного мероприятия должен определить целесообразность применения технологий ИИ (ТИИ) при организации и проведении научных мероприятий.

При использовании функциональной подсистемы для решения задач организации и проведения научных мероприятий может возникнуть необходимость использования наборов данных. В этом случае следует руководствоваться ГОСТ Р 59900.

Функциональная подсистема организации и проведения научных мероприятий предназначена для решения возникающих задач с применением ТИИ. Руководящий орган научного мероприятия должен определить, в ходе каких из перечисленных ниже этапов научного мероприятия будут использованы ТИИ:

- создание научного мероприятия;

- регистрация участников научного мероприятия;

- прием научных материалов;

- экспертиза научных материалов;

- оперативное сопровождение организации и проведения научного мероприятия.

ТИИ в рамках данной функциональной подсистемы следует применять в том случае, когда для решения задачи не известна математическая модель, обеспечивающая результат с приемлемой точностью. При этом методы ИИ используют для того, чтобы по имеющейся информационной модели построить математическую модель и ее применять для решения задачи.

Применение ТИИ на этапах организации и проведения научных мероприятий приведено на рисунке 1 и разделе 5.

В качестве примеров систем ИИ (СИИ), применяемых в рамках функциональной подсистемы для решения задач, возникающих на приведенных этапах организации и проведения научных мероприятий, можно привести следующие:

- СИИ, построенные с использованием методов обработки естественного языка;

- СИИ, построенные с использованием методов компьютерного зрения и обработки звука;

- системы интеллектуального анализа данных.

Дополнительная информация по возможностям применения СИИ для решения задач на этапах организации и проведения научных мероприятий приведена в разделах 5 и 6.

В настоящем разделе приведено описание этапов реализации настоящей функциональной подсистемы. По каждому из этапов даны варианты использования СИИ, их задач, а также предназначенных для решения этих задач СИИ более низкого уровня совместно с соответствующими моделями, процедурами и т.д.

При организации научного мероприятия следует реализовать изложенные ниже действия последовательно. В определенных ситуациях для повышения результативности их порядок может быть изменен.

Каждая система искусственного интеллекта, входящая в настоящую функциональную подсистему, помимо своих специфических задач (если применимо), решает определенную совокупность нижеприведенных задач.

Для решения этой задачи используют ряд методов, таких как:

- сбор данных из открытых источников;

- сбор данных путем экспертного опроса;

- аннотация и разметка данных;

- комбинированный подход (применение двух подходов и более).

Перечисленные методы могут быть реализованы вручную либо автоматически, в том числе с применением ТИИ.

Для решения данной задачи может быть организовано хранение следующих видов ресурсов:

- данных;

- моделей, используемых СИИ;

- описаний процедур обновления информационных ресурсов, используемых моделями СИИ;

- учетной информации по реализации процедур обновления информационных ресурсов, используемых моделями СИИ;

- информации о результатах работы СИИ;

- информации о запросах пользователей;

- истории предоставления ресурсов пользователям.

Процедуры, реализующие хранение информации, должны обеспечивать механизмы противодействия угрозам нарушения целостности, конфиденциальности, доступности данных.

Процедуры, реализующие хранение информации, могут обеспечивать механизмы оптимизации предоставления данных пользователям.

В рамках данной задачи можно выделить следующие подзадачи:

а) создание и редактирование процедур обновления информационных ресурсов, используемых моделями СИИ

Процедуры должны содержать действия, направленные на поддержание актуального состояния моделей. Процедуры могут включать перечень действий, длительность и время начала действий, перечень необходимых ресурсов для выполнения действий и список ответственных исполнителей;

б) реализация процедур обновления информационных ресурсов, используемых моделями СИИ

В качестве исполнителей процедур могут быть определены как компьютерные программы (автоматизированная обработка данных), так и физические лица (ручная обработка данных). Могут быть предусмотрены процедуры планирования, уведомления физических лиц, запуска компьютерных программ по исполнению процедур, а также контроль ресурсов, необходимых для выполнения процедур;

в) контроль выполнения процедур обновления информационных ресурсов, используемых моделями СИИ

Могут быть предусмотрены процедуры контроля исполнения действий по актуализации информационных ресурсов: отслеживание сроков выполнения и уведомление ответственных лиц. Может быть использовано уведомление заинтересованных лиц, список которых как определяется руководящим органом организации, так и формируется на основе базы знаний, в которой учтены состав и порядок уведомлений согласно событиям, возникающим при выполнении процедур.

Для решения этой задачи применяют СИИ, как это описано в 5.6.4, 5.7.4, 5.8.4, 5.9.4, 5.10.4.

Должна быть предусмотрена возможность предоставления информации пользователям данных о результатах работы СИИ. Причем пользователи могут пользоваться не всеми данными. Перечень данных определяет руководящий орган организации.

Данные могут быть предоставлены как по запросу пользователя, так и в виде уведомлений.

Для повышения результативности данного этапа следует создать СИИ анализа актуальности научного мероприятия, позволяющую оценить количество потенциальных участников и осуществлять продвижение научного мероприятия в научном сообществе, а также решающую задачи, перечисленные в 5.6.1 - 5.6.6.

Для решения данной задачи может быть предусмотрена СИИ, в рамках которой может быть создана модель участника научного мероприятия. Модель может быть основана на комплексе индикаторов соответствия предметной области для участника научного мероприятия, объединенных в общую схему модели представления знаний. Данная система позволяет идентифицировать предметную область участника научного мероприятия, вычислять уровень соответствия предметной области для участника научного мероприятия, а также форму участия в проведении научного мероприятия.

Решение этой задачи приведено в 5.2.

Решение этой задачи приведено в 5.3.

В рамках данной задачи можно выделить следующие подзадачи ИИ:

а) оценка участника научного мероприятия на соответствие предметной области, например: могут быть предусмотрена идентификация предметной области участника научного мероприятия или вычисление уровня соответствия участника научного мероприятия предметной области, проводимые по идентификатору/набору идентификаторов области знаний эксперта [коду тематических рубрик Государственного рубрикатора научно-технической информации (ГРНТИ); индексу Универсальной десятичной классификации; коду международной классификации отраслей науки и технологий, разработанной Организацией экономического сотрудничества и развития (ОЭСР)];

б) выбор участника научного мероприятия согласно предметной области

На основе полученных оценок проводят поиск удовлетворяющих заданным требованиям участников научного мероприятия с определением возможного статуса участия;

в) обоснование выбора участника научного мероприятия в предметной области, визуализация показателей, способствовавших выбору участника научного мероприятия и его формы участия.

Необходимо предусмотреть возможность предоставления информации об участнике научного мероприятия в предметной области, например: ученая степень, ученое звание, специальность ученой степени; разделы тематического рубрикатора ГРНТИ; индекс Универсальной десятичной классификации; код международной классификации отраслей науки и технологий, разработанной ОЭСР; ключевые слова, отражающие научные интересы участника; основное место работы или обучения.

Информация может быть предоставлена как по запросу пользователя, так и в виде уведомлений о факте регистрации новых лиц, соответствующих заданным требованиям.

5.6.6 Продвижение научного мероприятия в научном сообществе может быть предусмотрено с помощью использования СИИ, в рамках которой применяют сервисы рекомендательной системы.

Для продвижения научного мероприятия в научном сообществе могут быть рекомендованы и использованы два типа рекомендательных систем:

а) рекомендательные системы, основанные на контенте

Данный тип рекомендательных систем может быть осуществлен подбором научного мероприятия на основе участия пользователем в предыдущих научных мероприятиях. Например, если пользователь до этого участвовал в научных мероприятиях в онлайн-формате и по направлению "Естественные науки", система будет предлагать альтернативные мероприятия с участием в аналогичном формате и в области биологии или биохимии.

Если пользователь просматривает определенные научные мероприятия, то рекомендательная система на основе фильтрации их контекста будет предлагать мероприятия, "похожие" на просматриваемое. Под "похожими" могут подразумеваться научные мероприятия с одинаковым контекстом, размещенные в близкое время, с близким местоположением и т.д.;

б) рекомендательные системы, основанные на знаниях

Данный тип рекомендательных систем осуществляется подбором научных мероприятий на основе таких знаний о нем, как связи между предметной областью научного мероприятия, его видом, возможными аудиториями, экспертами и т.п.

Рекомендации формируются на основе базы знаний. К примеру, если рассматривается история участия в научном мероприятии пользователя, то система определит, что пользователь предпочитает участвовать в мероприятиях, связанных с определенными атрибутами. Тогда система будет рекомендовать пользователю научные мероприятия в соответствии с атрибутами его предпочтения.

Для повышения результативности данного этапа следует создать СИИ регистрации участников научного мероприятия, решающую задачи, перечисленные в 5.7.1 - 5.7.5.

Решение этой задачи приведено в 5.1.

Решение этой задачи приведено в 5.2.

Решение этой задачи приведено в 5.3.

Для решения данной задачи может быть предусмотрена СИИ анализа текущего состояния поданных заявок и имеющихся ресурсов для проведения научного мероприятия. На основе статистик поданных заявок может быть предусмотрена генерация рекомендаций по распределению ресурсов, обеспечивающих проведение научного мероприятия.

Решение этой задачи приведено в 5.5.

Для повышения результативности данного этапа следует создать СИИ анализа научных материалов с целью уточнения соответствия их содержания существующим направлениям научного мероприятия и формирования новых направлений работы научного мероприятия, решающую задачи, перечисленные в 5.8.1 - 5.8.5:

Для решения данной задачи может быть предусмотрена СИИ, в рамках которой должна быть создана модель предметной области научных материалов и статус участия автора в научном мероприятии. Модель может быть основана на комплексе индикаторов соответствия научных материалов предметной области. Данная модель позволяет идентифицировать предметную область научных материалов, вычислять уровень соответствия предметной области научных материалов, а также статус участия автора в проведении научного мероприятия.

Решение этой задачи определено в 5.2.

Решение этой задачи представлено в 5.3.

Для решения данной задачи могут быть предусмотрены СИИ анализа научных материалов согласно предметной области, а также идентификация предметной области научных материалов, вычисление уровня соответствия научных материалов предметной области или идентификация формы участия автора в проведении научного мероприятия.

Решение этой задачи приведено в 5.5.

Для повышения результативности данного этапа следует создать СИИ проверки научных материалов на оригинальность, актуальность научных материалов, на соответствие техническим требованиям, предъявляемым к рукописи научных материалов, решающую задачи, перечисленные в 5.9.1 - 5.9.5.

Для решения данной задачи следует реализовать СИИ, обеспечивающую проверку научных материалов по наукометрическим показателям, таким как заимствования, цитирования, самоцитирования, актуальность научных материалов, а также на соответствие техническим требованиям, предъявляемым к рукописи научных материалов.

Решение этой задачи приведено в 5.2.

Решение этой задачи приведено в 5.3.

Для решения данной задачи может быть предусмотрена СИИ экспертизы научных материалов. Могут быть предусмотрены процедуры измерения наукометрических показателей, например: уровня заимствований, цитирования и самоцитирования, актуальности научных материалов, а также соответствия техническим требованиям, предъявляемым к рукописи научных материалов.

Может быть предусмотрена возможность предоставления информации пользователям данных о результатах работы СИИ, реализованных на данном этапе, например: уровень заимствований, актуальности научных материалов, соответствия техническим требованиям, предъявляемым к рукописи научных материалов, история обновления информационных ресурсов, участвующих в проверке научных материалов и т.д. Пользователям могут быть предоставлены не все данные. Перечень данных определяет руководящий орган научного мероприятия.

Для повышения результативности данного этапа следует создать СИИ поддержки участников и членов программного и организационного комитетов научного мероприятия, решающую задачи, перечисленные в 5.10.1 - 5.10.5.

Для решения данной задачи может быть предусмотрена СИИ, в рамках которой должна быть реализована возможность создания и редактирования семантической модели языковых структур, описывающих объекты и субъектов научного мероприятия. Модель может быть основана на языковых конструкциях, описывающих объекты и субъекты научного мероприятия, их взаимодействия, отношения между ними, объединенных в общую схему семантического представления информации. Данная модель позволяет идентифицировать семантику запроса пользователя.

Решение этой задачи приведено в 5.2.

Решение этой задачи приведено в 5.3.

В рамках данной задачи можно выделить следующие подзадачи ИИ:

а) семантическая оценка запроса пользователя

На основе семантической модели языковых структур, описывающих объекты и субъекты научного мероприятия, может быть предусмотрена идентификация семантики запроса пользователя;

б) генерация ответа на запрос пользователя

На основе семантической модели языковых структур, описывающих объекты научного мероприятия, может быть сгенерирован ответ на запрос пользователя.

Решение этой задачи приведено в 5.5.

Настоящий раздел содержит примеры конкретных СИИ и рекомендации по их использованию. Примеры сгруппированы по применяемым методам ИИ:

- СИИ, построенные с использованием методов обработки естественного языка;

- СИИ, построенные с использованием методов компьютерного зрения и обработки звука;

- системы интеллектуального анализа данных.

Соответствующая СИИ по запросу в виде набора ключевых слов и фраз предлагает или рекомендует сгенерированные наименования научного мероприятия.

СИИ по запросу в виде наименования научного мероприятия и набора ключевых слов и фраз синтезирует рекомендательный набор наименований секций научного мероприятия.

Соответствующая СИИ по запросу в виде набора текстовых данных о научном мероприятии (тематика, название, наименование секций и т.п.), используя базу данных потенциальных участников, рекомендует первичный список рассылки.

Соответствующая СИИ по запросу в виде списка докладов, соответствующих секций и предпочтений участников вырабатывает программу мероприятия в виде соотнесения доклада ко времени.

Соответствующая СИИ по запросу в виде текстовых данных тематики, предполагаемого наименования доклада, списка ключевых слов или фраз извлекает из имеющейся базы данных научных мероприятий, наиболее соответствующих запросу.

Соответствующая СИИ реализует функционал чат-бота, который по запросу в виде текстового сообщения участника мероприятия вырабатывает сообщение, призванное помочь получить требуемую информацию.

Соответствующая СИИ по запросу в виде голосового сообщения вырабатывает голосовое сообщение в виде ответа на запрос.

Соответствующая СИИ по запросу в виде входных данных о тематике научного мероприятия, о программе научного мероприятия генерирует набор изображений, призванных помочь участникам мероприятия свободно ориентироваться в месте и времени проведения мероприятия.

Соответствующая СИИ по запросу в виде текстовых данных о конференции (тематика, ключевые слова и фразы, место проведения, время проведения), а также в виде стилевого графического изображения генерирует набор изображений - вариантов возможного оформления обложки материалов научного мероприятия.

Соответствующая СИИ по запросу в виде текстовых данных о конференции (тематика, ключевые слова и фразы, место проведения, время проведения), а также в виде стилевого графического изображения генерирует набор изображений для графического оформления.

Соответствующая СИИ, встроенная в роботизированную аппаратную платформу, которая управляет камерой, проводящей съемку участников научного мероприятия выбирая стратегию слежения за обнаруживаемыми объектами.

Соответствующая СИИ по запросу в виде указания наименования мероприятия, тематики, научной области, актуальности, состава докладчиков, времени и места прогнозирует потенциальное число участников научного мероприятия.

Соответствующая СИИ по запросу в виде наименования и тематики научного мероприятия, потенциального числа участников вырабатывает наиболее соответствующие варианты времени и места проведения мероприятия.

Соответствующая СИИ по запросу в виде наименования доклада рекомендует потенциальному участнику выбор секции научного мероприятия для представления доклада на научном мероприятии.

7.1 К защите данных, содержащихся в функциональной подсистеме организации участия в конкурсных мероприятиях с целью финансирования научной деятельности следует применять требования ГОСТ Р 59897-2021 (раздел 12).

7.2 Общий подход по установлению требований по защите сведений, подлежащих защите в соответствии с действующим законодательством Российской Федерации, используемых в функциональных подсистемах решения задач ИИ, должен соответствовать требованиям ГОСТ Р 59407. При необходимости защиты персональных данных, используемых в функциональных подсистемах решения задач ИИ, требования должны быть установлены в соответствии с положениями [2] - [6].

8.1 Следует предусмотреть наличие в функциональной подсистеме возможностей управления рисками качества данных, например:

- способность на основе интеллектуального анализа и машинного обучения выявлять и прогнозировать возможные будущие риски внутри и за пределами функциональной подсистемы в отношении точности, полноты, достоверности, актуальности, доступности, соответствия требованиям, конфиденциальности, эффективности, понятности, переносимости и возможности восстановления данных;

- способность анализировать и оценивать риски качества данных с точки зрения причин, угроз и последствий;

- возможность реализации вариантов управления рисками качества данных (предупреждение, предотвращение, снижение или минимизация);

- установление пороговых значений ошибок и уровней рисков качества данных, за пределами которых возникает необходимость исправления низкого качества данных;

- возможность применять методы повышения качества данных.

8.2 Процесс управления рисками, связанный с каждым показателем качества данных, должен быть интегрирован в практику управления качеством данных, структуру и процессы функциональной подсистемы.

8.3 Следует определить роли и обязанности в отношении управления рисками качества данных и довести данную информацию до сведения всех пользователей, обеспечивающих функционирование функциональной подсистемы.

8.4 Периодичность подготовки и распространения отчетов по управлению рисками должна быть установлена таким образом, чтобы облегчить принятие обоснованных решений о рисках лицами, принимающими решения, особенно руководящим органом научного мероприятия.