ГОСТ Р 59900-2021 Системы искусственного интеллекта. Типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании.
ГОСТ Р 59900-2021
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
Типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании
Artificial intelligence systems. Typical requirements for check samples of initial data for testing artificial intelligence systems in education
ОКС 35.240.90
Дата введения 2022-03-01
Предисловие
1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования "Национальный исследовательский университет "Высшая школа экономики" (НИУ ВШЭ)
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 26 ноября 2021 г. N 1622-ст
4 ВВЕДЕН ВПЕРВЫЕ
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)
ВНЕСЕНА поправка, опубликованная в ИУС N 5, 2022 год, введенная в действие с 30.03.2022
1 Область применения
Настоящий стандарт распространяется на технологии искусственного интеллекта в образовании и устанавливает типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании, построенных на основе алгоритмов машинного обучения и анализа данных.
2 Термины и определения
В настоящем стандарте применены следующие термины с соответствующими определениями:
2.1 образовательный продукт с алгоритмами искусственного интеллекта: Программно-техническая система, использующая алгоритмы искусственного интеллекта для решения различных задач в области образования.
2.2 гиперпараметры (в машинном обучении): Параметры системы искусственного интеллекта, значения которых задаются до начала обучения и не изменяются в процессе обучения.
Примечание - У системы искусственного интеллекта может не быть гиперпараметров.
2.3 обучающая выборка: Набор данных, на котором происходит обучение системы искусственного интеллекта.
2.4 валидационная выборка: Набор данных, на котором происходит оптимизация гиперпараметров системы искусственного интеллекта и выбор наилучшего алгоритма.
2.5 контрольная выборка: Набор данных, на котором происходит оценка качества работы системы искусственного интеллекта.
2.6 метрика (в машинном обучении): Функция количественной оценки качества работы алгоритмов искусственного интеллекта на некоторой выборке.
Примечание - При обучении систем искусственного интеллекта вычисляют значения метрик на обучающей, валидационной и тестовой выборках.
3 Общие требования к контрольным выборкам исходных данных
3.1 Репрезентативность
Контрольная выборка должна быть репрезентативной: характеристики выборки должны соответствовать характеристикам генеральной совокупности в целом.
Контрольная выборка должна содержать все объекты, присутствующие в генеральной совокупности. Число элементов контрольной выборки должно быть достаточно для представления характеристик генеральной совокупности с заданной погрешностью.
Должны быть предусмотрены метрики и меры оценки отсутствия систематических искажений при формировании выборки.
3.2 Ограничение в использовании контрольной выборки на этапе обучения системы
В процессе обучения систем искусственного интеллекта для текущей оценки качества обучения, выбора моделей и настройки гиперпараметров используются валидационные выборки.
Недопустимо использование контрольных выборок в качестве валидационных в процессе настройки и обучения модели.
Контрольные выборки должны использоваться для оценки качества работы обученных систем и сравнения различных систем между собой.
3.3 Актуальность контрольной выборки
Необходимо обеспечить соответствие данных, представленных в контрольной выборке, актуальному состоянию объектов, описываемых данными.
Для контрольной выборки должен быть определен период обновления, соответствующий периодам изменения объектов, описываемых собранным данными.
3.4 Повторное использование контрольной выборки
Для каждой контрольной выборки должно быть определено максимальное число использований и вестись учет числа фактических использований контрольной выборки для оценки качества работы систем, с целью недопущения подстройки систем искусственного интеллекта под прохождение конкретной контрольной выборки.
4 Объекты данных в образовании
4.1 В зависимости от категории и назначения образовательного продукта с алгоритмами искусственного интеллекта наборы данных собираются в отношении следующих объектов и процессов:
- описание и программы образовательных дисциплин, учебно-методические материалы;
- характеристики участников образовательной деятельности;
- учебные действия и коммуникация участников образовательной деятельности (обучающийся, педагогический работник);
- операции взаимодействия с информационными системами участников образовательной деятельности, в том числе цифровая тень;
Для получения доступа к полной версии без ограничений вы можете выбрать подходящий тариф или активировать демо-доступ.