ПНСТ 837-2023 Искусственный интеллект. Управляемость автоматизированных систем искусственного интеллекта.

        ПНСТ 837-2023/ISO/IEC CD TS 8200

 ПРЕДВАРИТЕЛЬНЫЙ НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

 Искусственный интеллект

 УПРАВЛЯЕМОСТЬ АВТОМАТИЗИРОВАННЫХ СИСТЕМ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

 Artificial intelligence. Controllability of automated artificial intelligence systems

ОКС 35.020

Срок действия с 2024-01-01

до 2027-01-01

 Предисловие

1 ПОДГОТОВЛЕН Научно-образовательным центром компетенций в области цифровой экономики Федерального государственного бюджетного образовательного учреждения высшего образования "Московский государственный университет имени М.В.Ломоносова" (МГУ имени М.В.Ломоносова) и Обществом с ограниченной ответственностью "Институт развития информационного общества" (ИРИО) на основе собственного перевода на русский язык англоязычной версии документа, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 15 ноября 2023 г. N 56-пнст

4 Настоящий стандарт идентичен проекту международного документа ISO/IEC CD TS 8200* "Информационная технология. Искусственный интеллект. Управляемость автоматизированных систем искусственного интеллекта" (ISO/IEC CD TS 8200 "Information technology - Artificial intelligence - Controllability of automated artificial intelligence systems", IDT).

Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ Р 1.5-2012 (пункт 3.5).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты, сведения о которых приведены в приложении ДА

Правила применения настоящего стандарта и проведения его мониторинга установлены в ГОСТ Р 1.16-2011 (разделы 5 и 6).

Федеральное агентство по техническому регулированию и метрологии собирает сведения о практическом применении настоящего стандарта. Данные сведения, а также замечания и предложения по содержанию стандарта можно направить не позднее чем за 4 мес до истечения срока его действия разработчику настоящего стандарта по адресу: 119991, Российская Федерация, Москва, Ленинские горы, д.1 и в Федеральное агентство по техническому регулированию и метрологии по адресу: 123112, Москва, Пресненская набережная, д.10, стр.2.

В случае отмены настоящего стандарта соответствующая информация будет опубликована в ежемесячном информационном указателе "Национальные стандарты, а также будет размещена на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

 Введение

Методы искусственного интеллекта (ИИ) применяют в приложениях для таких сфер и отраслей, как здравоохранение, образование, чистая энергетика, устойчивая жизнедеятельность и т.д. Несмотря на то, что эти методы используют для того, чтобы различные системы могли делать автоматизированные прогнозы, давать рекомендации или предлагать решения, применение систем искусственного интеллекта (далее - систем ИИ) вызвало широкий спектр вопросов. Некоторые характеристики (например, недостаточная объяснимость) систем ИИ (таких как обучение и логические выводы на основе глубоких нейронных сетей) могут внести неопределенность в поведение системы ИИ, что может привести к непрогнозируемым последствиям для конечных пользователей. В связи с этим наиболее значима управляемость систем ИИ. Настоящий стандарт, в первую очередь, предназначен в качестве руководства по проектированию и использованию системы ИИ с точки зрения реализации и усовершенствования управляемости.

Чтобы использовать преимущества ИИ устойчивым и ответственным образом, в настоящем стандарте определены характеристики и принципы управляемости системы ИИ. В настоящем стандарте описаны потребности в управляемости в контексте предметной области и подтверждается точка зрения в отношении управляемости системы ИИ. Управляемость - фундаментальная характеристика, обеспечивающая безопасность использования систем ИИ, существенная для конечных пользователей.

Автоматизированные системы, описанные в ИСО/МЭК 22989:2022 (таблица 1), могут быть реализованы с использованием ИИ. Степень внешнего управления или контроля является значимой характеристикой автоматизированных систем. Особенности гетерономных систем могут варьироваться от отсутствия внешнего управления до прямого внешнего управления. Степень реализации внешнего управления или контроля может быть использована для направления или управления системами на различных уровнях автоматизации, чтобы они вели себя так, как предполагалось, и в пределах функциональной безопасности. Этого можно добиться, используя функции управляемости или предпринимая определенные превентивные действия на каждом этапе жизненного цикла системы ИИ, как определено в ИСО/МЭК 22989:2022 (раздел 6). Под управляемостью в настоящем стандарте понимается способность управлять оператора, т.е. человека либо иного внешнего агента. В настоящем стандарте описаны особенности управляемости (что и как происходит), но не предопределяется, кто или что осуществляет управление.

Непрогнозируемые последствия могут быть, если у системы ИИ есть возможность принимать неправильные решения или совершать действия без какого-либо внешнего вмешательства, управления или надзора. Для реализации управляемости выделяются ключевые точки наблюдения за состоянием системы и ее переходом из одного состояния в другое. Реализация вмешательства требует передачи управления от системы ИИ человеку или другому внешнему агенту. Конкретные точки, в которых возможна передача управления, можно продумать при разработке и внедрении системы ИИ.

Передача управления с целью внешнего вмешательства в работу системы ИИ может быть легко выполнимой в реальных пределах времени, пространства, энергии и сложности, одновременно сводя к минимуму задержку для обеих сторон (т.е. системы ИИ и внешнего управляющего агента). Заинтересованные стороны учитывают конкретные затраты на передачу управления или контроля автоматизированными системами ИИ, от чего зависит эффективность реализации управляемости в системах ИИ. Более того, так как неопределенность при передаче управления может существовать с обеих сторон, необходимо тщательно подготовить процессы передачи управления, чтобы свести к минимуму или смягчить воздействие неопределенности и других непрогнозируемых последствий.

Эффективность управления и контроля подвергается тестированию и зависит от конструктивных особенностей системы и способа реализации передачи управления или контроля. Для этого необходимо определить принципы и подходы для валидации и верификации управляемости систем ИИ.

      1 Область применения

Настоящий стандарт определяет базовую концептуальную структуру реализации и усовершенствования управляемости автоматизированных систем искусственного интеллекта (ИИ), содержащую принципы, характеристики и подходы.

Настоящий стандарт охватывает следующие области:

- наблюдаемость состояния и перехода системы из одного состояния в другое;

- процесс передачи управления или контроля и связанные с ним затраты;

- реакция на неопределенность при передаче управления или контроля;

- подходы к верификации и валидации.

Настоящий стандарт применим ко всем типам организаций (например, коммерческим предприятиям, государственным учреждениям, некоммерческим организациям), разрабатывающим и использующим системы ИИ в течение всего их жизненного цикла.

      2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты [для датированных ссылок применяют только указанное издание ссылочного стандарта, для недатированных - последнее издание (включая все изменения)]:

ISO/IEC 22989:2022, Information technology - Artificial intelligence - Artificial intelligence concepts and terminology (Информационные технологии - Искусственный интеллект - Концепции и терминология искусственного интеллекта)

ISO/IEC 23053:2022, Framework for Artificial Intelligence (Al) Systems Using Machine Learning (ML) [Экосистема разработки систем искусственного интеллекта (ИИ) с использованием машинного обучения (МО)]

      3 Термины и определения

ИСО и МЭК поддерживают терминологические базы данных для использования в стандартизации по следующим адресам:

- платформа просмотра ИСО: доступна по адресу: https://www.iso.org/home.html;

- Электропедия МЭК: доступна по адресу: https://www.electropedia.org/

В настоящем стандарте применены термины по ИСО/МЭК 22989:2022 и ИСО/МЭК 23053:2022, а также следующие термины с соответствующими определениями:

3.1 онтология (ontology): Логическая структура терминов, используемых для описания области знаний, включая как определения применяемых терминов, так и отношения между ними.

[ISO/IEC/IEEE 24765:2017, пункт 3.2691]

3.2 представление знаний (knowledge representation): Процесс, который разрабатывает и создает системы символов, правила, рамки и другие методологии, используемые для выражения знаний, которые машины могут распознавать и обрабатывать.

[ИСО/МЭК 5392, пункт 3.18]

3.3 вычислительная обработка знаний (knowledge computing): Процесс получения новых знаний на основе существующих знаний и их взаимосвязей.

[ИСО/МЭК 5392, пункт 3.23]

3.4 слияние знаний (knowledge fusion): Процесс, который объединяет, комбинирует и интегрирует знания из различных ресурсов в согласованную форму.

[ИСО/МЭК 5392, пункт 3.21]

3.5 управляющее воздействие (управление) [control (noun)]: Целенаправленное воздействие на процесс или действие в процессе для достижения определенных целей.

[МЭК 61800-7-1:2015, пункт 3.2.6]

3.6 управлять (контролировать) [control (verb)]: В инженерии - это мониторинг выходных данных системы для сравнения с ожидаемыми выходными данными и принятие корректирующих мер, когда фактический результат не соответствует ожидаемому результату.

[ISO/IEC/IEEE 24765:2017, пункт 3.846.1]

3.7 управляющий агент (controller): Уполномоченный человек или другой внешний агент, осуществляющий управляющее воздействие (3.5).

Примечание - Управляющий агент взаимодействует с точками управления системы ИИ с целью управления.

3.8 выключение управления (disengagement of control, control disengagement): Процесс отказа управляющего агента (3.7) от контроля над набором точек управления.

3.9 включение управления (engagement of control, control engagement): Процесс, в котором управляющий агент (3.7) берет на себя контроль над набором точек управления.

Примечание - Помимо взятия на себя контроля над набором таких точек включение управления может также включать в себя подтверждение распределения управления между управляющим агентом и системой.

3.10 система (system): Взаимное расположение частей или элементов, которые вместе демонстрируют заявленное поведение, а также то, что по отдельности составляющие системы этого не делают.

Примечание 1 - Система иногда рассматривается как продукт или предоставляемые ею услуги.

Примечание 2 - На практике интерпретация значения этого термина часто разъясняется использованием ассоциативного прилагательного, например авиационная система. В качестве альтернативы слово "система" заменяется контекстно-зависимым синонимом (например, самолет), хотя это потенциально искажает перспективу системных принципов.

Примечание 3 - Система в своей полноте включает в себя все сопутствующее оборудование, средства, материалы, компьютерные программы, микропрограммы, техническую документацию, услуги и персонал, необходимые для эксплуатации и поддержки в той степени, в которой это необходимо для самодостаточного использования в предполагаемой среде.

[ISO/IEC/IEEE 15288:2023, пункт 3.47]

3.11 состояние системы (состояние) (system state, state): Один из нескольких этапов или фаз работы системы.

[ИСО 21717:2018, пункт 3.3]

3.12 стабильность состояния системы (стабильное состояние системы, стабильность) (system state stability, stable system state, stability): Особенность состояния системы, при которой параметры и наблюдаемые характеристики системы остаются неизменными в течение определенного периода времени или другого измерения, такого как пространство.

Примечание 1 - Неизменность может быть определена посредством допуска изменчивости, основанного на требованиях бизнес-логики.

Примечание 2 - При выходе из стабильного состояния изменяются параметры или наблюдаемые характеристики системы. Это происходит независимо от того, является ли следующее стабильное состояние безопасным или небезопасным из-за того, что система входит в нестабильное состояние системы.

Примечание 3 - Систему можно назвать стабильной, если она находится в стабильном состоянии.

3.13 безопасное состояние (safe state): Состояние (3.11), не приводящее к неприемлемым последствиям или потере управления (контроля).

3.14 небезопасное состояние (unsafe state): Состояние (3.11), которое не является безопасным состоянием (3.13).

Примечание - Неопределенные состояния являются подмножеством небезопасных состояний.

3.15 отказ (failure): Потеря системой способности действовать так, как требуется.

[ИСО 22166-1:2021, пункт 3.1.6]

3.16 успех (success): Одновременное достижение требуемой производительности по всем характеристикам.

[ИСО 26871:2020, пункт 3.1.62]

3.17 точка управления (control point): Часть интерфейса системы, где могут быть применены управляющие воздействия (3.5).

Примечание - Такой точкой может быть функция, физическое устройство (например, переключатель) или подсистема приема сигналов.

3.18 диапазон управления (span of control): Подмножество точек управления (3.17), к которым могут быть применены управляющие воздействия (3.5) для достижения конкретной цели.

3.19 интерфейс (interface): Средства взаимодействия с компонентом или модулем системы.

3.20 передача управления (transfer of control, control transfer): Процесс смены управляющего агента (3.7), реализующего управляющие воздействия (3.5) над системой.

Примечание 1 - Передача управления не влечет за собой совершение управляющего воздействия, а является передачей контроля над точками управления системного интерфейса между агентами.

Примечание 2 - Включение управления и его отключение являются двумя фундаментальными взаимодополняющими частями передачи управления.

3.21 управляемость для пользователя (user controllability): Степень, в которой пользователь может надлежащим образом своевременно вмешиваться в работу системы ИИ.

[ИСО/МЭК 25059, пункт 3.2]

3.22 возможность вмешательства (intervenability): Степень, в которой оператор может своевременно вмешиваться в работу системы ИИ, чтобы предотвратить вред или опасность.

[ИСО/МЭК 25059, пункт 3.2]

3.23 конечный автомат (finite state machine): Вычислительная модель, состоящая из конечного числа состояний (3.11) и переходов между этими состояниями, возможно, с сопутствующими действиями.

[ISO/IEC/IEEE 24765:2017, пункт 3.1604]

3.24 переход состояния системы (переход) (system state transition, transition): Процесс, заключающийся в том, что система переходит из одного состояния (3.11) в другое состояние или в то же состояние.

Примечание - Переход происходит, когда удовлетворяется определенное условие, включая вмешательство управляющего агента.

[ИСО/МЭК 11411:1995, пункт 2.2]

3.25 затраты на управляющее воздействие (cost of control): Затраченные ресурсы и внешние воздействия для осуществления управления системой ИИ.

Примечание 1 - Ресурсы включают в себя время, пространство, энергию, материалы и любые другие расходные материалы.

Примечание 2 - Внешние воздействия включают в себя все возможные эффекты и побочные эффекты управления, т.е. изменение среды.

3.26 отчет о завершении тестирования (итоговый отчет о тестировании) (test completion report, test summary report): Отчет, в котором содержится сводная информация о проведенном тестировании.

[ISO/IEC/IEEE 29119-1:2022, пункт 3.87]

3.27 процесс (process): Набор взаимосвязанных или взаимодействующих действий, которые преобразуют входные сигналы в выходные.

[ISO/IEC/IEEE 15288:2023, пункт 3.27]

      4 Сокращения

ИИ - искусственный интеллект (artificial intelligence);

КА - конечный автомат (finite state machine);

МО - машинное обучение (machine learning).

      5 Обзор

      5.1 Управляемость системы ИИ

Управляемость - это свойство системы ИИ, которое позволяет управляющему агенту вмешиваться в ее функционирование. Концепция управляемости имеет отношение к следующим областям, для которых в международных стандартах предусмотрены терминология, концепции и подходы к системам ИИ:

a) модель качества системы ИИ: ИСО/МЭК 25059 описывает управляемость пользователем как вспомогательную характеристику удобства использования. Управляемость пользователем - это свойство системы ИИ, при котором управляющий агент может вмешиваться в ее функционирование. В ИСО/МЭК 25059 отдельное внимание уделяется интерфейсу системы ИИ, который обеспечивает управление с помощью управляющего агента, в то время как управляемость, определенная в настоящем стандарте, больше относится к функциям, не связанным с интерфейсом, которые позволяют осуществлять управление;

b) надежность (свойство вызывать доверие) системы ИИ: в ISO/IEC TR 24028 управляемость описывается как свойство системы ИИ, которое способствует установлению доверия. Управляемость, описанная в ISO/IEC TR 24028, может быть достигнута за счет предоставления механизмов, с помощью которых оператор может взять на себя управление системой ИИ. ISO/IEC TR 24028 не дает определения управляемости. Определение управляемости в настоящем стандарте подразумевает то же самое, что описывается в ISO/IEC TR 24028;

c) функциональная безопасность системы ИИ: в ISO/IEC TR 5469 - термин "управление" использован в двух разных значениях:

1) управление риском: это значение относится к повторяющемуся процессу оценки риска и снижения риска. Термин "контроль" здесь подразумевает контекст управления. Это значение отличается от термина "управление", определенного в настоящем стандарте,

2) контрольное оборудование: это значение относится как к управлению оборудованием, так и к необходимости управлять оборудованием, которое имеет определенный уровень автоматизации. Значение контроля в ISO/IEC TR 5469 такое же, как и в настоящем стандарте;

d) управление рисками ИИ: в ИСО/МЭК 23894 термин "управление" использован в контексте управления организацией, что означает способность организации влиять или ограничивать те или иные виды деятельности, определенные как источники риска. Это значение отличается от значения управления или управляемости в настоящем стандарте;

e) концепции и терминология ИИ: в настоящем стандарте использовано определение управляемости, приведенное в ИСО/МЭК 22989.

Управляемость имеет решающее значение для систем ИИ, базовые методы реализации которых не могут обеспечить полную объяснимость или проверяемое поведение. Управляемость может повысить способность системы вызывать доверие, включая ее надежность и функциональную безопасность.

Независимо от уровня автоматизации системы ИИ, ее управляемость важна, поэтому внешний управляющий агент может гарантировать, что система функционирует надлежащим образом, и предотвратить причинение ею вреда.

Проектирование и реализацию управляемости системы ИИ можно рассматривать и реализовывать на каждом этапе ее жизненного цикла, определенном в ИСО/МЭК 22989:2022 (раздел 6).

Управляемость является технической предпосылкой человеческого надзора за системой ИИ, поэтому человеко-машинный интерфейс может быть технически осуществимым и включенным в такую систему. Заинтересованные стороны системы ИИ должны учитывать и внедрять управляемость, которая может влиять на пользователей, окружающую среду и общество.

Управляемость системы ИИ может быть достигнута при выполнении следующих двух условий:

- система способна давать управляющему агенту представление о своем состоянии (например, внутренние параметры или наблюдаемые характеристики), чтобы управляющей агент мог управлять системой;

- система способна принимать и исполнять управляющие команды от управляющего агента, что вызывает переходы системы из одного состояния в другое.

      5.2 Состояние системы

В системе взаимодействующие элементы могут обмениваться данными и способствовать функционированию друг друга. Эти взаимодействия могут привести к различным конфигурациям значений внутренних параметров системы и, следовательно, к различным наблюдаемым характеристикам.

Система может находиться во множестве различных состояний, в том числе во множестве различных дискретных состояний, в которые отображается непрерывное пространство параметров системы. При проектировании различных состояний системы применимы следующие минимальные рекомендации:

- состояние должно быть значимым для бизнес-логики системы;

- продолжительность состояния должна быть достаточной для того, чтобы можно было проводить тесты и конкретные операции с этим состоянием;

- состояние должно быть доступным для наблюдения квалифицированными заинтересованными сторонами с помощью технических средств, таких как ведение системного журнала, отладка, точки останова и т.д.;

- вход в состояние должен быть возможным через набор определенных операций в системе.

Состояния системы ИИ можно установить на этапе проектирования и разработки в жизненном цикле системы ИИ, как описано в ИСО/МЭК 22989:2022 (рисунок 3). Установление состояний системы ИИ значимо для реализации управляемости и, следовательно, может повлиять на способность системы ИИ вызывать доверие. Состояния системы ИИ можно разделить на следующие три категории в соответствии с конструктивными особенностями и предъявляемыми к ней требованиями:

- безопасные и небезопасные;

- работающие, как предполагается, или неработающие;

- другие категории, имеющие значение для эксплуатации, тестирования и технического обслуживания системы.

Система может находиться в безопасном или небезопасном состоянии и при этом работать правильно или неправильно, то есть не всегда существует прямая связь между правильной работой только в безопасных состояниях и отказом в небезопасных состояниях (или во время перехода между этими состояниями или через них). Успешное и неудачное выполнение задачи зависит от структуры системы и внутрисистемных переходов в пределах и между безопасным и небезопасным состояниями, что является важной частью проектирования и разработки системы.

Пример - В банковском сервисе для оценки заявок на получение кредита использована система ИИ. Операция одобрения кредита заблокирована этим компонентом и, следовательно, не завершилась из-за прогнозируемого риска для погашения кредита. Такой сбой не означает, что система переходит в небезопасное состояние.

      5.3 Переход системы из одного состояния в другое

5.3.1 Цель перехода системы из одного состояния в другое

Цель перехода системы из одного состояния в другое - это конечное подмножество возможных состояний системы, которые приемлемы для пользователей в соответствии с набором пользовательских требований. Цель этого перехода должна быть определена во время проектирования и разработки, а переходы в целевое состояние должны подвергаться верификации и валидации во время тестирования системы. Это относится и к системам ИИ.

Внедрение и повышение управляемости системы ИИ зависят от того, что система ИИ может достичь заданного целевого состояния. Дизайнеры, разработчики, менеджеры, пользователи и другие заинтересованные стороны системы ИИ должны определить следующие атрибуты предполагаемого целевого состояния:

- полнота;

- стабильность.

5.3.2 Критерии перехода системы из одного состояния в другое

Система ИИ не обязательно должна находиться в целевом состоянии. Однако целевые состояния должны быть достижимы при определенных обстоятельствах с помощью конкретных действий, которые могут в себя включать:

- внешнее управление через системные операции;

- автоматический переход системы в другое состояние при выполнении заданных условий;

- принудительный переход системы в другое состояние под воздействием внешнего события.

Есть две критические характеристики механизма запуска перехода состояния:

- достаточное условие, которое само по себе вызывает переход, пока это условие выполняется;

- необходимое условие, которое необходимо выполнить для того, чтобы произошел переход состояния. Выполнение необходимого условия само по себе не гарантирует, что переход произойдет.

При переходе из одного стабильного состояния в другое стабильное состояние система проходит по крайней мере через одно нестабильное состояние независимо от того, является ли целевое состояние или достигнутое в итоге стабильное состояние безопасным или небезопасным.

5.3.3 Процесс перехода системы из одного состояния в другое

После срабатывания механизма запуска может произойти переход состояния системы. Для разных систем ИИ их процессы перехода состояний могут быть разными. Можно выделить общие подпроцессы перехода состояний. Процесс перехода состояния системы содержит два подпроцесса:

a) запуск: после выполнения условия для срабатывания механизма запуска в системе может быть активирован набор внутренних операций в соответствии с конфигурациями или реализацией бизнес-логики. Такие операции могут включать в себя запуск функций, настройку параметров системы, выделение или освобождение ресурсов, а также другие действия, которые система может выполнять внутри себя, чтобы достичь своего следующего определенного состояния. Подпроцесс запуска может быть коротким по времени вплоть до того, что его трудно зафиксировать или даже записать, и зависеть от определений состояния системы и их реализации.

Пример 1 - Процесс обучения в рамках глубокого обучения завершается, и изменение параметров модели в памяти прекращается. В зависимости от конфигурации обучения можно активировать сохранение этой модели. Соответственно, система переходит из состояния "обучение модели" в состояние "сохранение модели". Для этого активируются необходимые функции (запись на диск) и выделяются ресурсы (место на диске);

b) адаптация: изменение состояния системы ИИ может изменить среду, в которой работает эта система, или объекты, с которыми она работает. Как следствие, такие среда и объекты могут воздействовать на систему в результате их взаимодействия с системой. Эти воздействия могут привести к неустойчивому периоду адаптации, когда системе приходится корректировать внутренние параметры, чтобы войти в предполагаемое состояние. Подпроцесс адаптации не является необходимостью, которую включает в себя каждый процесс перехода состояния системы.

Пример 2 - Основанная на ИИ система транспортного средства автоматически меняет его состояние с низкой скорости на высокую. При разгоне могут изменяться сопротивление (со стороны земли, воздуха и т.д.) и устойчивость хода. Чтобы справиться с этим, параметры в подсистемах (таких как электронная программа стабилизации) могут быть скорректированы. Как только целевое состояние (высокая скорость) достигнуто(а), подходы к настройке, применяемые в подпроцессе адаптации, могут быть остановлены.

5.3.4 Эффекты

Эффекты перехода системы ИИ из одного состояния в другое - это текущие состояния системы или дополнительный набор действий, которые необходимо предпринять системе или ее управляющему агенту. Возможны два типа эффектов:

a) в случае успешного перехода состояния: когда система успешно переходит из своего текущего состояния в ожидаемое, у нее появляется возможность обслуживать клиентов и/или предотвращать переход в опасное состояние. Это положительный эффект перехода состояния;

b) в случае неудачного перехода состояния: когда системе не удается перейти в ожидаемое состояние, можно запросить восстановление в исходное состояние с помощью настроенных операций или определенных команд. Предполагается, что система повторит запрошенный переход состояния или останется в исходном состоянии. На это может расходоваться дополнительные время, операции, мощность и другие ресурсы. Это негативный эффект перехода состояния.

5.3.5 Побочные эффекты

Побочные эффекты могут быть вызваны изменением состояния системы и могут приводить к изменениям в среде, в которой работает система, или в объектах, с которыми взаимодействует система. Не все изменения в среде или объектах, взаимодействующих с системой, могут быть восстановлены до исходного состояния. Невозможность устранения побочных эффектов следует тщательно учитывать при использовании систем ИИ в таких областях, как обработка материалов и производство.

      6 Характеристики управляемости системы ИИ

      6.1 Управление и контроль над системой ИИ

Управление и контроль над системой ИИ может помочь реализовать намеченную бизнес-логику (логику предметной области) и предотвратить причинение системой вреда заинтересованным сторонам. Системой ИИ можно управлять, если реализовано хотя бы одно из следующего:

- существуют средства, разработанные и реализованные с целью управления или контроля;

- существуют функциональные операции (не предназначенные специально для управления или контроля), которые можно использовать для целей управления или контроля.

Управление и контроль над системой ИИ эффективны, если выполняется, по крайней мере, следующее:

- управляющее воздействие проводят, когда системой можно управлять для конкретной цели с приемлемыми побочными эффектами;

- управление осуществляют в рамках правильного диапазона управления, основанного на точках управления, предоставляемых системой;

- управление и контроль работают так, как положено.

     Рисунок 1 - Управление системой ИИ

Примечание 1 - Диапазон управления является примером. Каждый конкретный элемент управления может соответствовать определенному диапазону управления, который настраивается, выбирается и используется.

Примечание 2 - Подробная информация об обозначениях на этой диаграмме приведена в ИСО/МЭК 19505-1.

На рисунке 1 показан вариант схемы управления системой ИИ:

a) управляющим агентом является человек или другой внешний агент. Для конкретной цели управления управляющий агент может наблюдать за состоянием системы и отдавать управляющие инструкции системе ИИ через диапазон управления, предоставляемый этой системой. Наблюдения за состояниями системы могут быть выполнены следующим образом:

1) управляющий агент активирует функции, которые по запросу дают обратную связь с информацией о параметрах,

2) управляющий агент получает от системы сигналы, содержащие информацию о ее текущем состоянии,

3) управляющий агент наблюдает за физическим поведением системы;

b) система ИИ разработана и реализована с интерфейсами, облегчающими управление и наблюдение за состоянием. Система ИИ может состоять из нескольких компонентов. Каждый из компонентов может предоставлять средства управления и наблюдения за состоянием:

1) вычислительные ресурсы могут включать в себя вычислительные устройства, память, хранилища, средства передачи данных и другие аппаратные модули, улучшающие вычисления и обмен данными. Состояние и параметры вычислительных ресурсов можно задавать и наблюдать за ними с целью управления. Физические устройства могут включать оборудование, используемое для создания или функционирования системы ИИ. Устройства в элементах системы, такие как джойстики или рычаги переключения передач, могут обеспечивать управление и наблюдение за состоянием,

2) службы ИИ объединяют те процессы, которые используют для реализации функций прогнозирования, рекомендаций и классификации. Параметры и статус службы ИИ можно устанавливать и наблюдать за ними с целью контроля,

3) реализации бизнес-логики - это исполняемые программы, формирующие рабочие процессы. Каждый рабочий процесс может вызывать службы ИИ в качестве строительных блоков. Реализации на этом уровне могут включать средства управления, соответствующие бизнес-логике,

4) системный интерфейс может содержать подмножество заявленных функциональных возможностей для получения команд управления, предоставления значений параметров, возврата сигналов и отображения наблюдаемых характеристик. Это подмножество является точками управления системы. Для определенного элемента управления можно настроить, выбрать и использовать диапазон управления;

c) могут существовать зависимости между функциями управления, предоставляемыми разными уровнями.

      6.2 Процесс управления

     Рисунок 2 - Диаграмма действия процесса управления

Примечание - См. ИСО/МЭК 19505-1 для получения подробной информации об обозначениях на этой диаграмме.

В процессе управления может участвовать как управляющий агент, так и управляемая система ИИ. Общий процесс показан на диаграмме действия (см. рисунок 2), включающий следующие подпроцессы:

a) управляющий агент наблюдает за текущим состоянием управляемой системы ИИ путем взаимодействия с интерфейсом системы ИИ. Для этого управляющий агент воспринимает сигнал с информацией о состоянии, предоставляемый системой ИИ;

b) подконтрольная система ИИ может воспринимать следующие типы запросов:

1) наблюдение за состоянием. При получении запроса на наблюдение за состоянием система ИИ возвращает управляющему агенту информацию о текущем состоянии. Такая информация также может периодически сообщаться управляющему агенту.

2) передача управления. Когда получен запрос на передачу управления, содержащий обращение на передачу управления, система ИИ может передать управление авторизованному управляющему агенту,

3) инструкции по управлению. Когда получен запрос, содержащий инструкции по управлению, система ИИ выполняет инструкции по требованию;

c) при получении информации о состоянии управляющий агент определяет логику управления, что может запустить один из следующих вариантов:

1) если определено, что система ИИ не нуждается в управлении, процесс управления завершается,

2) если определено, что система ИИ нуждается в управлении, запускается подпроцесс, который подготавливает передачу управления;

d) если управляющий агент не может выполнить намеченное управляющее воздействие из-за отсутствия диапазона управления, он запрашивает передачу управления. Это может произойти, когда необходимые точки управления не полностью ему переданы. Если управляющий агент контролирует все необходимые точки управления для этого управляющего воздействия, подпроцесс запроса пропускается; в противном случае система ИИ передает управление управляющему агенту. При передаче управления также может потребоваться проверка подлинности и авторизации;