ГОСТ Р ИСО/МЭК 19795-2-2008 Автоматическая идентификация. Идентификация биометрическая. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 2. Методология проведения технологического и сценарного испытаний.
ГОСТ Р ИСО/МЭК 19795-2-2008
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
Автоматическая идентификация
ИДЕНТИФИКАЦИЯ БИОМЕТРИЧЕСКАЯ
Эксплуатационные испытания и протоколы испытаний в биометрии
Часть 2
Методология проведения технологического и сценарного испытаний
Automatic identification. Biometrics. Biometric performance testing and reporting. Part 2. Testing methodologies for technology and scenario evaluation
ОКС 35.040
Дата введения 2009-01-01
Предисловие
1 ПОДГОТОВЛЕН Научно-исследовательским и испытательным центром биометрической техники Московского государственного технического университета имени Н.Э.Баумана (НИИЦ БТ МГТУ им.Н.Э.Баумана) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4, при консультативной поддержке Ассоциации автоматической идентификации "ЮНИСКАН/ГС1 РУС"
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 355 "Автоматическая идентификация"
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 декабря 2008 г. N 448-ст
4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК19795-2:2007* "Информационные технологии. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 2. Методология проведения технологического и сценарного испытаний" (ISO/IEC 19795-2:2007 "Information Technology - Biometric performance testing and reporting - Part 2: Testing methodologies for technology and scenario evaluation", IDT). Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ Р 1.5-2012 (пункт 3.5).
При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении ДА
5 ВВЕДЕН ВПЕРВЫЕ
6 ПЕРЕИЗДАНИЕ. Январь 2019 г.
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)
Введение
Настоящий стандарт входит в комплекс стандартов и технических отчетов, которые были разработаны подкомитетом ИСО/МЭК СТК1/ПК37 с целью установления требований к автоматической идентификации на основе биометрических характеристик.
Стандарт устанавливает общие требования к разработке, проведению и представлению результатов двух основных видов эксплуатационных испытаний биометрических систем - технологического и сценарного.
Настоящий стандарт рекомендуется использовать совместно с другими стандартами комплекса "Идентификация биометрическая".
Сноски в тексте стандарта приведены для пояснения текста стандарта и выделены курсивом.
1 Область применения
Настоящий стандарт устанавливает требования к сбору, анализу данных и протоколированию результатов двух основных видов испытаний - технологического и сценарного.
Требования настоящего стандарта распространяются на:
- разработку и полноценное описание протоколов для технологического и сценарного испытаний;
- методы проведения испытаний биометрических систем и протоколирование их результатов, отражающих параметры, присущие определенным видам биометрических испытаний.
2 Соответствие
Методы проведения технологического и сценарного испытаний должны соответствовать требованиям настоящего стандарта.
Требования настоящего стандарта к методам проведения сценарного испытания отличаются от требований, установленных для технологического испытания. Требования настоящего стандарта к методам проведения испытания систем идентификации отличаются от требований, установленных для испытания систем верификации. Соответствие систем автоматической идентификации требованиям настоящего стандарта может быть обеспечено только в случае соответствия методов испытаний требованиям, изложенным в следующих разделах настоящего стандарта (см. таблицу 1).
Таблица 1 - Требования соответствия методов испытаний типам сравнения
|
|
|
Метод испытания | Тип сравнения | Раздел настоящего стандарта |
Технологическое или сценарное | Идентификация или верификация | Разделы 5 и 8 |
Технологическое | Идентификация | Все пункты раздела 6, кроме 6.3.3 |
| Верификация | Все пункты раздела 6, кроме 6.3.4 |
Сценарное | Идентификация | Все пункты раздела 7, кроме 7.3.4 |
| Верификация | Все пункты раздела 7, кроме 7.3.5 |
3 Нормативные ссылки
В настоящем стандарте использована нормативная ссылка на следующий стандарт. Для датированных ссылок необходимо пользоваться только указанной редакцией. Для недатированных - последней редакцией ссылочных стандартов, включая любые поправки и изменения к ним:
ISO/IEC 19795-1, Information technology - Biometric performance testing and reporting - Part 1: Principles and framework (Информационные технологии. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура)
4 Термины и определения
В настоящем стандарте применены термины и определения, установленные в ИСО/МЭК 19795-1, а также следующие термины с соответствующими определениями:
4.1 Биометрические данные
4.1.1 биометрический шаблон/эталон/модель (biometric reference/template/model): Хранимое контрольное измерение пользователя, основанное на признаках, извлеченных из зарегистрированных образцов.
4.2 Компоненты биометрической системы
4.2.1 блок извлечения признаков (feature extractor): Устройство, предназначенное для извлечения признаков из образца.
4.2.2 блок создания биометрического шаблона (biometric reference generator): Устройство, предназначенное для преобразования образца в биометрический шаблон.
4.3 Взаимодействие пользователя с биометрической системой
4.3.1 акклиматизация (acclimatization): Временное ухудшение биометрических характеристик в процессе испытания, которое может влиять на способность датчика обрабатывать образец.
4.3.2 уровень затрачиваемых усилий (effort level): Число представлений, попыток или транзакций, необходимых для успешной регистрации или успешного сравнения в биометрической системе.
4.3.3 попытка регистрации (enrollment attempt): Предоставление испытуемым субъектом одного или нескольких биометрических образцов для регистрации в биометрической системе.
Примечание 1 - Для совершения транзакции регистрации может разрешаться или требоваться одна или несколько попыток регистрации. Попытка регистрации может состоять из одного или нескольких представлений данных для регистрации.
Примечание 2 - Взаимосвязь между представлениями, попытками и транзакциями указана в приложении В.
4.3.4 предельное число попыток регистрации (enrollment attempt limit): Максимальное число попыток (или максимальная продолжительность попытки регистрации), которое может осуществить испытуемый субъект, прежде чем транзакция регистрации будет прекращена.
4.3.5 представление для регистрации (enrolment presentation): Предоставление экземпляра биометрической характеристики испытуемого субъекта для регистрации.
Примечание - Для совершения попытки регистрации может разрешаться или требоваться одно или несколько представлений для регистрации. Представление для регистрации может приводить или не приводить к формированию попытки регистрации.
4.3.6 предельное число представлений для регистрации (enrolment presentation limit): Максимальное число представлений (или максимальная продолжительность представления), которое может осуществить испытуемый субъект до того, как попытка регистрации будет прекращена.
4.3.7 инструкция (guidance): Указания, предоставляемые администратором биометрической системы испытуемому субъекту в процессе регистрации или распознавания.
Примечание - Инструкция не является частью звуковой или графической обратной связи, обеспечиваемой биометрической системой в процессе регистрации или распознавания.
4.3.8 навыки (habituation): Уровень знаний испытуемого субъекта об устройстве.
Примечание - Испытуемый субъект, обладающий знаниями об использовании биометрического устройства, рассматривается как испытуемый субъект, обладающий навыками.
4.3.9 попытка сравнения (comparison attempt): Предоставление одного или нескольких биометрических образцов испытуемого субъекта с целью их дальнейшего сравнения в биометрической системе.
4.3.10 предельное число попыток сравнения (comparison attempt limit): Максимальное число попыток (или максимальная продолжительность попытки), которое может осуществить испытуемый субъект до того, как транзакция сравнения будет прекращена.
4.3.11 представление для сравнения (comparison presentation): Предоставление экземпляра биометрической характеристики испытуемого субъекта для сравнения с шаблоном.
Примечание - Для совершения попытки сравнения может разрешаться или требоваться одно или несколько представлений для сравнения. Представление для сравнения может в результате приводить или не приводить к формированию попытки сравнения.
4.3.12 предельное число представлений для сравнения (comparison presentation limit): Максимальное число представлений (или максимальная продолжительность представления для сравнения), которое может осуществить испытуемый субъект до того, как попытка сравнения будет прекращена.
4.4 Эксплуатационные характеристики
4.4.1 вероятность отказа обработки исходных данных (failure at source rate): Доля образцов, удаленных из базы данных (либо вручную, либо автоматически) до начала ее использования в технологическом испытании.
Пример - Доля изображений, собранных в процессе сбора данных лица, которые могут быть удалены в случае, если изображения лица являются дефектными.
5 Обзор технологических и сценарных испытаний
Настоящий стандарт устанавливает методы проведения двух видов испытаний - технологического и сценарного. Протокол испытания должен включать в себя информацию о виде проводимого испытания - технологического, сценарного или смешанного, которое совмещает элементы технологического и сценарного испытаний.
Технологическое испытание - это испытание одного или нескольких алгоритмов для одной биометрической модальности, проводимое в режиме отложенного задания и использующее ранее существовавшую либо специально собранную базу данных образцов. Преимущество технологического испытания заключается в его отделении от процесса взаимодействия человека с датчиком при сборе данных и процесса распознавания, что обеспечивает следующие возможности:
- возможность проведения пробных испытаний. Технологическое испытание может быть проведено без вывода результатов в режиме реального времени, что позволяет использовать его в рамках научно-исследовательской работы. Например, проведение замкнутых циклов испытаний позволяет определить влияние модификаций алгоритмов обработки, изменений динамических параметров (таких, как уровень и структура затрачиваемых усилий) и использования различных баз данных изображений;
- возможность проведения испытаний на нескольких экземплярах биометрической характеристики с применением нескольких алгоритмов. Использование типовых процедур испытаний, стандартных интерфейсов и одинаковых метрик предоставляет возможность проведения серии испытаний биометрических систем с использованием нескольких экземпляров биометрической характеристики (например, три изображения лица) с применением нескольких алгоритмов (например, алгоритм А и алгоритм Б) или их комбинации;
- при условии, что база данных содержит подходящие образцы, технологическое испытание позволяет провести испытания всех модулей после интерфейса получения биометрических данных с помощью датчика, в том числе модуль (модули) проверки качества и обратной связи, модуль (модули) обработки сигнала, модуль (модули) обобщения изображений (в случае работы с мультимодальными биометрическими системами или системами, использующими несколько экземпляров биометрической характеристики), модуль (модули) извлечения и нормализации признаков, модуль (модули) обобщения признаков, модуль (модули) вычисления и обобщения степеней схожести и модуль (модули) нормализации показателей;
- какие-либо непредвиденные события, возникающие в процессе взаимодействия человека с датчиком, препятствуют воспроизводимости результатов, что усложняет проведение сравнительных испытаний биометрических систем. Устранение данного взаимодействия как фактора, влияющего на эксплуатационные характеристики, позволяет обеспечить воспроизводимость результатов испытаний. В режиме отложенного задания данное испытание можно повторять множество раз при незначительных затратах;
- если доступны данные образцов, то эксплуатационные характеристики могут быть определены по очень большим целевым выборкам с использованием образцов, собранных за длительный промежуток времени (в течение нескольких лет).
Примечание 1 - Составление базы данных образцов для проведения регистрации и вычисления степеней схожести в режиме отложенного задания позволяет точнее определять те образцы и попытки регистрации, которые будут использоваться в транзакциях.
Примечание 2 - Технологическое испытание всегда предполагает наличие хранилища данных для их последующей обработки в режиме отложенного задания. При сценарном испытании использование транзакций в режиме реального времени может быть проще для экспериментатора, поскольку система работает в обычном режиме и сохранение образцов не требуется, хотя и рекомендуется.
Сценарное испытание - это определение эксплуатационных характеристик биометрической системы с помощью прототипа или имитирующего приложения, осуществляемое в режиме реального времени. Преимущество проведения сценарного испытания заключается в учете процесса взаимодействия человека с датчиком при регистрации и распознавании, что обеспечивает следующие возможности:
- возможность определения влияния дополнительных попыток или транзакций на способность биометрической системы регистрировать или распознавать испытуемых субъектов;
- возможность определения пропускной способности биометрической системы при регистрации и распознавании с учетом продолжительности процессов представления и сбора образцов.
Примечание 3 - При испытаниях в режиме реального времени экспериментатор может принять решение не сохранять биометрические образцы, что снижает требования к подсистеме хранения данных и в некоторых случаях, обеспечивает реальные условия работы системы. Однако при испытаниях в режиме реального времени образцы рекомендуется сохранять, что впоследствии позволяет проводить испытания и дальнейший анализ в режиме отложенного задания.
Примечание 4 - Испытание биометрической системы включает в себя сбор изображений или сигналов, используемых для формирования биометрических шаблонов при регистрации и расчета степеней схожести при последующих попытках. Собранные изображения и/или сигналы могут использоваться либо сразу для регистрации, верификации или идентификации в режиме реального времени попытки, либо сохраняться для последующего проведения указанных процедур в режиме отложенного задания.
Различия между технологическим и сценарным испытаниями приведены в таблице 2.
Таблица 2 - Различия между технологическим и сценарным испытанием
|
|
|
| Технологическое испытание | Сценарное испытание |
Что подвергается испытанию | Биометрический компонент (алгоритм сравнения или извлечения признаков) | Биометрическая система |
Объект испытания | Эксплуатационные характеристики алгоритма (алгоритмов) при работе со стандартизированной базой данных | Эксплуатационные характеристики системы в режиме имитирующего приложения |
Истинная информация | Установленные связи между образцами данных и их источниками, зависящие от ошибок сбора данных и области пересечения объединенных данных | Установленные связи между решениями биометрической системы и независимо записанными источниками представляемых образцов, зависящие от ошибок сбора данных и невозможности выявления нежелательных действий со стороны испытуемого субъекта |
Контроль экспериментатором действий испытуемого субъекта
| В ходе испытания невозможен. Может быть осуществлен только в процессе сбора биометрических данных | Возможен в том случае, если действия испытуемого субъекта не являются независимой величиной |
Испытуемый субъект получает сведения о результатах попытки в режиме реального времени | Нет | Да |
Воспроизводимость результатов | Воспроизводимы | Квазивоспроизводимы, если контролируются условия испытания и человеческий фактор |
Контроль параметров физической среды | Может быть осуществлен только в процессе сбора биометрических данных; в противном случае невозможен | Возможен и/или ведется протоколирование |
Протоколирование взаимодействия с испытуемым субъектом
| В ходе испытания невозможно. Может быть осуществлено только в процессе сбора биометрических данных | Возможно |
Типичные результаты | Относительная надежность биометрических компонентов или их модификаций (например, алгоритмов сравнения или извлечения признаков).
Определение основных факторов, влияющих на эксплуатационные характеристики | Относительная надежность биометрической системы.
Определение основных факторов, влияющих на эксплуатационные характеристики.
Оценка эксплуатационных характеристик в режиме имитации |
Типичные характеристики | Вероятности возникновения ошибок.
Косвенные измерения пропускной способности.
Подходит для проверки эксплуатационных характеристик биометрической системы широкомасштабной идентификации в случае, когда сложно собрать большую испытуемую группу | Прогнозируемая сквозная пропускная способность.
Вероятность ложного совпадения, вероятности ложного несовпадения, отказа сбора данных, отказа регистрации.
Обобщенная вероятность ложного допуска, а также ложного недопуска |
Ограничения | Соответствующая база данных, т.е. полученная с помощью одного или более датчиков, идентичность которых известна или нет | Эксплуатационные, инструментальные |
Испытуемая выборка людей | Сохраненная информация | Участие в режиме реального времени |
Примечание 5 - В таблице 2 приведены основные отличительные особенности испытаний биометрических систем; в некоторых случаях возможны исключения.
6 Технологическое испытание
6.1 Программа испытаний
6.1.1 Цель
Целью испытания является оценка характеристик биометрической системы при работе с целевым приложением в процессе регистрации, сбора данных и сравнения.
6.1.2 Степень соответствия приложения действительности
Если испытание проводят с целью оценки эксплуатационных характеристик биометрической системы в рамках одного приложения или одного принципа действия, то оно должно быть разработано и проведено таким образом, чтобы имитировать функциональные (ввод/вывод) и практические (например, процессы регистрации или верификации) особенности подобного приложения или принципа действия.
Пример - Если в реальных условиях в ходе попытки регистрации для образования транзакции регистрации собирается несколько изображений, то и программа технологического испытания должна соответствовать данным условиям.
По возможности испытуемые биометрические системы должны выводить степени схожести каждой попытки сравнения.
6.1.3 Определение соответствующих эксплуатационных характеристик
Экспериментаторы должны определить, какие эксплуатационные характеристики в дополнение к указанным в 6.3 могут быть проверены в процессе данного испытания.
Программа испытания должна обеспечивать, чтобы в процессе испытания все требуемые характеристики были проверены.
Экспериментаторы должны определить тип или типы сравнения, которые будут применяться в ходе технологического испытания. Должны быть указаны один или несколько из следующих типов сравнения:
a) верификация;
b) идентификация на открытом множестве;
c) идентификация на замкнутом множестве.
Необходимо предоставить обоснование выбора того или иного типа сравнения, применяемого в рамках технологического испытания. Испытуемое сравнение должно быть применимо к рассматриваемому алгоритму. Испытание систем, разработанных для проведения особых типов сравнения (например, идентификация по спискам), должно обеспечивать формирование результатов соответствующего вида.
Примечание - Формулы расчета вероятностей ошибок приведены в ИСО/МЭК 19795-1, раздел 7.
6.1.4 Приоритет реализации биометрической системы
Программа испытания не должна устанавливать метод (методы), с помощью которых система биометрического распознавания реализует свои функции. Биометрическая система, осуществляющая распознавание, должна реализовывать данную функцию неким своим способом.
Примечание - Разделение того, что делает биометрическая система, и того, как она это делает, является фундаментальным принципом, позволяющим проводить испытания системы в режиме отложенного задания. В первую очередь необходимо определить ответственность экспериментатора и разработчика системы и разграничить их. По возможности испытуемая система должна рассматриваться как "черный ящик", основной функцией которой является принятие решений по результатам обработки полученных образцов. Алгоритмы принятия решений могут являться объектом интеллектуальной собственности, но в любом случае экспериментатора не должна интересовать данная проблема. Подобный подход упрощает проведение испытаний любых биометрических образцов.
Примеры
1 Если разрешение изображения отпечатка пальца составляет 1000 точек на дюйм, а испытуемая система способна обрабатывать изображения только с вдвое меньшим разрешением, то экспериментатор должен, во-первых, не уменьшать разрешение, так как метод уменьшения разрешения является нетривиальным, и, во-вторых, проинформировать разработчика системы о необходимости внедрения в систему функции уменьшения разрешения изображения.
2 Ряд одновременно полученных нефронтальных изображений лица может обрабатываться биометрической системой или устройством как минимум тремя способами: выбор наилучшего изображения, обобщение изображений или создание пространственной трехмерной модели. В любом случае система или устройство принимает решение самостоятельно.
3 Большинство автоматизированных систем идентификации по изображениям отпечатков пальцев (т.е. систем, которые идентифицируют записи, содержащие несколько отпечатков) содержат в себе механизм исключительной классификации, позволяющий разделять базу данных на части в соответствии с определенным критерием (наиболее простой пример - класс Генри) и осуществлять поиск только в той части базы данных, которой соответствует категория образца пользователя или "самозванца". За счет этого повышается пропускная способность, но при этом возникает вероятность снижения точности обработки. Компромиссное решение достигается путем установки разработчиком параметров исключительной классификации, а пропускная способность и точность обработки определяются путем выполнения полномасштабных испытаний для каждой конфигурации.
4 Если требуется показать эффективность использования нескольких изображений отпечатков пальцев в системе распознавания, то экспериментатор не должен вводить в систему отдельные изображения как отдельные образцы и проводить последующее обобщение показателей, полученных для каждого отдельного изображения (см. документы Американского национального института стандартов (ANSI), Национального института стандартов и технологий (NIST), а также разделы ИСО/МЭК 19794-2, касающиеся единых форматов обмена биометрическими данными (CBEFF)). Необходимо все изображения рассматривать как единственный обобщенный образец, при этом биометрическая система должна сама проводить обобщение. Более подробно данный вопрос рассмотрен в ИСО/МЭК 19794-2, а вопросы в отношении записей ANSI-NIST - в ANSI/NIST-ITL 1-2000 NIST Special Publication 500-245.
6.1.5 Политика раскрытия информации разработчикам
Экспериментатор перед началом испытания должен сформулировать политику, в соответствии с которой определяют, какая информация должна быть предоставлена разработчику перед транспортированием, установкой и настойкой испытательного оборудования, а какая - в процессе испытания.
6.1.6 Отсутствие взаимозаменяемости между попытками идентификации и попытками верификации
Степени схожести, полученные в ходе идентификации при поиске "один ко многим", не должны необоснованно представляться как результаты попыток верификации.
Примечание 3 - Использование метода общей нормализации, осуществляемого самим биометрическим устройством, делает скрытым использование любой внутренне определенной зарегистрированной выборки.
6.1.7 Подтверждение моделей
Если модель, приближенный результат или прогноз эксплуатационных характеристик систем биометрической идентификации представляется вместо или в дополнение к эмпирическим данным, то такая модель должна быть по возможности подтверждена с помощью всех имеющихся данных, а результаты проверки должны быть полностью задокументированы.
6.1.8 Последовательность использования данных
Программа испытания должна определять порядок использования данных, который должен быть применим к используемому приложению. Биометрическая система должна обрабатывать данные только в заданной последовательности.
Примечание 1 - Транзакции, как правило, выполняются отдельно, поэтому биометрическая система требует завершения одной транзакции до начала другой.
Примечание 2 - Большинство биометрических приложений предполагает последовательное и раздельное использование биометрических систем или устройств, то есть если пользователи являются подлинными лицами, то биометрические системы используются после прохождения регистрации.
Примечание 3 - Некоторые задачи по идентификации могут быть непоследовательными. Например, групповую идентификацию всех людей в замкнутом помещении осуществить довольно просто, так как процесс идентификации представляет собой линейную задачу.
6.1.9 Процедуры, предшествующие испытанию
6.1.9.1 Установка и проверка работоспособности
Испытательная организация должна проследить за тем, чтобы все аппаратное и программное обеспечение было установлено и должным образом настроено, и убедиться в том, что биометрическая система функционирует правильно.
Примечание - При установке, настройке и проверке работоспособности биометрической системы может потребоваться участие разработчика (разработчиков).
6.1.9.2 Подготовка данных
Подготовка данных заключается в удалении из образцов персонифицированных данных об испытуемом субъекте и любых других метаданных, которые, как правило, будут недоступны системе (например пол, возраст). В противном случае разработчик может получить истинную идентификационную информацию об испытуемых субъектах и сфальсифицировать результаты испытания.
6.1.10 Общая последовательность проведения испытания
Технологическое испытание проводят в следующей последовательности:
- зарегистрированные образцы преобразуют в биометрические шаблоны, которые могут быть сохранены в виде линейной подборки;
- образцы, используемые для идентификации и верификации, преобразуют в признаки образца;
- попытки верификации представляют собой прямое сравнение признаков образца с биометрическими шаблонами;
- попытки идентификации на замкнутом множестве представляют собой поиск аналогичного образца среди зарегистрированной выборки с целью установления идентификатора пользователя;
- попытки идентификации на открытом множестве представляют собой поиск аналогичного образца в базе данных зарегистрированных пользователей, а также
a) установление одного или нескольких идентификаторов;
b) вывод нулевого идентификатора, указывающего на то, что испытуемый субъект не найден в базе данных зарегистрированных пользователей.
Примечание 1 - Указанные выше операции могут быть реализованы как на уровне API (интерфейса прикладного программирования), так и с помощью создания скриптов для программных модулей.
Примечание 2 - Описание последовательности проведения основных видов технологических испытаний приведено в приложении А.
6.2 Компоновка подходящей для испытания базы данных
6.2.1 Общие положения
Технологическое испытание предназначено для оценки эксплуатационных характеристик одного или нескольких биометрических алгоритмов регистрации и сравнения. При планировании технологического испытания необходимо учитывать, какие данные должен получить экспериментатор.
6.2.2 Однозначная регистрация
Все образцы, находящиеся в базе данных, должны соответствовать реальным людям. Программа испытания не должна включать в себя преднамеренную регистрацию нескольких биометрических образцов одного и того же субъекта, как если бы они были получены от разных субъектов. Испытания, при которых каждая идентичность соответствует конкретному субъекту, испытательная организация должна сопровождать описанием процедур, обеспечивающих выполнение данного требования.
Если структура базы данных такова, что она может содержать несколько идентичностей, соответствующих одному субъекту, то, если это целесообразно, такая база данных может быть приведена в соответствие с данным требованием путем удаления идентичностей. В противном случае испытание должно проводиться с допущением, что каждая идентичность соответствует разным субъектам.
Примечание 1 - Биометрические системы предназначены для однозначной идентификации субъектов. Если одному субъекту соответствует несколько изображений или сигналов, то для регистрации и сравнения они должны быть обобщены в один образец.
Примечание 2 - Не допускается использовать в системе идентификации несколько образцов (одной или нескольких модальностей), соответствующих одному и тому же субъекту, и при этом рассматривать попытки регистрации с использованием данных образцов как обособленные. Это недопустимо по следующим причинам:
- при идентификации осуществляется поиск по уже зарегистрированным образцам и формирование списка кандидатов. Когда несколько образцов проходят регистрацию независимо друг от друга, то обобщение показателей для каждого из этих образцов предполагается с использованием критерия максимума, потому что наибольший показатель имеет преимущество. Даже если число образцов, соответствующих каждому отдельному субъекту, одинаково для всех субъектов, применять подобную практику не рекомендуется, так как обобщение образцов является задачей разработчика и он должен предоставить наилучшее по его мнению решение;
Примечание 3 - В данном разделе не рассматривается испытание, в процессе которого оценивается влияние использования нескольких (отдельных) зарегистрированных биометрических шаблонов от каждого испытуемого субъекта, поскольку оно должно быть описано в программе и протоколе испытания.
6.2.3 Повторяемость процесса сбора данных
В зависимости от уровня доступа экспериментатора к испытуемой выборке каждый испытуемый субъект может предоставлять свои данные несколько раз в нескольких сеансах. Число транзакций и сеансов может быть увеличено с целью более точной оценки эффекта старения биометрических шаблонов, а также эффектов приобретения испытуемыми субъектами навыков использования устройств.
6.2.4 Идентификация испытуемого субъекта
Экспериментатор должен предоставить информацию, относящуюся к процессу идентификации испытуемого субъекта, включая, как минимум, следующие данные:
a) типы идентификаторов, использовавшихся для идентификации испытуемых субъектов;
b) объем и тип собранных персональных данных.
6.2.5 Предоставление небиометрической информации
Метаданные, если таковые присутствуют в базе данных и могут быть использованы, также должны быть предоставлены испытуемой биометрической системе (системам). Протокол испытания должен содержать информацию о наименованиях и типах переменных метаданных, которые в ходе испытания были доступны системе.
Пример - К таким данным относятся, например, особенности датчика (его настройки), условия окружающей среды (температура, влажность), особенности испытуемого субъекта (пол, возраст) или любая другая подобная информация.
Примечание - В рамках технологического испытания невозможно учесть все аспекты работы биометрической системы в реальных условиях, но из программы испытания не следует исключать те аспекты работы системы, которые в реальных условиях являются излишними.
6.2.6 Репрезентативность базы данных
Программа испытания должна учитывать, а протокол испытания должен включать в себя оценку данных из базы данных на предмет их пригодности для целей испытания или использования в соответствующих приложениях.
Если данные получены под контролем испытательной организации, то информация о взаимодействии экспериментатора и испытуемого субъекта по вопросам акклиматизации, приобретения навыков и получения инструкций также должна быть занесена в протокол испытания.
Примечание 1 - Использование технологического испытания с целью прогнозирования эксплуатационных характеристик системы основано на предположении, что образцы данных, собираемые в реальных условиях, будут иметь тот же формат и то же качество, что и образцы, использовавшиеся в процессе испытания.
Примечание 2 - В идеальном случае при сборе данных для различных модальностей уровни навыков, акклиматизации, инструктажа и т.д. должны быть одинаковыми.
6.2.7 Объективность базы данных
База данных может считаться в той или иной степени необъективной, если:
a) разработчик имел доступ к базе данных;
b) разработчик предоставил оборудование, использовавшееся при создании или обработке базы данных, особенно если подобная деятельность повлияла на характер или качество базы данных (например, удаление некоторых образцов);
c) испытуемая система ранее была проверена и настроена с использованием данной базы данных.
Необходимость использования необъективной базы данных должна быть отражена в протоколе испытания.
Данные образцов не должны использоваться в испытании, если один или несколько разработчиков ранее имели к ним доступ. Предыдущее испытание или настройка системы с использованием базы данных (всей или ее фрагмента) должно быть отражено в протоколе испытания.
Примечание 1 - Данным требованием не следует пренебрегать, поскольку эксплуатационные характеристики могут быть необоснованно улучшены (сфальсифицированы).
Примечание 2 - Следует иметь в виду, что, как правило, простого изменения образца недостаточно для того, чтобы обойти ограничение на его повторное использование. Необоснованное улучшение (фальсификация) результатов возможно в случае, если сохранена хотя бы одна уникальная особенность образцов, ранее использовавшихся в испытании.
6.2.8 Изъятие базы данных из использования
Образцы не должны повторно использоваться в испытании, если одна или несколько испытуемых систем были настроены на основе эксплуатационных характеристик, полученных в ходе предыдущих испытаний с использованием этих данных.
Примечание 1 - Как правило, данная ситуация возникает при использовании обособленных данных.
Примечание 2 - При изъятии базы данных могут потребоваться дополнительные затраты, так как необходимо провести дополнительный сбор данных.
6.2.9 Проверка корректности базы данных
Проверка корректности - это процесс, с помощью которого данные испытуемых субъектов подвергаются отбору с целью удаления непригодных для испытания.
Проверка корректности также может включать в себя проверки наличия данных испытуемых субъектов, корректности формата этих данных, правильности сбора образцов и того, что определены ошибки истинной информации.
Экспериментатор должен указать в протоколе, была ли проведена проверка корректности данных испытуемых субъектов. Если проверка корректности данных была проведена, экспериментатор должен предоставить детальный протокол о примененных методах проверки. Кроме того, протокол должен включать в себя информацию об объеме удаленных данных и о критериях, в соответствии с которым эти данные были удалены.
Примеры
1 Контроль качества базы данных может использоваться для отбора и удаления из базы данных испытуемых субъектов изображений, имеющих низкий контраст.
2 Из базы данных могут быть удалены образцы данных, которые не содержат изображения лица при использовании технологии распознавания по лицу (например, изображение лица отсутствует либо изображено тело целиком) или не содержат изображений отпечатков пальцев при использовании технологии распознавания по отпечаткам пальцев (например, присутствует только изображение ладони).
Примечание 1 - Так как проверка корректности некоторых типов биометрических данных может быть осуществлена проще, чем других, то процесс проверки корректности данных может приводить к ошибочным результатам испытания.
Примечание 2 - Данные, удаленные в процессе проверки корректности базы данных, следует отличать от данных, удаленных при отказе обработки исходных данных. В некоторых случаях для определения того, являются ли исключенные данные некорректными или ошибкой обработки исходных данных, требуется воспользоваться оценкой, проводимой экспертом.
6.2.10 Условия сбора базы данных
Условия окружающей среды, в которых происходил сбор данных, могут быть известны или определены. Такой сбор данных позволяет оценить эксплуатационные характеристики системы в особых условиях по отношению к нормальным условиям. Подобный контроль может устанавливаться за температурой, освещенностью, влажностью и другими факторами, которые предположительно оказывают влияние на эксплуатационные характеристики биометрической системы.
Доступная информация об условиях окружающей среды, в которых происходит сбор базы данных, имеющая значение для различных испытуемых модальностей, должна быть включена в протокол и отражать, например, следующие факторы:
- температуру окружающей среды;
- степень внешнего воздействия условий окружающей среды на компоненты биометрической системы;
- освещение (тип, направление, интенсивность);
- фоновые шумы;
- уровень вибрации.
В случае недоступности подобной информации экспериментатор должен указать это в протоколе испытания.
Примечание - Подробная информация о внешних факторах, влияющих на эксплуатационные характеристики, приведена в ИСО/МЭК 19795-1 (приложении С, подраздел С.2.6).
6.2.11 Отказ обработки исходных данных
При испытаниях в режиме отложенного задания используются сохраненные биометрические образцы, полученные либо с участием, либо без участия биометрической системы в процессе сбора данных. Протокол испытания должен содержать всю доступную информацию о предварительной обработке данных перед их использованием в испытании. В частности, если какие-то образцы были удалены (вручную или автоматической биометрической системой), то необходимо указывать вероятность отказа обработки исходных данных (далее - ВООИД).
Примечание 1 - Отказ обработки исходных данных может возникать из-за применяемого биометрического датчика или алгоритма оценки качества изображений, а не из-за самой испытуемой системы.
Примечание 2 - В некоторых случаях может потребоваться оценка эксперта. Например, если несколько ранее полученных образцов изображений будут полностью пустыми, то они обоснованно могут не учитываться при подсчете вероятности отказа обработки исходных данных, за исключением тех случаев, когда подобные образцы будут регулярно появляться в приложении, имитируемом в процессе испытания.
6.3 Оценка эксплуатационных характеристик
6.3.1 Регистрация
Протокол испытания в режиме отложенного задания должен содержать информацию о вероятности отказа регистрации, т.е. доле испытуемых субъектов, чьи предназначенные для регистрации образцы были объявлены системой непригодными для регистрации. Должен быть установлен критерий, в соответствии с которым объявляется отказ регистрации.
Примечание 1 - Отказ регистрации, определяемый в ходе технологического испытания, является только частью множества отказов, возникновение которых возможно при сборе образцов в реальных условиях.
Примечание 2 - Отказ регистрации может быть объявлен системой по любой причине. Как правило, система (соответствующим образом настроенная на определение и обработку изображения или сигнала и имеющая определенный критерий оценки качества) не может получить необходимый сигнал из-за его низкого качества.
Примечание 3 - Объявление системой отказа регистрации позволяет достичь при сравнении получения лучших эксплуатационных характеристик. Такое изменение одного показателя за счет другого должно учитываться путем обобщения вероятности отказа регистрации и вероятности ложного несовпадения при расчете обобщенной вероятности ложного недопуска (далее - ОВЛНД).
Экспериментатор должен указать минимальное и максимальное допустимые числа образцов для осуществления успешной регистрации.
Для каждой испытуемой биометрической системы экспериментатор должен вычислить следующее:
- распределение показателей качества регистрации, если это возможно;
- вероятность отказа регистрации для различных демографических групп, образцов, собранных при различных условиях окружающей среды, или для других логических сегментов базы данных.
6.3.2 Отказ сбора данных
Протокол испытания в режиме отложенного задания должен содержать информацию о доле попыток верификации или идентификации, в ходе которых системе не удалось получить или отобрать изображение или сигнал удовлетворительного качества. Данный показатель является вероятностью отказа сбора данных (далее - ВОСД).
Примечание 1 - Вероятность отказа сбора данных на этапе сравнения аналогична вероятности отказа регистрации на этапе регистрации, поэтому примечания 1 и 2 пункта 6.3.1 в данном случае также применимы.
Примечание 2 - Вероятность отказа сбора данных, а также вероятность ложного совпадения используются для определения вероятности ложного допуска.
Примечание 3 - В процессе технологического испытания отказ сбора данных, как правило, объявляется либо блоком декодирования, либо блоком сравнения и рассматривается как отказ в процессе совершения попытки.
Экспериментатор должен указать минимальное и максимальное допустимое число образцов для формирования признаков образца.
Формула для расчета ВОСД приведена в ИСО/МЭК 19795-1.
6.3.3 Эксплуатационные характеристики системы верификации
Для каждой испытуемой системы верификации экспериментатор должен вычислить следующее:
a) вероятность ложного совпадения (далее - ВЛС) и вероятность ложного несовпадения (далее - ВЛНС);
b) вероятность ложного недопуска (далее - ВЛНД) и вероятность ложного допуска (далее - ВЛД), кроме случаев, когда в соответствии с программой испытания ВЛД и ВЛНД идентичны ВЛС и ВЛНС;
c) число сравнений, проведенных для подлинных лиц и "самозванцев";
d) для подлинных испытуемых субъектов - распределение времени, прошедшего в промежутке между регистрацией и получением признаков образца, если это возможно;
e) неопределенность результатов испытания, а также принципы и формулы для оценки неопределенности.
ВЛС и ВЛНС, а также ВЛД и ВЛНД могут быть представлены в виде кривых рабочих характеристик (далее - РХ) или кривых компромиссного определения ошибки (далее - КОО). Следует также определить число испытуемых субъектов и транзакций, используемых для получения данных вероятностей.
Примечание - Для систем, которые возвращают решение о схожести/несхожести без определения степеней схожести, эксплуатационные характеристики могут быть указаны одной рабочей точкой на кривой РХ или кривой КОО.
Для системы верификации экспериментатор также должен определить следующее:
a) распределение степеней схожести для подлинных испытуемых субъектов и "самозванцев";
b) результаты верификации для различных демографических групп, образцов, собранных при различных условиях окружающей среды, или для других логических сегментов базы данных.
6.3.4 Эксплуатационные характеристики биометрической системы идентификации
Для всех биометрических систем идентификации экспериментатор должен вычислить неопределенность результатов испытания, а также определить принципы и формулы для вычисления неопределенности.
Для систем идентификации на замкнутом множестве экспериментатор должен вычислить следующее:
a) характеристики совокупной схожести (далее - ХСС);
b) число выполненных операций поиска.
Для систем идентификации на открытом множестве экспериментатор должен вычислить следующее:
c) вероятности ложноположительной идентификации (далее - ВЛПИ) и соответствующие вероятности ложноотрицательной идентификации (предпочтительно для нескольких порогов);
d) в случае использования исключительной классификации - вероятность ошибки исключительной классификации и вероятность проникновения.
Для всех систем идентификации экспериментатор должен вычислить следующее:
e) результаты идентификации для различных демографических групп, образцов, собранных при различных условиях окружающей среды, или для других логических сегментов базы данных.
6.3.5 Обобщенные вероятности ошибок, включающие в себя отказы регистрации и отказы сбора данных
6.3.5.1 Общие положения
Непосредственные результаты испытания, проведенного в режиме отложенного задания, - набор парных значений (ВЛС/ВЛНС) - должны быть обобщены с измеренными значениями ВОСД и вероятности отказа регистрации (далее - ВОР).
Примечание 1 - Поскольку биометрическая система может улучшить характеристики ложного допуска и ложного недопуска за счет отбраковки низкокачественных образцов, то для получения итоговых эксплуатационных характеристик системы необходимо обобщить ВОСД и ВОР с измеренными ВЛС и ВЛНС.
Если ВОСД и ВОР равны нулю, то это необходимо указать в протоколе испытания. В подобных случаях обобщенная вероятность ложного допуска (далее - ОВЛД) и ОВЛНД для транзакций, состоящих из одной попытки, не отличаются от обобщенных ВЛС и ВЛНС. Если ВОСД и ВОР не равны нулю, необходимо вычислить ВЛД и ВЛНД, что позволит отличать их от ВЛС и ВЛНС.
Примечание 2 - В некоторых случаях образцы, приведшие к отказу сбора данных или отказу регистрации, могут быть переданы разработчикам системы для дальнейшего изучения.
Примечание 3 - Для биометрических систем, которые возвращают решение о схожести/несхожести без определения степеней схожести, эксплуатационные характеристики могут быть указаны в виде одной рабочей точки на кривой РХ или кривой КОО.
Примечание 4 - При очень большом числе отказов регистрации или отказов сбора данных в результате испытания может быть получено низкое значение ОВЛД при высоком значении ОВЛНД.
6.3.5.2 Транзакции, состоящие из одной попытки
Для каждой испытуемой биометрической системы экспериментатор должен определить ОВЛД и ОВЛНД для транзакций, состоящих из одной попытки.
Примечание 1 - Если регистрация проводится выборочно, то может потребоваться использование других формул.
Примечание 2 - Определения отказов регистрации и отказов сбора данных можно избежать, если указать, что все верификационные сравнения будут давать в результате степень схожести. Разработчик может выполнить данное требование путем внесения в биометрическую систему условий отказа регистрации или отказа сбора данных и указания в протоколе соответствующих минимальных значений, при которых биометрические шаблоны используются для сравнения в режиме "один к одному". Данный метод позволяет включить отказы регистрации и отказы сбора данных в характеристику КОО.
Примечание 3 - Кроме того, ОВЛД и ОВЛНД также могут быть определены путем:
- включения транзакций "самозванца" с отказом (т.е. транзакций, которые не были ни приняты, ни отвергнуты), а также транзакций "самозванца" с отказом регистрации в общее число транзакций "самозванца";
- включения транзакций подлинного лица с отказом (т.е. транзакций, которые не были ни приняты, ни отвергнуты), а также транзакций подлинного лица с отказом регистрации в общее число транзакций подлинного лица;
- рассмотрения транзакций подлинного лица с отказом (т.е. транзакций, которые не были ни приняты, ни отвергнуты) и транзакций подлинного лица с отказом регистрации как ложного недопуска.
6.3.5.3 Транзакции, состоящие из нескольких попыток
В случаях, когда транзакции состоят из нескольких попыток, вычислить ОВЛД и ОВЛНД сложнее. Формулы для таких испытаний должны быть составлены в соответствии со спецификой испытания.
6.3.6 Пропускная способность
6.3.6.1 Общие положения
Испытательная организация может измерять пропускную способность методом, подходящим для испытуемой биометрической системы.
Если время транзакции является одной из измеряемых в процессе испытания эксплуатационных характеристик, то экспериментатор должен указать метод измерения времени транзакции, подходящий для испытуемой биометрической системы.
Примечание 1 - Рекомендуется по возможности измерять время всех операций регистрации и сравнения.
Примечание 2 - При испытании в режиме отложенного задания учитывается пропускная способность, определяемая только вычислительными компонентами биометрической системы. Например, при регистрации в процессе испытания в режиме отложенного задания из общего процесса регистрации учитываются только процессы анализа изображения и создания биометрического шаблона, в то время как аспекты, связанные с действиями человека (например, размещение пальца на датчике или снятие очков), не учитываются. Поэтому показатели пропускной способности системы при регистрации, полученные в процессе технологического испытания, являются нижней границей рабочих показателей ее пропускной способности.
6.3.6.2 Протоколирование результатов испытания пропускной способности
При вычислении статистических показателей пропускной способности биометрической системы в протоколе необходимо указать ее среднее значение. Также могут быть указаны следующие статистические показатели:
a) минимальное значение;
b) максимальное значение;
c) медиана;
d) стандартное отклонение.
Примечание - Если при испытаниях (в частности, испытаниях биометрической системы идентификации) используются зарегистрированные выборки разного объема, то экспериментатор должен указать временные характеристики биометрической системы, позволяющие оценить функциональную зависимость пропускной способности системы от размера базы данных, например, выявить линейную или квадратичную зависимость.
Для получения доступа к полной версии без ограничений вы можете выбрать подходящий тариф или активировать демо-доступ.