ГОСТ Р ИСО 10303-31-2002 Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 31. Методология и основы аттестационного тестирования. Общие положения.

ГОСТ Р ИСО 10303-31-2002

Группа П87

 ГОСУДАРСТВЕННЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

 Системы автоматизации производства и их интеграция

 ПРЕДСТАВЛЕНИЕ ДАННЫХ ОБ ИЗДЕЛИИ И ОБМЕН ЭТИМИ ДАННЫМИ

 Часть 31. Методология и основы аттестационного тестирования

Общие положения

 Industrial automation systems and integration. Product data representation and exchange.

Part 31. Conformance testing methodology and framework. General concepts

ОКС 25.040.40

ОКСТУ 4002

Дата введения 2003-07-01

 Предисловие

1 РАЗРАБОТАН Всероссийским научно-исследовательским институтом стандартизации (ВНИИстандарт)

ВНЕСЕН Техническим комитетом по стандартизации ТК 431 "GALS-технологии"

2 ПРИНЯТ И ВВЕДЕН В ДЕЙСТВИЕ Постановлением Госстандарта России от 25 июня 2002 г. N 250-ст

3 Настоящий стандарт представляет собой полный аутентичный текст международного стандарта ИСО 10303-31-98 "Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 31. Методология и основы аттестационного тестирования. Общие положения"

4 ВВЕДЕН ВПЕРВЫЕ

 Введение

Стандарты серии ГОСТ Р ИСО 10303 распространяются на машинно-ориентированное представление данных об изделии и обмен этими данными. Целью является создание механизма, позволяющего описывать данные об изделии на протяжении всего жизненного цикла изделия независимо от конкретной системы. Характер такого описания делает его пригодным не только для обмена инвариантными файлами, но также и для создания баз данных об изделиях, коллективного пользования этими базами и архивирования соответствующих данных.

Серия ГОСТ Р ИСО 10303 представляет собой отдельно издаваемые стандарты (части), относящиеся к одной из следующих тематических групп: методы описания, интегрированные ресурсы, прикладные протоколы, комплекты абстрактных тестов, методы реализации и аттестационное тестирование. Части описаны в ГОСТ Р ИСО 10303-1. Настоящий стандарт входит в группу аттестационного тестирования.

Настоящий стандарт является основополагающим в ряду стандартов данной группы, определяющих основы и основные положения аттестационного тестирования реализации, заявленных на соответствие стандартам серии ГОСТ Р ИСО 10303. Настоящий стандарт частично основан на материалах ГОСТ Р ИСО/МЭК 9646-1, который выполняет те же функции по отношению к аттестационному тестированию взаимосвязи открытых систем (ВОС). Основные положения указанного стандарта в представленном документе адаптированы применительно к рассматриваемой области. Настоящий стандарт играет ту же роль для данной группы стандартов, что и ГОСТ Р ИСО/МЭК 9646-1 применительно к стандартам серии ГОСТ Р ИСО/МЭК 9646. Последующие стандарты рассматриваемой группы серии ГОСТ Р ИСО 10303 также основаны на соответствующих стандартах серии ГОСТ Р ИСО/МЭК 9646. Настоящий стандарт применим не только к структурам обмена, но и к другим методам реализации. Последующие части рассматриваемой группы стандартов предназначены для установления услуг аттестационного тестирования в отношении:

- требований к испытательным лабораториям (ИЛ) и их клиентам (ГОСТ Р ИСО 10303-32);

- комплектов абстрактных тестов;

- методов абстрактного тестирования (ИСО 10303-34).

В настоящем стандарте отражены основные аспекты ряда международных и региональных стандартов, а также:

a) Руководства ИСО/МЭК 2 [1];

b) Руководства ИСО/МЭК 25 [2];

c) Руководства ИСО/МЭК 38 [3];

d) Руководства ИСО/МЭК 40 [4];

e) Руководства ИСО/МЭК 42 [5];

f) Руководства ИСО/МЭК 43 [6];

g) Руководства ИСО/МЭК 45 [7].

Цели обмена данными об изделии не могут быть полностью реализованы до тех пор, пока конкретные системы не будут испытаны (протестированы) на соответствие стандартам по обмену данными об изделиях. Подобный подход целенаправленно реализуется при определении услуг аттестационного тестирования применительно к реализациям стандартов серии ГОСТ Р ИСО 10303. Настоящий стандарт является основополагающим по отношению к другим стандартам группы аттестационного тестирования серии ГОСТ Р ИСО 10303, необходимым для определения конкретных услуг аттестационного тестирования, удовлетворяющих нуждам промышленности.

Аттестационное тестирование является видом (типом) испытаний, определяющим, как должно проводиться испытание (тестирование) заявленного изделия на соответствие установленным стандартным характеристикам для выявления, в какой степени изделие является подходящей стандартной реализацией. Данное тестирование охватывает как проверку соответствия реализации изделия установленным стандартами требованиям, так и заявленным клиентом возможностям данной реализации.

Комплект абстрактных тестов устанавливается для каждого прикладного протокола, определенного стандартами серии ГОСТ Р ИСО 10303, применяется поставщиками и реализаторами (производителями) изделий при внутреннем тестировании, пользователями (потребителями) данных изделий или другими третьими сторонами (тестирующими организациями). Использование данного комплекта должно обеспечивать сравнимость и признание отчетов о выполненных испытаниях (тестировании) и тем самым минимизировать потребность в аттестационном тестировании той же системы.

При стандартизации комплектов абстрактных тестов необходимо определение и принятие на международном уровне общей методологии тестирования, а также соответствующих методов и процедур тестирования. Целью стандартов данной группы серии ГОСТ Р ИСО 10303 является установление структуры конкретных наборов абстрактных тестов и определение процедур проведения соответствующего аттестационного тестирования.

В стандартах данной группы серии ГОСТ Р ИСО 10303 определяются детали подходящих методов тестирования, однако любая организация, намеривающаяся использовать данные методы, должна учитывать соответствующие ограничения по их применению.

Аттестационное тестирование не охватывает некоторые виды (типы) тестирования, предназначенные для реализаций стандартов серии ГОСТ Р ИСО 10303. Данные виды включают испытания на живучесть (устойчивость) и взаимодействие, приемочные испытания и тестирование рабочих характеристик. Эти методы испытания (тестирования) не входят в аттестационное тестирование, потому что для них отсутствуют необходимые стандартные требования, на соответствие которым должно быть проведено тестирование. После получения результатов аттестационного тестирования могут быть проведены дополнительные испытания.

По результатам аттестационного тестирования не выдают заключений ни о том, как система реализована, насколько она надежна, как она обеспечивает любую запрашиваемую услугу, ни о среде реализации системы. Этим тестированием прямо ничего не проверяют в отношении логической реализации стандартов в данной системе.

Аттестационное тестирование не достаточно для гарантирования взаимодействия, однако оно повышает вероятность того, что различные реализации будут взаимодействовать. Для взаимодействия двух реализаций необходимо, чтобы они обеспечивали соответствующие варианты (опции) заданного прикладного протокола.

Сложность большинства стандартов не позволяет реализовать полное тестирование реализаций с экономической и технической точек зрения. По той же причине невозможно полное тестирование конкретной реализации, подтверждающее ее корректность. Формально проведенное тестирование не гарантирует соответствия реализации конкретному стандарту, так как оно не определяет всех ошибок в данной реализации. Аттестационное тестирование дает гарантии того, что реализация обеспечивает конкретные функциональные возможности.

Примечания

1 Основная часть стандарта дополнена следующими приложениями:

- А - описывающим идентификатор данного стандарта как информационного объекта;

- В - устанавливающим дополнительные (факультативные) требования к реализациям;

- С - описывающим контрольные тесты;

- D - содержащим рекомендации по адаптации национальных программ аттестационного тестирования к требованиям международных стандартов серии ИСО 10303;

- Е - содержащим список дополнительных публикаций, связанных с настоящим стандартом.

2 Сведения о дополнительных рабочих материалах ИСО ТК 184, относящихся к настоящему стандарту, указаны в [8-11].

      1 Область применения

Настоящий стандарт, открывающий группу стандартов по аттестационному тестированию, определяет общую методологию и основы тестирования реализации на соответствие стандартам серии ГОСТ Р ИСО 10303. В процессе аттестационного тестирования реализация называется тестируемой реализацией (ТР, IUT - implementation under test).

Примечание - На рисунке 1 представлена связь между различными стандартами и некоторыми понятиями аттестационного тестирования. Роли других стандартов серии ГОСТ Р ИСО 10303 установлены в ГОСТ Р ИСО 10303-1.

Рисунок 1 - Взаимосвязь между стандартами по аттестационному тестированию и другими группами серии ГОСТ Р ИСО 10303

      1.1 Назначение стандартов по аттестационному тестированию

Данные стандарты должны применяться на различных этапах аттестационного тестирования, для которых характерны следующие основные работы:

a) определение комплектов абстрактных тестов для прикладных протоколов, установленных в соответствующих стандартах серии ГОСТ Р ИСО 10303;

b) определение методов абстрактного тестирования для методов реализации, установленных в соответствующих стандартах серии ГОСТ Р ИСО 10303;

c) оценка соответствия, выполняемая испытательной лабораторией для клиента, и отчет об аттестационном тестировании.

      1.2 Назначение настоящего стандарта

Настоящий стандарт должен использоваться при проведении всех перечисленных в 1.1 работ, обеспечивая потребности в исходных сведениях для проведения этих работ, нормативные требования к каждому стандарту данной группы и определяя общие термины и положения.

      1.3 Описание стандартов данной группы

В группе стандартов по аттестационному тестированию установлены требования к процедурам, выполняемым при аттестационном тестировании на соответствие стандартам серии ГОСТ Р ИСО 10303, и рекомендации по применению данных процедур. Стандарты данной группы содержат только информацию, необходимую для достижения следующих целей:

a) гарантирования подходящего уровня достоверности в том, что проводимые испытания (тестирования) обеспечивают соответствие реализации;

b) гарантирования сопоставимости результатов соответствующих тестирований, выполненных в разных местах и в разное время;

c) обеспечения взаимодействия между сторонами, отвечающими за работы, описанные в а) и b).

Стандарты данной группы не содержат требований к договорам (контрактам) на продукцию и ее закупку.

Проведение тестирования посредством методов, специфичных для конкретных приложений или систем, стандартами данной группы не описывается.

Настоящий стандарт устанавливает общие положения в части реализуемых тестовых наборов. В свою очередь данные наборы, исходя из их различного характера, не могут быть стандартизованы, следовательно стандарты данной группы требования к ним не устанавливают.

      1.4 Описание настоящего стандарта

Настоящий стандарт содержит основополагающие материалы, которые детализируются в других стандартах данной группы, охватывающих:

a) трактовку смысла соответствия в контексте стандартов серии ГОСТ Р ИСО 10303;

b) описание видов основных и вспомогательных тестирований (испытаний);

c) введение в процесс оценки соответствия;

d) введение в методы абстрактного тестирования и их использование;

e) общие положения по проектированию комплектов абстрактных тестов.

В настоящем стандарте не определены процедуры тестирования на соответствие реализации стандартам серии ГОСТ Р ИСО 10303, но они описаны в ИСО 10303-34.

Настоящий стандарт не охватывает следующие виды тестирования (испытания):

- приемочные испытания (у пользователя) для определения соответствия реализации критериям приемки и решения пользователем вопроса о приемке системы. Данный процесс включает планирование и выполнение испытаний нескольких видов (например, функциональных, а также проверки размера системы и ее рабочих характеристик) для демонстрации, что внедряемые программные средства удовлетворяют требованиям пользователя;

- испытание на совместимость, связанное с приемочным испытанием, но используемое для проверки обмена информацией между двумя ТР и ее распределения между ними, а также для проверки способности каждой ТР использовать такую информацию;

- проверка рабочих характеристик для измерения рабочих характеристик ТР, таких как производительность, время реакции (отклика), количество обслуживаемых ею сообщений (транзакций) и ее чувствительность к различным условиям (средам);

- испытания на устойчивость для определения, насколько хорошо ТР обрабатывает данные, содержащие ошибки.

В приложении D определены основы сертификации (формальной процедуры, завершающей аттестационное тестирование). Однако требования к проведению сертификации или аттестационного тестирования реализации на соответствие стандартам серии ГОСТ Р ИСО 10303 отсутствуют.

      2 Нормативные ссылки

В настоящем стандарте использованы ссылки на следующие стандарты:

ГОСТ Р ИСО/МЭК 8824-1-2001 Информационная технология. Абстрактная синтаксическая нотация версии один (АСН.1). Спецификация основной нотации

ГОСТ Р ИСО/МЭК 9646-1-93 Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 1. Общие положения

ГОСТ Р ИСО 10303-1-99 Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 1. Общие представления и основополагающие принципы

ГОСТ Р ИСО 10303-32-2002 Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 32. Методология и основы аттестационного тестирования. Требования к испытательным лабораториям и клиентам

ИСО 10303-34-2001* Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 34. Методология и основы аттестационного тестирования. Методы абстрактного тестирования для реализации прикладных протоколов

_______________

* Международные стандарты - во ВНИИКИ Госстандарта России.

      3 Определения

      3.1 Термины, определенные в ГОСТ Р ИСО 10303-1

В настоящем стандарте использованы следующие термины:

- комплект абстрактных тестов;

- структура обмена;

- метод реализации;

- форма ЗСРП;

- заявка о соответствии реализации протоколу (ЗСРП).

      3.2 Другие определения

В настоящем стандарте использованы следующие термины с соответствующими определениями:

3.2.1 абстрактный контрольный (тестовый) пример (АКП) (abstract test case [АТС]): Технические требования (спецификация), охватывающие по крайней мере одну цель тестирования, обеспечивающую формальную основу для создания реализуемых контрольных примеров. Данные требования не зависят ни от конкретной реализации, ни от конкретных значений.

3.2.2 группа абстрактных тестов (abstract test group): Поименованный набор связанных абстрактных контрольных примеров.

3.2.3 метод абстрактного тестирования (abstract test method): Описание, как следует тестировать реализацию, проведенное на соответствующем уровне абстрагирования, обеспечивающее ее независимость от любой конкретной реализации инструментальных средств и процедур тестирования, но позволяющее достаточно подробно охарактеризовать использование этих средств и процедур.

3.2.4 аккредитация (лаборатории) ([laboratory] accreditation): Официально организуемый и выполняемый процесс, гарантирующий компетентность испытательной лаборатории по проведению конкретных (типовых) испытаний.

Примечание - Термин "аккредитация лаборатории" охватывает техническую компетентность и беспристрастность (независимость) испытательной лаборатории. Аккредитация обычно включает выдачу лаборатории аттестата аккредитации и последующий инспекционный контроль за ее деятельностью.

3.2.5 орган по аккредитации (accreditation body): Орган, проводящий аккредитацию лаборатории, управляющий аккредитацией и утверждающий ее результаты.

3.2.6 эксперт по аккредитации (assessor): Эксперт, оценивающий аккредитацию лаборатории.

3.2.7 аттестация на соответствие (attestation of conformity): Действие третьей стороны (испытательной лаборатории), показывающее, что конкретная ТР соответствует конкретному стандарту или другому нормативному документу.

Примечание - См. также термины "декларация о соответствии" (3.2.28) и "сертификация на соответствие" (3.2.15) для сравнения.

3.2.8 основные (базовые) тесты (basic tests): Ограниченные испытания, выполняемые для определения их пригодности при проведении соответствующего тестирования.

3.2.9 возможности ТР (capabilities of IUT): Набор функций и вариантов (опций) соответствующего стандарта, обеспечиваемый конкретной реализацией.

3.2.10 тесты возможности (capability tests): Испытания, проводимые для определения возможности (характеристики) ТР, устанавливающие соответствие реализации конкретному свойству прикладного протокола, описанному в цели тестирования.

3.2.11 сертификат на соответствие (certificate of conformance): См. термин "сертификат соответствия" (3.2.12).

3.2.12 сертификат соответствия (certificate of conformity): Документ, выпускаемый по правилам, установленным в системе сертификации, адекватно удостоверяющий соответствие ТР конкретному стандарту или техническим требованиям, подтвержденный конкретным методом тестирования.

3.2.13 орган по сертификации (certification body): Независимый (беспристрастный) орган, обладающий необходимой компетенцией и правами для реализации системы сертификации, представляющий интересы всех сторон, связанных с функционированием данной системы.

Примечание - Орган по сертификации может делегировать свои работы и права по сертификации другим компетентным сторонам.

3.2.14 знак соответствия (certification mark): Знак органа по сертификации (символ или буква), обозначающий, что изделие(я) или услуга(и) сертифицированы.

3.2.15 сертификация на соответствие (certification of conformity): Действие третьей стороны, подтверждающее определенный уровень достоверности соответствия данной ТР конкретному стандарту или другому нормативному документу.

Примечание - См. термины "декларация о соответствии" (3.2.28) и "аттестация на соответствие" (3.2.7) для сравнения.

3.2.16 система сертификации (certification system): Процедурная и управленческая система для проведения сертификации на соответствие, контролируемая органом по сертификации.

Примечание - Системы сертификации могут функционировать на национальном, региональном и международном уровнях.

3.2.17 клиент (испытательной лаборатории) (client [of testing laboratory]): Организация, представляющая реализацию для аттестационного тестирования.

3.2.18 сравнимость (результатов) (comparability [of results]): Характеристика процессов оценки соответствия, реализуемых различными испытательными лабораториями на одинаковых ТС и выдающих одинаковые результаты.

3.2.19 согласованность (conformance): См. 3.2.25.

3.2.20 процесс оценки соответствия (conformance assessment process): Процесс выполнения работ по аттестационному тестированию, необходимых для определения соответствия реализации прикладному протоколу.

3.2.21 журнал соответствия (conformance log): Информационное описание результатов проведения тестовой кампании, достаточное для подготовки и проверки выдаваемых вердиктов.

3.2.22 аттестационное тестирование (conformance testing): Испытание (тестирование) изделия по конкретным характеристикам, установленным в стандарте, для определения степени, в которой изделие соответствует стандарту.

3.2.23 отчет об (аттестационном) тестировании ([conformance] test report): Документ, выдаваемый по результатам оценки соответствия, содержащий сводную информацию о соответствии ТР стандарту, по которому проводилось аттестационное тестирование, и подробное описание проведенного тестирования.

3.2.24 соответствующая реализация (conforming implementation): Реализация, удовлетворяющая требованиям к соответствию, связанным с возможностями, заявленными в ЗСРП.

3.2.25 соответствие, согласованность (conformity, conformance): Выполнение реализацией всех установленных для нее требований.

3.2.26 контрольный совет (control board): Независимый (беспристрастный) орган, обладающий необходимой компетенцией и правами по принятию и сопровождению комплектов тестов, реализуемых в программах тестирования, в котором представлены интересы всех сторон, связанных с испытаниями (тестированиями).

3.2.27 декларация о согласованности (declaration of conformance): См. 3.2.28.

3.2.28 декларация (изготовителя) о соответствии (declaration of conformity [manufacturer’s]): Заявка поставщика, объявляющая о его единоличной ответственности за соответствие ТР конкретному стандарту или другому нормативному документу.

Примечания

1 См. термины "аттестация на соответствие" (3.2.7) и "сертификация на соответствие" (3.2.15) для сравнения.

2 Термин "самосертификация (self certification)" применяют во избежание противоречий с концепцией сертификации, предусматривающей участие третьей стороны.

3.2.29 выполняемый контрольный пример (executable test case): Конкретизированные значения абстрактного контрольного примера.

3.2.30 комплект выполняемых тестов (executable test suite): Набор выполняемых контрольных примеров, необходимый для проведения аттестационного тестирования реализации на соответствие стандарту или группе стандартов.

3.2.31 безуспешный (вердикт) (fail [verdict]): Вердикт, присваиваемый по результатам тестирования, не удовлетворяющим цели тестирования или по крайней мере одному из требований к соответствию конкретному(ным) стандарту(ам).

3.2.32 фальсифицированное тестирование (falsification testing): Метод тестирования, разработанный для обнаружения ошибок в реализации. При наличии ошибки по данному методу можно обнаружить несоответствие реализации стандарту; однако отсутствие ошибок не обязательно подтверждает соответствие. Фальсифицированное тестирование только показывает несоответствие.

Примечание - См. термин "проверочное тестирование" (3.2.59) для сравнения.

3.2.33 тестируемая реализация (ТР) (Implementation Under Test [IUT]): Часть изделия, исследуемая при тестировании, которая должна быть реализацией одной или нескольких характеристик конкретного(ных) стандарта(ов) и основана на заданном методе реализации.

3.2.34 неокончательный (вердикт) (inconclusive [verdict]): Вердикт, присваиваемый по результатам тестирования, не соответствующих безуспешному вердикту или вердикту прохождения.

3.2.35 самотестирование (in-house testing): Тестирование, выполняемое клиентом (испытательной лаборатории) с использованием выполняемого комплекта тестов, поставляемого испытательной лабораторией, до проведения официального тестирования.

3.2.36 декларация изготовителя о согласованности (manufacturer’s declaration of conformance): См. 3.2.28.

3.2.37 несогласованность (non-conformance): См. 3.2.38.

3.2.38 несоответствие (non-conformity): Невыполнение реализацией одного или нескольких установленных требований.

3.2.39 вердикт прохождения (pass [verdict]): Вердикт, присваиваемый по результатам тестирования, подтверждающим соответствие установленных требований (требований к соответствию), определяющих цель тестирования, конкретному(ным) стандарту(ам) и ЗСРП.

3.2.40 форма ДИРПТ (PIXIT proforma): Документ в форме вопросника, создаваемый и представляемый испытательной лабораторией, который после завершения подготовки к тестированию выступает в качестве ДИРПТ.

3.2.41 постпроцессор (postprocessor): Блок программного средства, преобразующий информацию об изделии из общего формата данных о нем во внутренний формат конкретной вычислительной системы.

3.2.42 препроцессор (preprocessor): Блок программного средства, преобразующий информацию об изделии из внутреннего формата конкретной вычислительной системы в общий формат данных об изделии.

3.2.43 тестирование квалификации (proficiency testing): Характеристика лаборатории, проверяемая путем сравнения различных лабораторий или систем тестирования с соответствующими аккредитованными объектами.

Примечание - Данная деятельность не относится к аттестационному тестированию (см. D.3.5.4).

3.2.44 дополнительная информация о реализации протокола для тестирования (ДИРПТ) (Protocol Implementation eXtra Information for Testing [PIXIT]): Заявка, представляемая клиентом и содержащая (или ссылающаяся на) всю информацию относительно ТР и соответствующей ТС (в дополнение к содержащейся в ЗСРП), позволяющая испытательной лаборатории выполнить соответствующий комплект тестов для ТР.

3.2.45 повторяемость (результатов) (repeatability [of results]): Характеристика абстрактного контрольного примера и соответствующего выполняемого(мых) контрольного(ных) примера(ов), обеспечивающая присвоение одинакового вердикта при повторных тестированиях в одной и той же ТС и при тех же условиях, расширенно трактуемая как общая характеристика комплекта абстрактных тестов и соответствующего комплекта выполняемых тестов.

3.2.46 резолюционные тесты (resolution tests): Тесты (испытания), выполняемые для определения степени соответствия (или несоответствия) реализации установленным требованиям.

3.2.47 комплект избранных абстрактных тестов (selected abstract test suite): Набор абстрактных контрольных примеров, выбранный в конкретной ЗСРП для использования при тестировании.

3.2.48 комплект избранных выполняемых тестов (selected executable test suite): Набор выполняемых контрольных примеров, выбранный в конкретной ЗСРП для использования при тестировании.

3.2.49 тестируемая система (ТС) (System Under Test [SUT]): Технические, программные и сетевые коммуникационные средства вычислительной техники (компьютеров), необходимые для функционирования ТР.

3.2.50 тестовая кампания (text campaign): Процесс реализации комплекта выполняемых тестов для конкретной ТР.

3.2.51 контрольный пример (text case): Нерекомендуемый термин (см. 3.2.1 и 3.2.29).

3.2.52 ошибка контрольного примера (test case error): Сообщение, выдаваемое при обнаружении ошибки в самом абстрактном контрольном примере или в соответствующем выполняемом контрольном примере.

3.2.53 цель тестирования (test purpose): Точное описание цели, которая должна быть достигнута при выполнении абстрактного контрольного примера.

3.2.54 реализатор теста (test realiser): Организация, отвечающая за обеспечение средствами тестирования ТР, независимо от клиентов испытательной лаборатории и их ТР.

3.2.55 отчет о тестировании (test report): См. 3.2.23.

3.2.56 испытательная лаборатория (test laboratory): Организация, реализующая процесс оценки соответствия.

Примечание - Испытательная лаборатория может быть третьей стороной, организацией пользователя, официальной организацией или независимым подразделением организации поставщика.

3.2.57 вердикт (теста) ([test] verdict): Заключение, выдаваемое в формулировках "прошел", "безуспешен" или "неокончателен", характеризующее соответствие ТР по отношению к выполняемому контрольному примеру и соответствующему абстрактному контрольному примеру.

3.2.58 критерий вердикта (verdict criteria): Информация, получаемая в результате выполнения абстрактного контрольного примера, позволяющая испытательной лаборатории выдать соответствующий вердикт.

3.2.59 проверочное тестирование (verification testing): Процесс получения точных сведений о корректности (правильности), совместимости и полноте ТР.

Примечание - См. термин "фальсифицированное тестирование" (3.2.32) для сравнения.

      4 Сокращения

В настоящем стандарте использованы следующие сокращения:

АКП (АТС) - абстрактный контрольный пример (Abstract Test Case);

OAT (CTR) - отчет об аттестационном тестировании (Conformance Test Report);

ТР (IUT) - тестируемая реализация (Implementation Under Test);

ЗСРП (PICS) - заявка о соответствии реализации протоколу (Protocol Implementation Conformance Statement);

ДИРПТ (PIXIT) - дополнительная информация о реализации протокола для тестирования (Protocol Implementation eXtra Information for Testing);

TP (IUT) - тестируемая реализация (Implementation Under Test);

ТС (SUT) - тестируемая система (System Under Test).

      5 Соответствие

      5.1 Смысл соответствия в стандартах серии ГОСТ Р ИСО 10303

В контексте стандартов серии ГОСТ Р ИСО 10303 реализация является соответствующей им, если она удовлетворяет требованиям соответствия, установленным в конкретном(ных) стандарте(ах) данной серии.

Соответствие реализации выражается как соответствие прикладному протоколу в сочетании с методом реализации либо методу описания. Соответствие реализации должно быть определено путем использования комплекта выполняемых тестов, сгенерированного из применяемого стандартного комплекта абстрактных тестов. Каждый комплект абстрактных тестов установлен в стандартах группы 1200 серии ГОСТ Р ИСО 10303, и на него должны быть даны ссылки в соответствующем прикладном протоколе.

      5.2 Требования соответствия

Требования соответствия, установленные в конкретном стандарте, могут быть:

a) обязательными, соблюдаемыми во всех случаях;

b) условными, соблюдаемыми при некоторых условиях, определяемых в используемом стандарте;

c) факультативными (необязательными), которым может удовлетворять конкретная реализация, обеспечивая соблюдение любых этих требований.

Примечание - Дополнительная информация по данному вопросу приведена в приложении В.

Кроме того, требования соответствия в стандарте могут быть установлены:

a) положительными - при определении, что должно быть сделано;

b) отрицательными (запрещающими) - при определении, чего не следует делать.

      5.3 Заявка о соответствии реализации протоколу

Для определения соответствия конкретной реализации необходимо иметь заявку о потенциально реализуемых возможностях, позволяющую протестировать реализацию на соответствие конкретным требованиям (и только этим требованиям). Данная заявка называется заявкой о соответствии реализации протоколу (ЗСРП). Возможности (варианты, опции), указанные в ЗСРП, должны быть установлены согласно структуре требований в соответствующих стандартах серии ГОСТ Р ИСО 10303. В ЗСРП не могут быть внесены возможности вне рамок данной структуры.

ЗСРП используется испытательной лабораторией для четкого понимания сути ТС, применяемой при оценке соответствия, и помощи в определении границ области тестирования.

Примечание - Для оценки успешности взаимодействия двух или нескольких систем рекомендуется сравнить ЗСРП для данных систем и каждую возможность, заявленную для обеспечения данными системами. Если системами используются различные редакции (версии) одного стандарта и это указано в соответствующих ЗСРП, необходимо указать различия между этими редакциями и учесть их влияние на взаимодействие систем, включая применение комбинации этих стандартов.

ЗСРП создается клиентом с использованием формы ЗСРП. Форма конкретной ЗСРП является стандартизованным документом, описанным в соответствующем стандарте серии ГОСТ Р ИСО 10303. Данный документ составлен в виде вопросника и используется клиентом для документирования возможностей ТС, необходимых для проведения аттестационного тестирования.