ГОСТ 34.603-92 Информационная технология (ИТ). Виды испытаний автоматизированных систем.

ГОСТ 34.603-92

Группа П87

МЕЖГОСУДАРСТВЕННЫЙ СТАНДАРТ

ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ

Виды испытаний автоматизированных систем

Information technology. Types tests automated systems

МКС 35.240

ОКСТУ 0034

Дата введения 1993-01-01

ИНФОРМАЦИОННЫЕ ДАННЫЕ

1. РАЗРАБОТАН И ВНЕСЕН Техническим комитетом ТК-22 "Информационная технология", Подкомитетом ПК 052 "Автоматизированные системы"

2. УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Постановлением Комитета стандартизации и метрологии СССР от 17.02.92 N 161

3. ВЗАМЕН ГОСТ 24.104-85 в части разд.3

4. ССЫЛОЧНЫЕ НОРМАТИВНО-ТЕХНИЧЕСКИЕ ДОКУМЕНТЫ     

5. ПЕРЕИЗДАНИЕ. Июль 2009 г.     

Настоящий стандарт распространяется на автоматизированные системы (АС), используемые в различных видах деятельности (исследование, проектирование, управление и т.п.), включая их сочетания, создаваемые в организациях, объединениях и на предприятиях (далее - организациях).

Стандарт устанавливает виды испытаний АС и общие требования к их проведению.

Термины, применяемые в настоящем стандарте, и их определения - по ГОСТ 34.003.

Требования настоящего стандарта, кроме пп.2.2.4, 4.4, 4.5, являются обязательными, требования пп.2.2.4, 4.4, 4.5 - рекомендуемые.

 1. ОБЩИЕ ПОЛОЖЕНИЯ

1.1. Испытания АС проводят на стадии "Ввода в действие" по ГОСТ 34.601 с целью проверки соответствия создаваемой АС требованиям технического задания (ТЗ).

1.2. Испытания АС представляют собой процесс проверки выполнения заданных функций системы, определения и проверки соответствия требованиям ТЗ количественных и (или) качественных характеристик системы, выявления и устранения недостатков в действиях системы, в разработанной документации.

1.3. Для АС устанавливают следующие основные виды испытаний:

1) предварительные;

2) опытная эксплуатация;

3) приемочные.

Примечания:

1. Допускается дополнительно проведение других видов испытаний АС и их частей.

2. Допускается классификация приемочных испытаний в зависимости от статуса приемочной комиссии (состав членов комиссии и уровень его утверждения).

3. Виды испытаний и статус приемочной комиссии устанавливают в договоре и (или) ТЗ.

1.4. В зависимости от взаимосвязей испытываемых в АС объектов испытания могут быть автономные или комплексные.

Автономные испытания охватывают части АС. Их проводят по мере готовности частей АС к сдаче в опытную эксплуатацию.

Комплексные испытания проводят для групп взаимосвязанных частей АС или для АС в целом.

1.5. Для планирования проведения всех видов испытаний разрабатывают документ "Программа и методика испытаний". Разработчик документа устанавливается в договоре или ТЗ.

1.6. Программа и методика испытаний должны устанавливать необходимый и достаточный объем испытаний, обеспечивающий заданную достоверность получаемых результатов.

1.7. Программа и методика испытаний может разрабатываться на АС в целом, на части АС. В качестве приложения могут включаться тесты (контрольные примеры).

1.8. Предварительные испытания АС проводят для определения ее работоспособности и решения вопроса о возможности приемки АС в опытную эксплуатацию.

1.9. Предварительные испытания следует выполнять после проведения разработчиком отладки и тестирования поставляемых программных и технических средств системы и представления им соответствующих документов о их готовности к испытаниям, а также после ознакомления персонала АС с эксплуатационной документацией.

1.10. Опытную эксплуатацию АС проводят с целью определения фактических значений количественных и качественных характеристик АС и готовности персонала к работе в условиях функционирования АС, определения фактической эффективности АС, корректировке (при необходимости) документации.

1.11. Приемочные испытания АС проводят для определения соответствия АС техническому заданию, оценки качества опытной эксплуатации и решения вопроса о возможности приемки АС в постоянную эксплуатацию.

1.12. Приемочным испытаниям АС должна предшествовать ее опытная эксплуатация на объекте.

1.13. В зависимости от вида требований, предъявляемых к АС на испытаниях, проверке или аттестации в ней подвергают:

1) комплекс программных и технических средств;

2) персонал;

3) эксплуатационную документацию, регламентирующую деятельность персонала при функционировании АС;

4) АС в целом.

1.14. При испытаниях АС проверяют:

1) качество выполнения комплексом программных и технических средств автоматических функций во всех режимах функционирования АС согласно ТЗ на создание АС;

2) знание персоналом эксплуатационной документации и наличие у него навыков, необходимых для выполнения установленных функций во всех режимах функционирования АС, согласно ТЗ на создание АС;

3) полноту содержащихся в эксплуатационной документации указаний персоналу по выполнению им функций во всех режимах функционирования АС согласно ТЗ на создание АС;

4) количественные и (или) качественные характеристики выполнения автоматических и автоматизированных функций АС в соответствии с ТЗ:

5) другие свойства АС, которым она должна соответствовать по ТЗ.

1.15. Испытания АС следует проводить на объекте заказчика. По согласованию между заказчиком и разработчиком предварительные испытания и приемку программных средств АС допускается проводить на технических средствах разработчика при создании условий получения достоверных результатов испытаний.

1.16. Допускается последовательное проведение испытаний и сдача частей АС в опытную и постоянную эксплуатацию при соблюдении установленной в ТЗ очередности ввода АС в действие.

 2. ПРЕДВАРИТЕЛЬНЫЕ ИСПЫТАНИЯ

2.1. Предварительные испытания АС могут быть:

1) автономные;

2) комплексные.

2.2. Автономные испытания

2.2.1. Автономные испытания АС следует проводить в соответствии с программой и методикой автономных испытаний, разрабатываемых для каждой части АС.

2.2.2. В программе автономных испытаний указывают:

1) перечень функций, подлежащих испытаниям;

2) описание взаимосвязей объекта испытаний с другими частями АС;

3) условия, порядок и методы проведения испытаний и обработки результатов;

4) критерии приемки частей по результатам испытаний.

К программе автономных испытаний следует прилагать график проведения автономных испытаний.

2.2.3. Подготовленные и согласованные тесты (контрольные примеры) на этапе автономных испытаний должны обеспечить:

1) полную проверку функций и процедур по перечню, согласованному с заказчиком;

2) необходимую точность вычислений, установленную в ТЗ;

3) проверку основных временных характеристик функционирования программных средств (в тех случаях, когда это является существенным);

4) проверку надежности и устойчивости функционирования программных и технических средств.

2.2.4. В качестве исходной информации для теста рекомендуется использовать фрагмент реальной информации организации-заказчика в объеме, достаточном для обеспечения необходимой достоверности испытаний.

2.2.5 Результаты автономных испытаний частей АС следует фиксировать в протоколах испытаний. Протокол должен содержать заключение о возможности (невозможности) допуска части АС к комплексным испытаниям.

2.2.6. В случае, если проведенные автономные испытания будут признаны недостаточными, либо будет выявлено нарушение требований регламентирующих документов по составу или содержанию документации, указанная часть АС может быть возвращена на доработку и назначен новый срок испытаний.

2.3. Комплексные испытания

2.3.1. Комплексные испытания АС проводят путем выполнения комплексных тестов. Результаты испытаний отражают в протоколе. Работу завершают оформлением акта приемки в опытную эксплуатацию.

2.3.2. В программе комплексных испытаний АС или частей АС указывают:

1) перечень объектов испытания;

2) состав предъявляемой документации;

3) описание проверяемых взаимосвязей между объектами испытаний;

4) очередность испытаний частей АС;

5) порядок и методы испытаний, в том числе состав программных средств и оборудования, необходимых для проведения испытаний, включая специальные стенды и полигоны.

2.3.3. Для проведения комплексных испытаний должны быть представлены:

1) программа комплексных испытаний;

2) заключение по автономным испытаниям соответствующих частей АС и устранение ошибок и замечаний, выявленных при автономных испытаниях;

3) комплексные тесты;

4) программные и технические средства и соответствующая им эксплуатационная документация.

2.3.4. При комплексных испытаниях допускается использовать в качестве исходной информацию, полученную на автономных испытаниях частей АС.

2.3.5. Комплексный тест должен:

1) быть логически увязанным;

2) обеспечивать проверку выполнения функций частей АС во всех режимах функционирования, установленных в ТЗ на АС, в том числе всех связей между ними;

3) обеспечивать проверку реакции системы на некорректную информацию и аварийные ситуации.

2.3.6. Протокол комплексных испытаний должен содержать заключение о возможности (невозможности) приемки АС в опытную эксплуатацию, а также перечень необходимых доработок и рекомендуемые сроки их выполнения.

После устранения недостатков проводят повторные комплексные испытания в необходимом объеме.

 3. ОПЫТНАЯ ЭКСПЛУАТАЦИЯ

3.1. Опытную эксплуатацию проводят в соответствии с программой, в которой указывают:

1) условия и порядок функционирования частей АС и АС в целом;

2) продолжительность опытной эксплуатации, достаточную для проверки правильности функционирования АС при выполнении каждой функции системы и готовности персонала к работе в условиях функционирования АС;

3) порядок устранения недостатков, выявленных в процессе опытной эксплуатации.

3.2. Во время опытной эксплуатации АС ведут рабочий журнал, в который заносят сведения о продолжительности функционирования АС, отказах, сбоях, аварийных ситуациях, изменениях параметров объекта автоматизации, проводимых корректировках документации и программных средств, наладке технических средств. Сведения фиксируют в журнале с указанием даты и ответственного лица. В журнал могут быть занесены замечания персонала по удобству эксплуатации АС.

3.3. По результатам опытной эксплуатации принимают решение о возможности (или невозможности) предъявления частей АС и системы в целом на приемочные испытания.

Работа завершается оформлением акта о завершении опытной эксплуатации и допуске системы к приемочным испытаниям.

 4. ПРИЕМОЧНЫЕ ИСПЫТАНИЯ

4.1. Приемочные испытания проводят в соответствии с программой, в которой указывают:

1) перечень объектов, выделенных в системе для испытаний и перечень требований, которым должны соответствовать объекты (со ссылкой на пункты ТЗ);

2) критерии приемки системы и ее частей;

3) условия и сроки проведения испытаний;

4) средства для проведения испытаний;

5) фамилии лиц, ответственных за проведение испытаний;

6) методику испытаний и обработки их результатов;

7) перечень оформляемой документации.

4.2. Для проведения приемочных испытаний должна быть предъявлена следующая документация:

1) техническое задание на создание АС;

2) акт приемки в опытную эксплуатацию;

3) рабочие журналы опытной эксплуатации;

4) акт завершения опытной эксплуатации и допуска АС к приемочным испытаниям;

5) программа и методика испытаний.

Приемочные испытания следует проводить на функционирующем объекте.

4.3. Приемочные испытания в первую очередь должны включать проверку:

1) полноты и качества реализации функций при штатных, предельных, критических значениях параметров объекта автоматизации и в других условиях функционирования АС, указанных в ТЗ;

2) выполнения каждого требования, относящегося к интерфейсу системы;

3) работы персонала в диалоговом режиме;

4) средств и методов восстановления работоспособности АС после отказов;

5) комплектности и качества эксплуатационной документации.

4.4. Проверку полноты и качества выполнения функций АС рекомендуется проводить в два этапа. На первом этапе проводят испытания отдельных функций (задач, комплексов задач). При этом проверяют выполнение требований ТЗ к функциям (задачам, комплексам задач). На втором этапе проводят проверку взаимодействия задач в системе и выполнение требований ТЗ к системе в целом.

4.5. По согласованию с заказчиком проверка задач в зависимости от их специфики может проводиться автономно или в составе комплекса. Объединение задач при проверке в комплексах целесообразно проводить с учетом общности используемой информации и внутренних связей.

4.6. Проверку работы персонала в диалоговом режиме проводят с учетом полноты и качества выполнения функций системы в целом.

Проверке подлежит:

1) полнота сообщений, директив, запросов, доступных оператору и их достаточность для эксплуатации системы;

2) сложность процедур диалога, возможность работы персонала без специальной подготовки;

3) реакция системы и ее частей на ошибки оператора, средства сервиса.

4.7. Проверка средств восстановления работоспособности АС после отказов ЭВМ должна включать:

1) проверку наличия в эксплуатационной документации рекомендаций по восстановлению работоспособности и полноту их описания;

2) практическую выполнимость рекомендованных процедур;

3) работоспособность средств автоматического восстановления функций (при их наличии).

4.8. Проверку комплектности и качества эксплуатационной документации следует проводить путем анализа документации на соответствие требованиям нормативно-технических документов и ТЗ.

4.9. Результаты испытаний объектов, предусмотренных программой, фиксируют в протоколах, содержащих следующие разделы:

1) назначение испытаний и номер раздела требований ТЗ на АС, по которому проводят испытание;

2) состав технических и программных средств, используемых при испытаниях;

3) указание методик, в соответствии с которыми проводились испытания, обработка и оценка результатов;

4) условия проведения испытаний и характеристики исходных данных;

5) средства хранения и условия доступа к конечной тестирующей программе;

6) обобщенные результаты испытаний;

7) выводы о результатах испытаний и соответствии созданной системы или ее частей определенному разделу требований ТЗ на АС.

4.10. Протоколы испытаний объектов по всей программе обобщают в едином протоколе, на основании которого делают заключение о соответствии системы требованиям ТЗ на АС и возможности оформления акта приемки АС в постоянную эксплуатацию.

Работу завершают оформлением акта о приемке АС в постоянную эксплуатацию.