ГОСТ ISO/IEC 23988-2015 Информационные технологии (ИТ). Кодекс практического использования информационной технологии (IT) для доставки ассесмента.

ГОСТ ISO/IEC 23988-2015 Информационные технологии (ИТ). Кодекс практического использования информационной технологии (IT) для доставки ассесмента.

ГОСТ ISO/IEC 23988-2015

Группа П80

МЕЖГОСУДАРСТВЕННЫЙ СТАНДАРТ

Информационные технологии

КОДЕКС ПРАКТИЧЕСКОГО ИСПОЛЬЗОВАНИЯ ИНФОРМАЦИОННОЙ ТЕХНОЛОГИИ (IT) ДЛЯ ДОСТАВКИ АССЕСМЕНТА

Information technology. A code of practice for the use of information technology (IT) in the delivery of assessments

МКС 35.240.99

Дата введения 2016-11-01

Предисловие

Цели, принципы и основной порядок проведения работ по межгосударственной стандартизации установлены в "Межгосударственная система стандартизации. Основные положения" и "Межгосударственная система стандартизации. Стандарты межгосударственные, правила и рекомендации по межгосударственной стандартизации. Правила разработки, принятия, обновления и отмены"

Сведения о стандарте

1 ПОДГОТОВЛЕН Федеральным государственным бюджетным образовательным учреждением высшего профессионального образования "Московский государственный технологический университет "СТАНКИН" на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 5

2 ВНЕСЕН Федеральным агентством по техническому регулированию и метрологии

3 ПРИНЯТ Межгосударственным советом по стандартизации, метрологии и сертификации (протокол от 18 июня 2015 г. N 47)

За принятие проголосовали:


Краткое наименование страны по	Код страны по	Сокращенное наименование национального органа по стандартизации
Армения	AM	Минэкономики Республики Армения
Киргизия	KG	Кыргызстандарт
Россия	RU	Росстандарт
Узбекистан	UZ	Узстандарт

4 межгосударственный стандарт ГОСТ ISO/IEC 23988-2015 введен в действие в качестве национального стандарта Российской Федерации с 1 ноября 2016 г.

5 Настоящий стандарт идентичен международному стандарту ISO/IEC 23988:2007* "Информационные технологии. Кодекс практического использования информационной технологии (IT) для доставки ассесмента" ("Information technology - A code of practice for the use of information technology (IT) in the delivery of assessments", IDT).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им межгосударственные стандарты, сведения о которых приведены в дополнительном

6 ВВЕДЕН ВПЕРВЫЕ

7 ПЕРЕИЗДАНИЕ. Октябрь 2018 г.

Информация об изменениях к настоящему стандарту публикуется в ежегодном информационном указателе "Национальные стандарты", а текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ежемесячном информационном указателе "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

Введение

Рост возможностей информационных технологий (ИТ) привел к их активному применению при оценке, передаче и записи результатов тестов и ассесментов в широком спектре образовательных услуг. При должном применении ИТ пользователь получает преимущества в скорости доставки и эффективности результатов, обратной связи, а также улучшении достоверности и надежности данных. Но при увеличении применения таких методов встают вопросы о безопасности ИТ-доставки ассесментов.

Цели данного стандарта состоят в том, чтобы обеспечить средства:

- показывающие, что результаты ассесментов справедливы и не ставят в невыгодное положение некоторые группы кандидатов, например, неграмотных в области ИТ;

- показывающие, что итоговая оценка результата была проведена с соблюдением требований безопасности и является подлинным результатом работы кандидата;

- показывающие, что справедливость ассесмента не изменилась при ИТ-доставке данных;

- свидетельствующие о безопасности проведения ассесмента, который может быть предоставлен в регламентирующие и финансирующие организации (в том числе в регулирующие органы в области образования и профессиональной подготовки или в промышленности);

- устанавливающие единый подход к правилам доставки, которые должны быть полезны для ассесмент-центров, взаимодействующих более чем с одним распространителем ассесмента;

- предоставляющие гарантии качества покупателям "стандартного" программного обеспечения для ассесмента.

Предполагается, что достижение этих целей будет способствовать повышению статуса ИТ-доставки ассесмента и программного обеспечения, поощрять их более широкое применение.

Пользователи должны обратить внимание на любые существующие особенности и законодательные нормы, охватывающие предметную область настоящего стандарта. Это может включать, но не ограничиваться им, законодательство, касающееся инвалидности, специальных образовательных потребностей, защиты информации, персональных данных, свободы информации, языка, здоровья и безопасности по отношению к оборудованию или рабочей обстановке.

Настоящий стандарт имеет форму указаний и рекомендаций. Пользователи стандарта несут непосредственную ответственность за их правильное применение.

Настоящий стандарт предназначен для организаций, использующих информационные технологии для доставки ассесмента, включая, но не ограничиваясь перечисленным:

- университеты, колледжи, учебные центры и школы, оценивающие учащихся по результатам текущей деятельности и экзаменов;

- организации, занимающиеся доставкой и/или простановкой оценок на основе экзаменов;

- профессиональные организации, промышленные и другие организации, занимающиеся доставкой и/или простановкой оценок по профессионально-техническим (узкоспециализированным) предметам;

- производителей и распространителей ИТ-сертификационных тестов;

- ассесмент-центры, которые проставляют ассесмент локально;

- открытые, дистанционные ассесмент-центры и другие организации, которые могут заниматься простановкой оценок на нерегулярной основе;

- компании, занимающиеся тренингами, работодатели и правительственные/военные организации, проводящие ассесменты в рамках узкоспециализированного обучения или тренинга;

- организации, проводящие ассесменты по теме регулирования;: например, финансовой компании может потребоваться оценить своих сотрудников на предмет знания собственного продукта или фармацевтической компании потребуется оценить свой персонал на знание техники безопасности;

- поставщики материалов для открытого и дистанционного обучения, (в т.ч. онлайн-университеты, коммерческие издатели и распространители учебных материалов, которые включают ассесменты в их материал);

- составителей баз тестов, опросов и проверочных тестов.

Настоящий стандарт также предназначен разработчикам программного обеспечения для доставки ассесмента, которым нужно будет предоставить своим клиентам программный продукт, соответствующий требованиям настоящего стандарта.

Настоящий стандарт различает три основные роли в ИТ-доставке ассесмента:

- заказчики ассесмента, ответственные за результат и награждение сертификатами;

- распространители ассесмента, ответственные за ИТ-доставку ассесмента, включая разработку или выбор программного обеспечения для доставки ассесмента;

- ассесмент-центры, где данные мероприятия будут проведены.

Роли вовлеченных в различные этапы жизненного цикла ассесмента (см. 1.3) могут быть объединены различными способами в зависимости от участвующих организаций, при этом не все организации обязательно присутствуют во всех ролях. Таким образом, университет может объединять в себе роли заказчика ассесмента, распространителя ассесмента и ассесмент-центра, в то время как ассесменты, распространяемые организацией (являющейся в данном случае заказчиком и распространителем ассесмента), принимаются в ассесмент-центрах, которые являются отдельными организациями. Настоящий стандарт рекомендует действовать, сообразуясь с тремя вышеперечисленными ролями, независимо от типа организации. Сценарии, приведенные в приложении А, могут служить примером того, как данный подход работает на практике.

Роли различных организаций часто взаимосвязаны, особенно если речь идет о высокоуровневом ассесменте. К примеру, организация-распространитель может быть полностью ответственной за интеграцию всего процесса, включая мониторинг ассесмент-центров. Ассесмент-центры должны соответствовать требованиям распространителей ассесмента, особенно тем, которые являются специфическими для использования в ИТ.

Также следует отметить, что некоторые организации, к которым применим настоящий стандарт, должны в своей конкретной области соответствовать требованиям регулирующих органов в отношении разработки и проведения ассесмента, принимая во внимание педагогические аспекты. В случае, если кандидаты являются сотрудниками ассесмент-центра, то к ним могут применяться более конкретные законодательные требования.

1 Область применения

1.1 Общее

Настоящий стандарт дает рекомендации по использованию информационных технологий (ИТ) для доставки ассесмента кандидатам, регистрации и оценки их ответов. Область применения настоящего стандарта рассмотрена с трех позиций: типы ассесментов, этапы жизненного цикла ассесмента и конкретные ИТ-аспекты.

1.2 Типы ассесментов

Настоящий стандарт имеет отношение к широкому ряду ассесментов, включая:

- ассесменты, использующиеся в образовании (как в общем, так и в высшем), тренингах и оценке соответствия (например, соответствие законодательства, касающегося здоровья и безопасности или финансовых услуг);

- ассесменты, тестирующие знание, понимание и навыки (так называемые "тесты достижений"), но не психологические тесты личности;

- высокоуровневые ассесменты и экзамены, а также низкоуровневые ассесменты, использующиеся для обратной связи, выявления потребностей в обучении, самотестировании и корректирующем обучении;

- ассесменты, включающие обратную связь, а также те, что предоставляют только результат;

- тесты, как запланированные, так и по требованию;

- оба случая, когда оценка может быть поставлена компьютером или доставлена (но не оценена), т.е. когда задания доставляются посредством ИТ, но оценка проставляется человеком, исключая случаи, когда ИТ используется для оценивания открытых ответов со свободным вводом текста ("эссе" и тому подобное);

- широкий ряд ассесментов, связанных с владением компьютером, включающих не только "объективные тесты" (множественный выбор, разные типы элементов), но также тесты, определяющие навыки работы с клавиатурой и использования программного обеспечения;.

Примечание - Элементы ассесмента могут содержать графики, мультимедиа, тематические исследования и т.д. Однако в настоящем стандарте не рассматривается использование профессиональных симуляций (к примеру, процесс вождения/пилотирования).

- ассесменты, проводящиеся в университетах, институтах, академиях, колледжах, школах, тренировочных центрах и ассесмент-центрах, а также ассесменты, проходящие в менее формальной обстановке, включая центры обучения и рабочее место;

- ассесменты, составленные, проведенные и оцененные внутри одной организации (например, университет или компания), и ассесменты, проведенные в организациях, отдельных от организаций, ответственных за содержимое ассесмента;

- ассесменты поставляются в различных формах, включай онлайн, в локальных сетях и на автономных компьютерах.

Раздел 9 настоящего стандарта также применим к использованию ИТ для передачи курсовых работ кандидатов.

1.3 Жизненный цикл ассесмента

Хотя процедуры ассесмента варьируются, типичный жизненный цикл ассесмента состоит из следующих этапов:

a) определение необходимости в ассесменте;

b) разработка методологии ассесмента;

c) подготовка и уточнение;

d) предварительная регистрация (включает в себя оплату);

e) распределение;

f) проверка подлинности (включает идентификацию);

g) доставка;

h) возврат ответа;

i) оценка, определение результата и/или обратная связь;

j) возврат данных;

k) анализ;

I) апелляция;

m) сертификация.

Подготовка содержания ассесмента выходит за рамки настоящего стандарта. Но при использовании предварительных (пробных) вариантов тестирования с использованием ИТ-доставки должны быть приняты во внимание соответствующие разделы настоящего стандарта.

1.4 Конкретные ИТ-аспекты

В настоящем стандарте основной упор делается на дополнительные или иные меры, которые должны быть приняты в результате внедрения ИТ. Меры, которые являются общими как для бумажной, так и для ИТ-доставки либо опущены, либо описаны только в общих чертах.

Настоящий стандарт не распространяется на чисто педагогические аспекты подготовки ассесмента или оценивания, но охватывает использование ИТ для реализации педагогических решений и взаимосвязи между содержанием ассесмента и ИТ-доставкой. Качество содержания ассесмента и процедуры оценивания имеют решающее значение для валидности и достоверности конечного результата, но выходят за рамки настоящего стандарта.

Настоящий стандарт не должен толковаться как призывающий заказчиков ассесмента отказаться от передовых практик в разработке ассесментов, включающих стандартизацию и особое внимание к валидности, достоверности.

Настоящий стандарт не распространяется на оценку человеком, но распространяется на:

- оценивание с использованием ИТ, которое затем может быть проверено человеком;

- частичную или полную ИТ-передачу и доставку ассесмента человеку на оценку и возврат результатов для простановки оценки.

Настоящий стандарт распространяется на использование ИТ для обеспечения мгновенного автоматизированного подсчета баллов, определения результатов и обратной связи, где не требуется вмешательство или принятие решений человеком.

1.5 Принципы

Целью настоящего стандарта является установление принципов и передовых практик, но не средств, с помощью которых они могут быть достигнуты. Таким образом, можно следовать рекомендациям, используя различные технологические и процедурные подходы. Настоящий стандарт не является специфичным для какого-либо конкретного аппаратного или программного обеспечения.

Во многих областях принципы, изложенные в настоящем стандарте, будут дополнены конкретными правилами распространителей ассесмента.

1.6 Соответствие

Заказчики ассесмента, распространители ассесмента и ассесмент-центры могут претендовать на соответствие требованиям настоящего стандарта, если они соответствуют всем разделам или подразделам, применимым к их роли (см. таблицу ниже).

Примечания к разделам указывают на роли, в которых применяется каждый раздел или подраздел.

Настоящий стандарт распространяется как на высокоуровневые, так и на низкоуровневые ассесменты, но некоторые разделы или подразделы относятся исключительно к высокоуровневым ассесментам; это указано в таблице 1.

Таблица 1 - Применение стандарта ISO/IEC DIS 23988


Роль	Тип ассесмента	Соответствующие разделы и подразделы
Заказчик ассесмента	Высокоуровневый и низкоуровневый	5.1
Распространители ассесмента	Высокоуровневый	5.2, 6-12
Распространители ассесмента	Низкоуровневый	5.2, 6.1, 6.2, 6.3, 6.5, 7.1, 7.2, 7.3, 7.4, 7.5, 8.1, 8.2, 8.3, 8.4, 9.1, 9.2.1, 10.1, 10.2, 11.1, 11.2, 12.1, 12.2, 12.3
Ассесмент-центры	Высокоуровневый	13, 14, 15, 16, 17
Ассесмент-центры	Низкоуровневый	13.1, 13.2, 13.3, 13.4

Сценарии, представленные в приложении А, иллюстрируют соответствие требований настоящего стандарта различным типам организаций.

2 Нормативные ссылки

Для применения настоящего стандарта необходимы следующие ссылочные документы*. Для датированных ссылок применяют только указанное издание ссылочного документа, для недатированных - применяют последнее издание ссылочного документа (включая все изменения к нему):

ISO/IEC 17799:2005, Information technology - Code of practice for information security management (Информационные технологии. Методы и средства обеспечения безопасности. Свод правил по менеджменту информационной безопасности)

ISO 9241-5:1998, Ergonomic requirements for office work with visual display terminals (VDTs) - Part 5: Workstation layout and postural requirements (Эргономические требования, связанные с использованием видеотерминалов для учрежденческих работ. Часть 5. Требования к расположению автоматизированного рабочего места и позам человека)

ISO 9241-11:1998, Ergonomic requirements for office work with visual display terminals (VDTs) - Part 11: Guidance on usability (Эргономические требования, связанные с использованием видеотерминалов для учрежденческих работ. Часть 11. Руководство по определению и измерению используемости)

ISO 9241-12:1998, Ergonomic requirements for office work with visual display terminals (VDTs) - Part 12: Presentation of information (Эргономические требования, связанные с использованием видеотерминалов для учрежденческих работ. Часть 12. Представление информации)

ISO 9241-13:1998, Ergonomic requirements for office work with visual display terminals (VDTs) - Part 13: User guidance (Эргономические требования, связанные с использованием видеотерминалов для учрежденческих работ. Часть 13. Руководство пользователя)

ISO 9241-302:2008*, Ergonomics of human-system interaction - Part 302: Terminology for electronic visual displays (Эргономика взаимодействия человек - система. Часть 302. Терминология для электронных визуальных дисплеев)

________________

* Действует взамен ISO 9241-3:1992, ISO 9241-8:1997.

ISO 9241-304:2008**, Ergonomics of human-system interaction - Part 304: User performance test methods for electronic visual displays (Эргономика взаимодействия человек - система. Часть 304. Методы испытаний характеристик пользователя для электронных визуальных дисплеев)

________________

** Действует взамен ISO 9241-3:1992.

ISO 9241-305:2008*, Ergonomics of human-system interaction - Part 305: Optical laboratory test methods for electronic visual displays (Эргономика взаимодействия человек - система. Часть 305. Оптические лабораторные методы испытания электронных визуальных дисплеев)

________________

* Действует взамен ISO 9241-3:1992, ISO 9241-8:1997.

ISO 9241-307:2008*, Ergonomics of human-system interaction - Part 307: Analysis and compliance test methods for electronic visual displays (Эргономика взаимодействия человек - система. Часть 307. Анализ и методы испытаний на совместимости электронных визуальных дисплеев)

________________

* Действует взамен ISO 9241-3:1992.

ISO 9241-303:2011**, Ergonomics of human-system interaction - Part 303: Requirements for electronic visual displays (Эргономика взаимодействия человек - система. Часть 303. Требования к электронным визуальным дисплеям)

________________

** Действует взамен ISO 9241-3:1992, ISO 9241-8:1997.

ISO/TS 9241-411:2012***, Ergonomics of human-system interaction - Part 411: Evaluation methods for the design of physical input devices (Эргономика взаимодействия человек-система. Часть 411. Методы оценки для проектирования физических устройств ввода)

________________

*** Действует взамен ISO 9241-4:1998, ISO 9241-9:2000.

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1 ассесмент (assessment): Тест, экзамен и т.п., предназначенный для оценки знаний, умений и понимания кандидата в конкретной области.

Примечание - Ассесмент может быть высокоуровневым и низкоуровневым (см. 3.13 и 3.19).

3.2 ассесмент-центр (assessment centre): Формально обозначенное место, в котором производится ассесмент, при этом не обязательно использующееся исключительно для проведения ассесмента.

Примечание - Ассесмент-центр имеет персонал, отвечающий за выставление и сохранность оценки. Ассесмент-центры часто, но не всегда, отделены от распространителей ассесмента и являются частью другой организации. При использовании высокоуровневого ассесмента центры, как правило, контролируют выполнение данных мероприятий. Некоторые виды ассесмента (низкоуровневый ассесмент) могут быть проведены за пределами ассесмент-центров.

3.3 содержание ассесмента (assessment content): Вопросы и связанные с ними изображения или дополнительная информация, которые предоставляются кандидату во время прохождения ассесмента.

3.4 распространитель ассесмента (assessment distributor): Организация, ответственная за доставку ассесмента (особенно высокоуровневого ассесмента) посредством информационных технологий, включая надзор за ассесмент-центрами, но необязательно ответственная за содержание ассесмента.

3.5 форма ассесмента (assessment form): Альтернативная версия ассесмента; две или более формы ассесмента, которые различаются содержимым, состоящим из различного набора элементов, но при этом направленных на оценку одного и того же знания, понимания или умения, относящегося к области ассесмента.

3.6 программное обеспечение для ассесмента (assessment software): Программное обеспечение, которое производит ассесмент кандидата и записывает его ответы.

Примечание - Может быть общим (способным запускать множество различных ассесментов) или интегрированным в содержимое ассесмента. Обычно (но необязательно) разделяют программное обеспечение для разработки и хранения элементов ассесмента, журнала записей кандидата, менеджера ассесмент-сессий и т.д.

3.7 заказчик ассесмента (assessment sponsor): Организация, ответственная за определение содержания ассесмента и вручение сертификатов или других форм официального признания.

Примечание - Заказчики ассесмента часто передают доставку ассесмента распространителю ассесмента.

3.8 вспомогательные технологии (assistive technology): Функциональные блоки и сервисы, которые облегчают использование ИТ людям с ограниченными возможностями (например, с физическими ограничениями).

3.9 кандидат (candidate): Субъект, получающий ассесмент.

3.10 правильный ответ (correct response): Заранее отобранный ответ, который принесет положительную оценку при его выборе.

Примечание - Использование этого термина не подразумевает, что существует только один возможный правильный ответ по каждому элементу. См. также 3.19 и 3.20.

3.11 платформа доставки (delivery platform): Компьютерное аппаратное обеспечение, системное программное обеспечение и, при необходимости телекоммуникационное программное обеспечение и связанные с ним средства, которые поддерживают доставку ассесмента кандидатам и прием обратной информации (например, результатов) в конкретное место для проставления оценки или отчетности, если оценка хранится локально.

3.12 справедливость (fairness): Непредвзятость теста для различных групп кандидатов.

Примечание - Компьютерная доставка и система оценивания должны быть одинаково справедливы для всех кандидатов и, насколько это возможно, не должны учитывать недостатки кандидата, являющиеся результатом факторов, которые не относятся к теме оцениваемых знаний, навыков и понимания материала (к таким факторам относится отсутствие передовых навыков работы на компьютере, если только эти навыки не оцениваются).

3.13 высокоуровневый ассесмент (high-stakes assessment): Ассесмент, результаты которого имеют большое значение для кандидата или для организации, и, следовательно, оценка должна быть надежной и достоверной.

Примечание - Высокоуровневые ассесменты включают в себя большинство образовательных экзаменов, относящихся к завершению курса и ведущих к получению сертификата (а также модульные ассесменты, которые вносят свой вклад в окончательный результат), квалификационные экзамены и экзамены на получение лицензии. Ассесмент может также считаться высокоуровневым, если определение качества организации зависит от того, как прошли ассесмент сотрудники или учащиеся, как может быть в случае оценки техники безопасности. См. также 3.19.

3.14 ИКТ (ICT): Информационно-коммуникационные технологии.

Примечание - Данный термин включает в себя такое понятие, как скорость интернет-подключения или "пропускная способность".

3.15 ИТ (IT): Информационные технологии.

3.16 наблюдение (invigilation): Контроль за процессом проведения ассесмента для обеспечения безопасности и исключения мошенничества.

Примечание - Прокторинг - это альтернативный термин для наблюдения. Несмотря на то, что эта тема не затрагивается в настоящем стандарте, наблюдение также может осуществляться удаленно с использованием оборудования для контроля, если это допускается заказчиком ассесмента.

3.17 наблюдатель (invigilator): Лицо, осуществляющее наблюдение.

Примечание - Проктор - это альтернативный термин для наблюдателя.

3.18 элемент (item): Наименьший отдельный идентифицируемый вопрос, часть информации, относящейся к вопросу, или задача в пределах ассесмента.

Примечание - Элемент может являться закрытым вопросом, открытым вопросом, эссе, а также небольшим заданием (к примеру, "выделите заголовок в данном тексте").

3.19 низкоуровневый ассесмент (low-stakes assessment): Ассесмент, результаты которого имеют небольшое значение для кандидата или соответствующей организации.

Примечание - Формальные и диагностические ассесменты, как правило, считаются низкоуровневыми. См. также 3.13. За низкоуровневыми ассесментами не нужно проводить наблюдение и устраивать их в центрах тестирования, если они одобрены заказчиком теста.

3.20 открытый ответ (open-ended response): Ответ, который не ограничивается выбором из списка вариантов.

Примечание - Большинство открытых ответов подразумевают ввод текста, но также ответ может быть в числовом или графическом формате. См. также 3.10 и 3.24.

3.21 достоверность (надежность) (reliability): Величина, которой измеряется ассесмент.

Пример - Ассесмент будет считаться малодостоверным, если две формы ассесмента различаются по сложности или покрывают различные области или присутствуют ошибки в процедуре подсчета оценки или в отчетности показателей.

3.22 ответ (response): Ответ кандидата на элемент ассесмента.

Примечание - Ответ может состоять в выборе одного или нескольких вариантов, открытых ответов в формате ИТ, более сложных ответов в формате ИТ, которые должны пройти проверку человеком, но затем могут быть переданы ИТ. Ответ может быть аудиозаписью. См. также 3.9 и 3.18.

3.23 результат (result): Итог прохождения кандидатом ассесмента.

Примечание - Результат может быть выражен как зачет/незачет, уровень, процент или в случаях формального или диагностического ассесмента в виде устного ответа.

3.24 оценка (score): Численная мера достижений кандидата в ассесменте в целом или по отдельным элементам.

3.25 валидность (validity): Степень, в которой оценка соответствует поставленной цели, путем измерения того, что она должна измерять, и получения результатов, которые можно использовать по их прямому назначению.

Примечание - Ассесмент имеет низкую валидность, если на результат ассесмента сильно влияют навыки, не имеющие отношения к заявленным целям оценки.

3.26 рабочее место (workstation): Оборудование, предоставленное для отдельного кандидата в ассесмент-центре, в том числе аппаратные ИТ-средства, стул, стол или свободное место за ним.

4 Руководящие принципы

В основе настоящего стандарта лежат следующие руководящие принципы, имеющие отношение ко всем заинтересованным организациям:

a) доставка или подсчет результатов ассесмента с использованием ИТ не должны приводить к снижению валидности и надежности ассесмента;

b) ИТ-доставка и подсчет результатов должны быть одинаково доступны для всех кандидатов, и по мере возможности, значимыми не должны быть факторы, которые не имеют отношения к знаниям, пониманию и навыкам оценивания (к таким факторам относится отсутствие современных компьютерных навыков, если это не является объектом ассесмента);

c) должны быть сделаны разумные корректировки для обеспечения потребностей людей с ограниченными возможностями так, чтобы ни один кандидат не испытывал дискомфорта.

Примечание - Обратить внимание на любые законодательные нормы в отношении инвалидности и людей с ограниченными возможностями;

d) здоровье и безопасность кандидатов (или тех, кто разрабатывает, организовывает или проводит ассесменты), не должны быть поставлены под угрозу;

e) если конфиденциальность ассесмента и правильных ответов является важным требованием, то необходимо наличие процедур для поддержания конфиденциальности ассесмента в течение всего цикла;

f) конфиденциальность и целостность данных кандидата следует поддерживать в течение всего жизненного цикла ассесмента.

Примечание - Обратить внимание на любые законодательные нормы, касающиеся защиты данных, неприкосновенности частной жизни или свободы информации и т.д.;

g) должен вестись контрольный журнал, чтобы любые вопросы или неисправности могли быть исследованы;

h) должно осуществляться резервное копирование объектов, чтобы минимизировать задержки, когда задержки во времени или сбои влияют на результат, особенно для высокоуровневых ассесментов.

5 Интерфейс между содержанием и ИТ-доставкой ассесмента

Примечание - Раздел описывает взаимосвязь между содержанием ассесмента и программным обеспечением ассесмента, и относится как к заказчикам ассесмента, которые определяют педагогические требования ассесмента, так и к распространителям ассесмента, которые отвечают за разработку и настройку программного обеспечения. Заказчики ассесмента должны следовать 5.1, распространители ассесмента - 5.2.

Этот раздел применим как для высокоуровневого, так и для низкоуровневого ассесмента, как для ассесмента с использованием общего программного обеспечения (способного работать с целым рядом различных ассесментов), так и для ассесмента с использованием специфичного программного обеспечения, которое используется для единичного ассесмента или группы ассесментов.

5.1 Обязанности заказчиков ассесмента

5.1.1 Заказчики ассесмента должны гарантировать, что они ознакомлены с программным обеспечением, которое используется в настоящее время или которое будет использовано в будущем, и со связанными с программным обеспечением платформами доставки, чтобы:

a) понимать их достоинства и ограничения;

b) оценивать возможные последствия ИТ-доставки по валидности и надежности отдельных элементов ассесмента;

c) использовать программные функции (например, типы элементов данных, мультимедийные элементы), имеющие отношение к предполагаемому ассесменту;

d) выявлять ассесмент, для которого ИТ-доставка не подходит или должна быть дополнена другими методами ассесмента.

5.1.2 Заказчики ассесмента должны четко определить параметры, необходимые для каждого ассесмента, в том числе:

a) количество и типы элементов, которые будут использоваться;

b) принцип выбора элементов для каждой ассесмент-сессии (например, фиксированные формы ассесмента, компьютерный выбор из банка данных, любые ограничения на выбор);

c) различные ограничения по времени;

d) любые ограничения на навигацию между элементами (см. 7.1);

e) правила ассесмента, в том числе разрешенные и запрещенные ресурсы (см. 6.4.3 и 7.3.3);

f) правила оценки для отдельных элементов и для подсчета общего результата (если необходимо), в том числе правила оценки элементов, не выполненных до конца (см. 8.1 и 8.3);

g) правила обеспечения обратной связи (см. 8.3).

5.1.3 Заказчики ассесмента должны протестировать ассесмент (сочетание программного обеспечения и содержимого) в процессе разработки и непосредственно перед использованием, чтобы убедиться, что все аспекты доставки, подсчета результата и обратной связи работают согласно своему назначению и в соответствии с педагогическими требованиями.

Примечание - Признано, что некоторое "стандартное" программное обеспечение для подсчетов и доставки может использоваться для решения нетиповых задач.

5.1.4 При разработке содержания ассесмента заказчики ассесмента должны рассмотреть и вопросы, касающиеся кандидатов с ограниченными возможностями, в том числе:

a) для кандидатов, не владеющих ИТ, должны быть предложены альтернативные методы ассесмента;

b) эффект от использования вспомогательных технологий, влияющий на достоверность элементов (например, когда текстовая формулировка, альтернативная графическому изображению, изменяет характер элемента).

Примечание - Некоторые системы могут "блокировать" рабочий стол, чтобы предотвратить использование другого программного обеспечения во время ассесмента, которое может ограничить использование вспомогательных технологий.

5.1.5 Необходимо убедиться, что выбранная система достаточно надежна и масштабируема, что она сможет обеспечить ассесмент таким образом, чтобы ни один кандидат не находился в невыгодном положении по техническим причинам.

5.2 Обязанности распространителей ассесмента

Распространители ассесмента должны обеспечить заказчику ассесмента:

a) полную информацию о возможностях, ограничениях и функциях программного обеспечения и связанной с ним платформы доставки результатов, которая имеет отношение к педагогическим аспектам ассесмента;

b) перечень параметров, которые определяются заказчиком ассесмента (см. 5.1.2).

6 ИТ-доставка ассесмента - общие положения

Примечание - Данный раздел применим к распространителям ассесмента, которые разрабатывают, покупают или адаптируют программное обеспечение к ассесменту. Раздел также представляет интерес для разработчиков программного обеспечения. Все подразделы применимы к высокоуровневым ассесментам; 6.1, 6.2, 6.3 и 6.5 также применимы к низкоуровневым ассесментам. Раздел применим как для ассесмента с использованием общего программного обеспечения (способного работать с целым рядом различных ассесментов), так и с использованием специфичного программного обеспечения, которое используется для единичного ассесмента или группы ассесментов.

6.1 Интероперабельность

6.1.1 При разработке программного обеспечения необходимо обратить внимание на упрощение обмена данными с другими пользователями ассессмента (например, использование стандартов IMS для вопросов и тестирование интероперабельности). Это также может включать в себя отслеживание тестирования кандидатов заказчика или системы управления обучением коммерческих организаций.

6.1.2 После импортирования элементов ассесмента принимающая организация должна убедиться, что они функционируют правильно с аппаратным и программным обеспечением, используемым кандидатами.

6.2 Оборудование, программное обеспечение и средства коммуникации

6.2.1 Средства ИКТ, доступные для кандидатов

При проектировании программного обеспечения для ИТ-доставки ассессмента должны учитываться средства ИКТ, которые могут быть доступны предполагаемым кандидатам и в ассесмент-центрах. Ключевые стороны, которые должны быть рассмотрены, включают следующее:

a) доступ к ассесменту, если программное обеспечение требует ИКТ более высокого уровня, чем доступно в большинстве ассесмент-центров;

b) влияние платформы доставки результатов в ассесмент-центре на скорость работы программного обеспечения, необходимого для ассесмента;

c) возможность обеспечения платформы доставки более чем одной версией программного обеспечения, необходимого для ассесмента;

d) скорость подключения к сети Интернет, поскольку это может повлиять на типы элементов, которые могут использоваться.

6.2.2 Спецификация платформ доставки

Спецификация поставки платформы доставки для программного обеспечения ассесмента, хотя она может быть использована не только для ассесмента, должна включать следующую информацию:

a) минимальные требования к оборудованию, в том числе к сети и периферийным устройствам;

b) раскладка клавиатуры (например, EN/RU);

c) разрешение и яркость экрана;

d) операционная(ые) система(ы), включая диапазон допустимых номеров версий;

e) язык (например, английский, французский) операционной системы (это может затронуть, например, отображение дат и чисел, используя десятичную запятую, и число битов для кодирования символов);

f) любое программное обеспечение, требуемое в дополнение к основному программному обеспечению ассесмента (например, программное обеспечение браузера, программные расширения, определенные шрифты), включая версии применяемого программного обеспечения;

g) линии связи;

h) вспомогательные технологии, на которые программное обеспечение ассесмента может ссылаться (включая любые особые параметры настройки или включения аппаратных средств).

6.2.3 Согласованность требований

Насколько это возможно, распространители ассесмента должны свести к минимуму изменения в платформе доставки необходимой для различных ассесментов в течение долгого времени.

6.2.4 Требования к серверу и подключение к сети доставки

6.2.4.1 Там, где ассесменты доставляются по сети или с помощью сети интранет, сервер и соединения должны быть достаточными, чтобы время отклика на компьютере кандидата или терминала было приемлемым. Также необходимо принять во внимание:

a) средний объем трафика между сервером и кандидатом в пределах одного ассесмента (частота, размер транзакций);

b) максимальное количество кандидатов в любой момент времени.

6.2.4.2 Там, где ассесменты доставляются через интернет или другим способом, где скорость соединения не может быть гарантирована, должны быть приняты меры для обеспечения того, чтобы кандидаты не испытывали неудобства в связи с медленным соединением. В зависимости от обстоятельств меры могут включать одно или более из следующих действий:

a) загрузить ассесмент целиком в локальную сеть или на жесткий диск непосредственно перед началом ассесмента;

b) устранить ненужное использование мультимедиа;

c) увеличить лимит времени (если таковой имеется), чтобы компенсировать задержки (для некоторых ассесментов эта мера не действует);

d) возбудить процедуру апелляции в случае задержки.

6.2.5 Специальные символы

6.2.5.1 Следует проявлять осторожность, гарантировать, что любые необходимые специальные символы или форматы отображаются корректно при ИТ-доставке ассесмента. Это может быть необходимо, например:

a) для ассесмента знания иностранного языка;

b) если ассесмент доставляется посредством другого языка;

c) для валютных символов (

);

d) для некоторых математических или научных символов, включая верхние и нижние индексы;

e) при отображении на дисплее математических уравнений.

6.2.5.2 Если в результате ассесмента кандидату требуется ввести символы, которые не указаны на клавиатуре (как могло бы быть в случае ассесмента знания иностранных языков или для математических или научных символов), то необходимо предоставить простой способ ввода этих символов (например, сочетание клавиш или диапазон символов, которые могут быть скопированы или которые необходимо перетащить) при поддержке информационно-справочной системы.

6.3 Ассесменты с ограничением по времени

Если ассесмент имеет ограничение по времени, отсчет времени не должен начинаться, пока кандидат не ознакомится с инструкциями и вводной информацией.

Если ассесмент имеет ограничение по времени, необходимо обратить внимание на следующее:

a) дополнительное время для кандидатов с использованием вспомогательных технологий (см. 3.7);

b) увеличение времени задержки из-за снижения производительности системы;

c) остановка и перезапуск времени, если есть запланированный перерыв;

d) обеспечение наблюдателя возможностью повторно устанавливать время после незапланированного перерыва (например, при необходимости или при наличии определенных технических факторов).

6.4 Функции безопасности

6.4.1 Безопасность программного обеспечения для ассесмента

Программное обеспечение для ассесмента должно быть защищено от несанкционированного изменения в коде или параметрах, в процессе разработки и использования. Процедуры разработки и технического обслуживания должны осуществляться в соответствии с ISO/IEC 17799:2005, 12.4, 12.5 и 12.6.

6.4.2 Безопасность элементов и правильных ответов

6.4.2.1 Программное обеспечение для ассесмента должно включать возможности для защиты безопасности и целостности элементов и (если необходимо) правильных ответов. Для высокоуровневого ассесмента такие возможности могут включать (но не ограничиваются ими) следующее:

a) защита паролем на различных уровнях;

b) индивидуальные пользовательские ID и пароли;

c) шифрование файлов элементов и правильных ответов.

6.4.2.2 Если пользователю под своим ID дан только один доступ к ассесменту, наблюдатель должен иметь возможность это изменить, чтобы позволить кандидату возобновить работу после планового или внепланового перерыва.

6.4.2.3 Алгоритмы оценивания, правильные ответы и т.д., которые присутствуют в ассесмент-центре, должны быть защищены от несанкционированного доступа. Распространитель ассесмента должен обеспечить реализацию любых мер безопасности в ассесмент-центрах.

6.4.3 Предотвращение несанкционированного доступа кандидатов к внешней информации и посторонней помощи

Примечание - Данный подраздел относится только к использованию запрещающих правил ассесмента. Его не следует рассматривать в тех случаях, когда, например, кандидаты должны находить нужную информацию, используя Интернет. Меры предосторожности, изложенные в настоящем подразделе, не нужны, если есть процедуры, гарантирующие, что программное обеспечение для ассесмента используется только на автономных компьютерах и нет никакой возможности для посторонней помощи. Данный подраздел является наиболее значимым для высокоуровневых ассесментов, но его также следует рассматривать для использования в низкоуровневых ассесментах для обеспечения надежных результатов.

6.4.3.1 По возможности программное обеспечение для ассесмента должно включать средства для предотвращения получения кандидатами электронного доступа к посторонней помощи во время проведения ассесмента, такие как:

- источники информации, включая Интернет и собственные файлы кандидата, хранимые в другой области сети;

- калькулятор, проверка правописания и словари;

- общение с другими людьми, в том числе с другими кандидатами.

Такие средства могут включать:

a) сокрытие всех панелей навигации и т.д., которые могут предоставить доступ к такой помощи;

b) отключение быстрых клавиш, которые могут дать такого рода доступ;

c) запрет на возвращение к программному обеспечению ассесмента, если было зафиксировано обращение к другой программе;

d) предотвращение просмотра исходного кода в браузере;

e) применение подобных гарантий для любой информации или пособий, использование которых разрешено.

6.4.3.2 Там, где предотвращение такого несанкционированного доступа не представляется возможным, должны быть приняты меры по выявлению такого доступа через процедуры наблюдения.

Следует также обратить внимание на использование программных средств для обнаружения несанкционированного доступа к внешней информации и посторонней помощи. Это может включать:

a) контроль нажатия клавиш;

b) регистрацию времени, необходимого для решения каждого задания.

Эти данные могут быть подвержены ретроспективному мониторингу для того, чтобы обнаружить любые необычные явления, которые могут свидетельствовать о мошенничестве.

Примечание - Кандидаты должны быть проинформированы о любых средствах контроля нажатия клавиш.

6.4.4 Предотвращение несанкционированного доступа в ходе ассесмента

Где это возможно, программное обеспечение должно включать в себя средства для предотвращения несанкционированного доступа к содержанию ассесмента кандидатом или другим лицом, например, предотвращая:

a) печать элементов ассесмента;

b) копирование элементов ассесмента в другие приложения;

c) перенаправление элементов ассесмента на другие компьютеры.

Там, где невозможно предотвращение посредством программного обеспечения, должны быть приняты меры по выявлению такого доступа через процедуры наблюдения. Такие меры также должны обеспечить то, что любая заметка или решение, сделанные в ходе ассесмента, не попадут за пределы помещения.

6.4.5 Предоставление перерывов

6.4.5.1 При длительности ассесмента более 1,5 ч, когда кандидат работает почти все время с использованием экрана компьютера, необходим перерыв, если он не наносит ущерба цели и достоверности ассесмента.

6.4.5.2 Там, где требуется перерыв, должны быть приняты меры по обеспечению безопасности и следованию правилам во время перерыва. В зависимости от характера ассесмента они могут включать:

a) разбиение ассесмента на две( или более) независимые части;

b) программные функции и процедуры, которые позволяют сессии, которая будет прервана, возобновиться с места паузы;

c) наблюдение за кандидатами во время перерыва.

6.4.5.3 Во время перерыва должен быть обеспечен запрет на несанкционированный доступ к ассесменту как кандидатом, так и любыми другими лицами, будь то запланировано или нет. Наблюдатель должен контролировать доступ к ассесменту после перерыва.

6.5 Проверка программного обеспечения для ассесмента

6.5.1 Проверка распространителем

6.5.1.1 Проверка программного обеспечения должна быть:

a) систематической;

b) плановой;

c) документированной;

d) охватывать конкретные моменты, перечисленные в настоящем стандарте.

6.5.1.2 Программное обеспечение ассесмента должно быть тщательно проверено:

a) на всех платформах ИТ-доставки, для которых оно указано как пригодное к использованию;

b) для всех альтернативных версий программного обеспечения (если используется);

c) при максимально вероятной нагрузке.

Проверка должна подтвердить, что:

1) ассесмент соответствует педагогическим требованиям (что должно быть подтверждено либо экспертами педагогики, либо ссылкой на спецификации, которые предоставлены педагогами-экспертами);

2) программное обеспечение функционирует, в том числе правильно отображается текст и графическая информация, правильно функционируют мультимедийные элементы, навигация и управление периферийными устройствами и вспомогательными технологиями (см. 7.4);

3) любая разница в скорости работы между рабочими местами слишком мала, чтобы иметь влияние на общее время, затраченное кандидатом на выполнение ассесмента (см. 6.2.4).

Примечание - В низкоуровневом ассесменте или где нет ограничения по времени, некоторые различия в скорости работы могут быть приемлемы.

6.5.1.3 Если используется общее программное обеспечение, операция каждого отдельного ассесмента или группы ассесментов должна быть успешно проверена непосредственно до использования. Необходимо обратить внимание на любые особые характеристики, такие как использование специальных символов и шрифтов, использование нетекстовых функций (например, графики, мультимедийных файлов).

6.5.2 Информация и возможности проверки для ассесмент-центров

6.5.2.1 Информация об оборудовании, программном обеспечении и требованиях к связи (включая любые изменения требований) должна быть предоставлена ассесмент-центрам до начала ассесмент-сессии. Эта информация должна включать:

a) предназначенную платформу доставки (см. 6.2.2 и 6.2.4);

b) сочетание аппаратного и программного обеспечения, на котором работа программного обеспечения для ассесмента была проверена распространителем ассесмента, включая вспомогательные технологии;

c) размеры файлов, которые будут храниться на локальных аппаратных средствах и сетях.

6.5.2.2 Ассесмент-центры должны иметь возможность проверки связи и совместимости платформ доставки с программным обеспечением ассесмента заранее, непосредственно до начала ассесмент-сессии.

6.5.2.3 Для каждого ассесмента (или каждой группы аналогичных ассесментов) должны быть предусмотрены пробы, позволяющие ассесмент-центрам заранее проверить, что все функции оборудования, на котором планируется проведение ассесмента, работают удовлетворительно. Это особенно важно там, где используются нетекстовые функции или специальные символы.

6.5.2.4 Если есть вероятность, что ассесмент, включающий нетекстовые функции, будет использоваться на различных платформах ИКТ без тщательной проверки, необходимо информировать кандидатов сообщениями с советом обратиться за технической помощью, если нетекстовые функции недоступны.

7 Программное обеспечение для ИТ-доставки ассесмента - навигация, удобство и простота использования

Примечание - Этот раздел применим к распространителям ассесмента, которые разрабатывают, приобретают или адаптируют программное обеспечение к высокоуровневому и низкоуровневому ассесменту. Это также относится к разработчикам программного обеспечения и разработчикам открытых учебных материалов и пособий, которые включают тесты, контрольные вопросы для самооценки.

7.1 Обеспечение соответствующими навигационными средствами

7.1.1 Программное обеспечение для ассесмента должно обеспечивать простую, понятную и последовательную навигацию, которая позволит кандидату перемещаться по элементам ассесмента так же свободно, как это разрешено правилами.

7.1.2 Если кандидату разрешается пропустить или оставить элемент ассесмента без ответа, то этот метод должен быть простым и ясным. Если есть возможность пропустить элемент и вернуться к нему позже, то метод возврата к элементу также должен быть простым и ясным.

7.1.3 Если кандидат может выполнять элементы в любой последовательности, в пределах всего ассесмента либо в пределах определенного подмножества элементов, то:

a) порядок перемещения вперед и назад по элементам должен быть простым и ясным, возврат на один элемент вперед или назад должен проходить легко. Каждый элемент ассесмента должен иметь свою нумерацию;

b) особое внимание должно быть уделено переходу на первый или последний элемент, а также на любой элемент с запросом по его номеру;

c) если кандидату разрешают вернуться и изменить ответ по данному элементу, этот метод должен быть простым и ясным.

7.1.4 Если возврат к данному элементу системой не предусмотрен, то необходимо уделить внимание тому, чтобы кандидат подтвердил, что ответ является окончательным, особенно если некоторые элементы в подмножестве остаются без ответа.

7.1.5 Если кандидату разрешают отправить результаты ассесмента до истечения положенного времени, то необходимо, чтобы кандидат подтвердил, что ответы являются окончательными, особенно если некоторые элементы в подмножестве остаются без ответа.

7.2 Обеспечение кандидатов информационной поддержкой

Программное обеспечение должно предоставить адекватную информацию и помощь кандидатам, в том числе:

a) информацию о том, как отвечать на различные элементы, как работают средства навигации и выхода (информация предоставляется до начала ассесмента);

b) информацию о количестве элементов, типах элементов, допустимом времени (если используется ограничение), об оценке ассесмента (информация предоставляется до начала ассесмента);

c) текущую информацию о количестве элементов, оставленных без ответа, об оставшемся времени (если применяется ограничение по времени);

d) если есть ограничение по времени, то должно появляться предупреждающее сообщение о том, что время проведения ассесмента подходит к концу (предлагается выдавать его за 10 мин. до конца ассесмента);

e) легкодоступное меню "Помощь".

7.3 Удобство и простота использования

7.3.1 Проектирование программного обеспечения для удобства и простоты использования

При проектировании программного обеспечения для ассесмента должны учитываться требования к удобству и простоте использования, такие как:

a) соответствие дизайна пользовательским умениям и особенностям, особенно в области ИТ-навыков (см. ISO 9241-11);

b) соответствие платформы ИТ-доставки и интерфейса пользователей (см. ISO 9241-11);

c) контроль пользователя за отображением данных, если это совместимо с педагогическими или оценочными требованиями (см. ISO 9241-11);

d) соответствие экранных форм, верстки и цветовых отображений (см. ISO 9241-302, ISO 9241-303, ISO 9241-305, ISO 9241-11 и ISO 9241-12);

e) соответствие навигации, функциональности, позиционирования и названия кнопок и значков, позиционирование и терминология выводимых на экран сообщений (см. ISO 9241-11, ISO 9241-12 и ISO 9241-13);

f) альтернативные методы ввода данных, навигации по мере возможности (например, использование цифровой клавиатуры или мыши) (см. ISO 9241-11);

g) выбор цветов и шрифтов для легкой читаемости, в том числе для кандидатов с нарушениями зрения (см. ISO 9241-302, ISO 9241-303, ISO 9241-305).

7.3.2 Отказоустойчивость

7.3.2.1 Программное обеспечение для ассесмента должно включать функции отказоустойчивости:

a) отключение неподходящих ключей;

b) принятие верхнего и нижнего регистра, если нет заданий с реагированием на определенный регистр;

c) меры (например, диалоговые окна), чтобы предотвратить случайный выход кандидата из ассесмента;

d) меры по предотвращению недопустимых моделей ответа (например, проверкой наличия двух ответов там, где требуется только один).

7.3.2.2 Применение функций по отказоустойчивости должно быть обсуждено с экспертами, т.к. ИТ-доставка ассесмента представляет собой альтернативу бумажной версии. Должны быть рассмотрены все преимущества/недостатки для кандидатов, которые используют электронную версию.

7.3.3 Доступ к отображаемым данным и вспомогательным устройствам

Если ассесмент позволяет использовать электронные устройства (например, калькуляторы), они должны быть:

a) четко обозначены;

b) доступны непосредственно на экранной форме элемента, для которого они необходимы;

c) видны, по крайней мере частично, одновременно с элементом;

d) легко перемещаться или прокручиваться по мере необходимости.

7.4 Ссылки на вспомогательные технологии

Примечание - Некоторые аспекты хорошего дизайна, такие как четкость экранов и последовательное позиционирование кнопок, полезны всем пользователям, а не только людям с ограниченными возможностями. См. библиографию, источники информации по обеспечению доступа к ИТ людей с ограниченными возможностями.

7.4.1 При разработке программного обеспечения для ассесмента необходимо обратить внимание на интерфейсы для облегчения использования вспомогательных технологий, включая:

a) альтернативные и вспомогательные устройства вывода, такие как увеличители экрана, наушники и упаковки с шрифтом Брайля;

b) альтернативные и вспомогательные устройства ввода, такие как программное обеспечение распознавания речи, сенсорные экраны, звуковое подтверждение нажатия клавиш.

7.4.2 Меры по облегчению использования вспомогательных устройств вывода могут включать в себя:

a) текстовые эквиваленты для изображений (в том числе графиков и диаграмм) и мультимедиа;

b) теги, задающие используемый язык;

c) использование стилей, которые позволяют пользователю изменять аспекты представления презентации.

7.4.3 Следует уделить внимание возможным интерфейсам для вспомогательных технологий. В частности:

a) нецелевое использование интерфейсов для вспомогательных технологий может изменить характер элемента или дать несправедливое преимущество кандидату с ограниченными возможностями (например, описание изображения может открыть ответ на элемент);

b) использование вспомогательных устройств может замедлить процесс ассемента, чемипри использовании обычных методов. Если есть ограничение по времени, то это может снизить надежность результатов;

c) для некоторых элементов ассесмента (например, устный опрос) предпочтительным может быть использование вспомогательных технологий.

Примечание - В некоторых случаях использование вспомогательных технологий не является необходимым или целесообразным, например ассесмента, учитывающего местоположение, когда кандидаты с некоторыми типами специальных потребностей не имеют доступа к этому местоположению.

7.5 Возможность проверки программного обеспечения на удобство и простоту использования

7.5.1 Программное обеспечение для ассесмента должно быть опробовано с кандидатами, которые являются представителями целевой группы конечных потребителей, чтобы гарантировать:

a) простоту использования;

b) надежность;

c) безопасность.

В случае необходимости должна быть возможность проверки программного обеспечения с учетом вспомогательных технологий.

7.5.2 Соответствующие аналитические инструменты для проверки доступности должны использоваться там, где это возможно.

8 Система мгновенной автоматизированной оценки, определение результата и обратная связь

Примечание - Этот раздел применим к распространителям ассесмента, которые разрабатывают, приобретают или адаптируют программное обеспечение, чтобы обеспечить автоматизированную оценку, определение результата или обратную связь. Это также относится к разработчикам программного обеспечения. Это применимо и к высоко-, и к низкоуровневому ассесменту. Запись ответов и данных кандидата рассматриваются в разделе 10.

8.1 Оценка ответов

8.1.1 Поддержка педагогических аспектов

Программное обеспечение, используемое для того, чтобы подсчитывать ответы кандидатов, должно быть разработано таким образом, чтобы поддержать педагогические аспекты правил оценки результатов, особенно относительно:

a) правильности ответов;

b) "стоимости" ответов, которая должна быть взвешенной для различных элементов или типов элементов;

c) распределения более низких баллов за частично правильный ответ;

d) расчета общей оценки или результата;

e) коррекций вопросов таким образом, чтобы исключить угадывание ответов.

Программное обеспечение для оценки результатов должно учитывать:

1) случайный выбор элементов с помощью программного обеспечения;

2) перетасовку последовательности выдачи элементов ассесмента;

3) перетасовку последовательности, в которой представлены альтернативные ответы;

4) введение случайных величин в элементы ассесмента.

Правила оценки результатов должны быть как можно более простыми и понятными кандидатам.

8.1.2 Возможность автоматизированной оценки

Автоматизированная оценка должна быть апробирована с широким спектром ответов кандидата, чтобы убедиться в ее последовательной и точной работе.

8.1.3 Оценка открытых ответов

Примечание - Оценка эссе, которая проводится только человеком, не рассматривается в настоящем стандарте.

8.1.3.1 Программное обеспечение для оценки открытых ответов должно быть разработано и апробировано с особой тщательностью, чтобы убедиться, что любой ответ, который был проверен человеком, учтен. Аспекты, которые требуют особого рассмотрения, включают:

a) альтернативные варианты написания или неправильное написание;

b) использование верхнего или нижнего регистра;

c) синонимы;

d) пунктуацию;

e) использование "или", "/", "и", "&", "не", отрицательных выражений и соответствующих терминов на других языках;

f) включение или исключение единиц измерения в числовых ответах.

8.1.3.2 Если элемент требует расчета или оценки численного ответа, следует указать диапазон допустимых ответов, чтобы учесть такие факторы, как возможные ошибки округления в расчетах и различия в числе десятичных знаков.

8.1.3.3 Все ответы на элементы со свободным вводом текста от кандидатов страдающих дислексией, должны быть пересмотрены вручную, если правильное написание не является педагогическим требованием.

8.1.3.4 В высокоуровневом ассесменте, за исключением случаев, где правильные ответы строго определены, оценка элементов со свободным вводом текста должна быть проведена человеком. В обзоре, который должен быть сделан при консультации с экспертами педагогики, должны быть рассмотрены все непредвиденные ответы кандидатов.

8.1.3.5 Обратная связь от опытной или промышленной эксплуатации должна использоваться для усовершенствования алгоритма определения правильных и неправильных ответов.

8.1.4 Информация для кандидатов

Информация об оценке результатов должна быть доступна для кандидатов до проведения ассесмента, так как это может повлиять на стратегию выполнения ассесмента.

Примечание - Это должно быть сделано в том случае, если информация об оценке не ставит под угрозу законность теста или излишне смущает кандидатов.

8.2 Программное обеспечение для определения результата

Если программное обеспечение автоматически вычисляет общий результат ответов кандидата (например, "зачет", "незачет"), то это должно базироваться на четких правилах, которые должны быть известны (по крайней мере общие понятия) кандидатам.

Работа программного обеспечения должна пройти проверку для подтверждения соответствия действительности результатов.

Примечание - Полностью автоматизированные оценка и определение результата ассесмента, которые "существенно влияют" на кандидата, могут подпадать под действие законов в отношении защиты данных или частной жизни.

8.3 Программное обеспечение для обратной связи

8.3.1 Обеспечение обратной связи

Уровень обратной связи либо предоставляется кандидату автоматически, либо ассесмент-центр согласовывает это с целью оценки. Уровень обратной связи может быть различным: вывод только общего результата, вывод промежуточного результата, результат для отдельных элементов, разъяснение правильных ответов, подсказки для дальнейшего решения и ссылки на учебные материалы или источники информации.

8.3.2 Степень доверия

Обратная связь должна быть оправдана в педагогическом плане. В программное обеспечение, возможно, потребуется включить процедуры для подавления обратной связи в случае отсутствия достаточного обоснования.

8.3.3 Представление обратной связи

8.3.3.1 Представление обратной связи (будь то на экране или на бумаге, в текстовом, графическом редакторе или иным образом) должно быть четким, легко интерпретируемым и с использованием любых необходимых пояснений.

8.3.3.2 Обратная связь при высокоуровневом ассесменте должна поддерживать конфиденциальность элементов.

8.3.3.3 Обратная связь должна быть направлена на содействие обучению и развитию обучающегося.

8.3.3.4 Если обратная связь будет вызывать неудобства, внимание должно быть уделено обеспечению обратной связи с человеком (не автоматически).

8.3.4 Апробация

Программное обеспечение для обеспечения обратной связи должно быть апробировано с рядом различных ответов кандидатов, чтобы гарантировать, что оно работает последовательно и в соответствии с педагогическими требованиями.

8.4 Сохранение конфиденциальности данных при апробации

Когда фактические ответы кандидатов используются при апробации программного обеспечения, чтобы обеспечить подсчет, определение результата или обратную связь, любые персональные данные кандидатов должны быть удалены или заменены фиктивными данными, чтобы гарантировать конфиденциальность.

9 Подготовка и передача содержания ассесмента и правильных ответов

Примечание 1 - Данный раздел применим к распространителям ассесмента, охватывает подготовку содержания ассесмента и ответов для эксплуатационного использования и их передачи к месту назначения. Предполагается, что подготовка и доставка ассесмента, как правило, происходят в разных местах, которые могут быть расположены либо дистанционно, либо могут быть помещениями в одном и том же здании. Доставка ассесмента может быть произведена либо в определенный ассесмент-центр, либо в библиотеку, если это низкоуровневый ассесмент для единого кандидата.

Примечание 2 - Данный раздел применим к ИТ-передаче содержания ассесмента для ИТ-доставки, независимо оттого, автоматически или вручную будет вестись подсчет результатов.

Примечание 3 - 9.1 и 9.2.1 применимы как к высокоуровневому, так и к низкоуровневому ассесменту 9.2.2 и 9.2.3 применимы только к высокоуровневому ассесменту.

Примечание 4 - Для хранения содержания ассесмента в ассесмент-центрах см. 13.5.2, для хранения файлов с ответами см. 13.6.

9.1 Подготовка содержания ассесмента и правильные ответы для использования

9.1.1 Подлинность и целостность

Распространители ассесмента должны установить процедуры для обеспечения подлинности и целостности содержания ассесмента, элементов и правильных ответов, в том числе для того, чтобы:

a) форма ассесмента и все отдельные элементы относились к предполагаемому ассесменту;

b) использовались только современные и утвержденные формы ассесмента и версии элементов;

c) каждая форма ассесмента имела соответствующее количество элементов и соответствовала любым другим требованиям;

d) информация о правильных ответах являлась точной и правильной, связанной с соответствующими элементами;

e) запись правильных ответов и любых связанных с ними алгоритмов принятия решений в случае необходимости, для выбора элементов из банка данных, перетасовки последовательности элементов или ответов, в пределах элементата и для вставки случайных величин в элементы.

9.1.2 Конфиденциальность

Конфиденциальность содержания ассесмента и правильных ответов должна быть сохранена во время необходимых процедур при подготовке к релизу.

Примечание - Конфиденциальность материала ассесмента на ранних этапах подготовки, хотя и является необходимой, выходит за рамки настоящего стандарта.

9.2 Передача содержания ассесмента и правильных ответов

9.2.1 Распространители ассесмента должны установить процедуры для обеспечения безопасности содержания ассесмента (включая форму ассесмента и правильные ответы) во время передачи данных между исходными организациями и получателями. Эти меры должны быть направлены на обеспечение того, чтобы:

a) содержание ассесмента было получено предполагаемым получателем;

b) достоверность ассесмента подтверждалась;

c) сохранялась целостность ассесмента;

d) содержание ассесмента не стало известно посторонним лицам.

9.2.2 Для высокоуровневого ассесмента следует учитывать следующее:

a) уведомление об отправке и получении;

b) в том случае, если используется физическая транспортировка данных (например, на CD-ROM), меры безопасности должны быть сопоставимы с соответствующими мерами при передаче данных на бумажных носителях;

c) использование криптографически зашифрованных материалов при отправлении в электронном виде, в частности через внешние системы;

d) передача содержания ассесмента только по предварительной договоренности, с помощью "обратного вызова" (передача в ответ на запрос);

e) использование протоколов передачи для проверки целостности записи ответа;

f) процедуры для сотрудников ассесмент-центров для проверки подлинности и целостности записи ответа;

g) аутентификация сообщений для проверки целостности полученного содержания ассесмента.

9.2.3 Если высокоуровневый ассесмент поставляется онлайн с удаленного сервера, следует рассмотреть вопрос о резервном сервере в случае возникновения технических проблем.

10 Программное обеспечение и процедуры для записи и передачи данных и ответов кандидатов, а также для их хранения распространителями ассесмента

Примечание 1 - Данный раздел применим к распространителям ассесмента. Все подразделы относятся к высокоуровневому ассесменту, а 10.1 и 10.2 также имеют отношение к низкоуровневому ассесменту.

Примечание 2 - "Записи ответа" включают в себя ответы как на закрытые, так и на открытые элементы и могут включать в себя материал (например, эссе), направленный человеку для оценки либо непосредственно, либо через распространителя ассесмента.

Примечание 3 - Этот раздел также распространяется на программное обеспечение и процедуры для электронной передачи курсовых работ кандидатов.

10.1 Интероперабельность

При проектировании файла или форматов записи необходимо обратить внимание на то, чтобы облегчить:

a) обмен личными данными и/или результатами кандидатов с ведомственными записями учащихся, системами управления обучением и/или органом, присваивающим квалификации;

b) обмен данными пункта и ответа с другими пользователями ассесмента (например, с помощью стандартов IMS для вопросов и тестов на интероперабельность);

c) экспорт ответов и оценок в базу данных, электронную таблицу или статистическое программное обеспечение для анализа.

10.2 Запись ответов и привязка ответов к идентификации кандидата

10.2.1 Программное обеспечение для записи ответов кандидата должно предусматривать следующее:

a) личные данные кандидата могут быть импортированы из существующей записи или получены непосредственно перед началом ассесмента;

b) подробности и формы ассесмента или отдельные элементы, представленные кандидату, включая любые случайные параметры;

c) ответ(ы) кандидатов по каждому элементу, в том числе полный текст любого открытого ответа;

d) затраченное время (при необходимости);

e) информация о каких-либо результатах или обратной связи дается в конце ассесмента;

f) комментарии любого кандидата по ассесменту или ассесмент-центру.

Примечание - В некоторых ассесментах не всегда требуется запись имени кандидата, но может потребоваться запись других персональных данных (например, возраст, пол, образование) для оказания помощи в оценке результата и контроле. В высокоуровневом ассесменте подробные вопросы, представленные кандидату, и его/ее ответы необходимы как контрольный журнал на случай запросов или обращений.

10.2.2 Следует рассмотреть вопрос об автоматическом сохранении ответов через определенные промежутки времени (каждые 10 мин. или после каждого вопроса или группы вопросов) во время ассесмента, чтобы не произошла потеря данных в случае технического сбоя или прерывания ассесмента, и разрешении на перезапуск с восстановлением наибольшего количества данных.

10.2.3 Работа программного обеспечения должна быть проверена в широком диапазоне обстоятельств, чтобы гарантировать, что данные кандидата, составляющие части элемента и ответы всегда были правильно связаны между собой. При проверке должна быть обеспечена конфиденциальность персональных данных кандидатов путем использования фиктивных данных везде, где это возможно.

10.3 Передача файлов с ответами распространителю ассесмента

10.3.1 Распространители ассесмента должны установить процедуры для обеспечения конфиденциальности и целостности записей ответов, передаваемых из ассесмент-центра распространителю ассесмента. Следует учитывать, в зависимости от обстоятельств, следующее:

a) уведомление об отправке и получении;

b) в том случае, если используется физическая транспортировка данных (например, с помощью дискеты), меры безопасности должны быть сопоставимы с соответствующими мерами при передаче данных на бумажных носителях;

d) использование протоколов передачи для проверки целостности записей;

e) процедуры для сотрудников центров оценки для проверки подлинности и целостности документов;

f) процедуры резервного копирования, которые должны быть в ассесмент-центре, в целях безопасности, по крайней мере до тех пор, пока получение данных не было подтверждено.

10.3.2 Меры безопасности должны распространяться на любые передачи записей с ответами между распространителем ассесмента и человеком, проводящим оценку.

Если ответы направляются человеку, проводящему оценку, и анонимность является необходимым требованием, то нужно обеспечить, чтобы он не мог получить доступ к персональным данным кандидатов, но при этом должно выполняться корректное сопоставление результата с данными кандидата.

10.4 Хранение файлов с ответами распространителями ассесмента

Процедуры хранения данных кандидата и ответов должны учитывать:

a) необходимость сохранения полной информации о личных данных кандидата в течение заданного периода в случае запросов или обращений;

b) необходимость защиты персональных данных, касающихся кандидатов, в соответствии с законодательством о защите персональных данных;

c) необходимость поддерживания списка успешных кандидатов;

d) необходимость сохранения данных ответа и некоторых биографических данных для постоянного мониторинга и анализа; такие данные должны быть анонимными;

e) необходимость сохранения полных текстов открытых ответов для анализа и возможных изменений в правилах оценки;

f) необходимость безопасного резервного копирования данных.

11 Обеспечение ассесмент-центров инструкциями и информацией, связанной с ассесментом

Примечание - Данный раздел применим к распространителям ассесмента. Все подразделы относятся к высокоуровневому ассесменту, а 11.1 и 11.2 также имеют отношение к низкоуровневому ассесменту.

11.1 Техническая информация и помощь

11.1.1 Распространители ассесмента должны обеспечить ассесмент-центры четкими инструкциями о том, как загрузить и настроить программное обеспечение для ассесмента (включая любые связанные с программным обеспечением функции администрирования), как начинать и заканчивать ассесмент.

11.1.2 Техническая помощь должна быть доступна для ассесмент-центров, как для первоначальной настройки программного обеспечения (при необходимости), так и во время ассесмент-сессий. Информация для ассесмент-центра должна включать контактные номера линии поддержки и рекомендации по устранению неполадок.

11.2 Информация, связанная с ассесментом

Распространители ассесмента должны обеспечивать ассесмент-центры конкретной информацией о каждом ассесменте, насколько это возможно, которая должна включать:

a) информацию, предусмотренную для кандидатов (см. 12.1);

b) минимальные требования к оборудованию, программному обеспечению, периферийным устройствам и каналам связи, если они отличаются от аналогичных в ассесмент-центрах;

c) любые специальные требования к конфигурации аппаратного и программного обеспечения, например, требования к специальным шрифтам или набору символов;

d) любые справочные материалы или устройства (например, калькуляторы), которые должны быть предоставлены ассесмент-центрами;

e) любые специальные процедуры для запланированных перерывов;

f) напоминания кандидатам о периодическом сохранении ответов;

g) является ли необходимым присутствие специалиста или преподавателя для помощи в устранении неполадок.

11.3 Общие инструкции

Распространители ассесмента должны обеспечивать ассесмент-центры (и потенциальные новые ассесмент-центры) четкими инструкциями относительно мероприятий, персонала и деятельности центров в соответствии с разделами 13-17.

Инструкции для ассесмент-центров должны регламентировать:

a) дизайн рабочего места и расстояние между рабочими местами;

Примечание - Это актуально,если: кандидаты решают один и тот же ассесмент, если кандидаты, вероятно, будут отвлекаться, находясь в непосредственной близости от других кандидатов, или если ассесмент не требует совместной работы кандидатов.

b) спецификацию необходимого оборудования, программного обеспечения, периферийных устройств и линий связи;

c) расположение рабочих мест и окружающую обстановку в помещении, где будет проводиться ассесмент;

d) любые другие объекты, необходимые ассесмент-центрам для ИТ-доставки оценок;

e) меры безопасности, в том числе безопасность содержания ассесмента и ответов кандидатов;

f) функции и требования к квалификации персонала ассесмент-центра;

g) минимальный объем взаимодействия наблюдателей и кандидатов в течение сессии;

h) процедуры проведения ассесмент-сессий и ликвидации чрезвычайных ситуаций и нарушений.

11.4 Апелляции

Распространители ассесмента должны указать порядок процедуры апелляции, которая должна:

a) обязать наблюдателей регистрировать все технические сбои, задержки и любые жалобы кандидатов, которые могли бы лечь в основу апелляции;

b) обеспечить просмотр автоматизированной оценки результата заданий, на которые кандидат подал апелляцию.

12 Обеспечение кандидатов информацией и практическим материалом

Примечание - Данный раздел применим к распространителям ассесмента. Все подразделы относятся к высокоуровневому ассесменту, а 12.1-12.3 также имеют отношение к низкоуровневому ассесменту. Информация может быть направлена через ассесмент-центры (которые несут ответственность за передачу информации кандидатам) или через провайдеров курсов и/или непосредственно кандидатам.

12.1 Предварительное обеспечение кандидатов информацией, связанной с ассесментом

12.1.1 Информация об ассесменте должна быть доступна для кандидатов, прежде чем они приступят к ассесменту. При высокоуровневом ассесменте эта информация должна быть предоставлена заранее. Для некоторых низкоуровневых ассесментов может быть достаточным обеспечение информацией в день ассесмента.

Для обеспечения целостности ассесмента информация может включать:

a) область ассесмента (например, области знания или навыки, которые будут оценены) в соответствии с методическими решениями;

b) количество и типы элементов;

c) любые подразделы ассесмента по содержанию или по типу элемента;

d) данные о том, как элементы оцениваются, как баллы объединяются в общий результат, включая весовые коэффициенты для разных типов вопросов или заданий, любой правки для выбора и любой оценке "методов" или последовательностей действий (см. примечание к 8.2);

e) данные о том, включены ли какие-либо неоцененные элементы, и если да, то почему;

f) ограничение по времени (если используется) и то, какие применяются меры, чтобы компенсировать возможные задержки системы (где технологическое решение не представляется возможным, например, потому что передача данных идет через Интернет); кандидатам должно быть рекомендовано сообщать о любых задержках в системе наблюдателям;

g) как ответить, изменить ответы, выйти или перемещаться внутри системы (должны быть представлены в виде практического материала - см. 12.2);

h) как получить доступ к практическому материалу;

i) любые навигационные ограничения (см. 7.1) и их причины;

j) требуемые навыки по работе на ПК (например, навыки работы на клавиатуре необходимы всегда);

k) любые разрешенные справочные материалы или устройства (например, калькуляторы), которые предусмотрены заданием;

I) любые другие разрешенные данные или пособия, которые будут обеспечены ассесмент-центром или которые должен иметь при себе кандидат;

m) обеспечение кандидатов вспомогательными технологиями;

n) процедуру апелляции, которая должна включать ссылки на технические сбои и задержки (если это возможно).

12.1.2 Кандидатам рекомендуется делать небольшие паузы (чтобы расслабить мышцы и отвести взгляд от экрана) для того, чтобы уменьшить последствия длительного использования ВДУ (видеодисплейного устройства).

12.2 Обеспечение практическим материалом

12.2.1 Практический материал по ассесменту, схожий с реальными заданиями, должен быть доступен кандидатам перед началом ассесмента. При высокоуровневом ассесменте эта информация должна быть предоставлена заранее. Для некоторых низкоуровневых ассесментов может быть достаточным обеспечение практическим материалом в день ассесмента. Практический материал должен включать в себя:

a) все соответствующие функции программного обеспечения;

b) все типы элементов, используемых в реальном ассесменте;

c) образец элементов, аналогичных по содержанию, стилю и сложности, которые используются в реальном ассесменте;

d) образец результатов и/или обратной связи.

12.2.2 Практические материалы должны содержать информацию о поддержке и отказоустойчивых функциях программного обеспечения.

12.2.3 Практические материалы должны быть доступны в разных форматах (например, через Интернет, на дисках, в ассесмент-центрах, учебных центрах) в соответствии потребностями потенциальных кандидатов.

12.3 Обеспечение кандидатов с ограниченными возможностями

Кандидаты с ограниченными возможностями должны заранее обращаться в ассесмент-центр для надлежащего обеспечения своих потребностей.

12.4 Обеспечение кандидатов информацией по вопросам безопасности ассесмента

Кандидаты должны быть заранее предупреждены:

a) о нормативных документах и правилах ассесмента, в том числе о том, какая информация или помощь могут быть доступны, а также о применении санкций или дисциплинарных мер;

b) о регламенте перерывов в течение ассесмента;

c) о наличии видеонаблюдения и/или контроля нажатия клавиш с объяснением причин применения этих мер;

d) что предусмотрено в случае возникновения технических проблем;

e) какие требуются доказательства подтверждения личности; если подтверждение личности включает фотосьемку, взятие отпечатков пальцев, то это должно быть объявлено заранее, с объяснением причин такого рода действий;

f) как могут быть использованы оценки и результаты и будут ли они доведены до любого другого лица или организации.

13 Оборудование и средства ассесмент-центров, включая хранение ответов

Примечание 1 - Данный раздел применим к ассесмент-центрам. 13.1, 13.2, 13.3 и 13.4 относятся как к высокоуровневому, так и к низкоуровневому ассесменту, а 13.5 и 13.6 имеют отношение только к низкоуровневому ассесменту.

Примечание 2 - Этот раздел не предполагает использование специального ассесмент-центра; средства, используемые в ассесмент-центрах, могут быть иногда применены для других целей.

Примечание 3 - В дополнение к специальным рекомендациям настоящего раздела ассесмент-центрам необходимо соблюдать общие требования распространителей ассесмента и требования охраны здоровья и безопасности, защиты конфиденциальности персональных данных кандидатов, в том числе информации, касающуейся здоровья и инвалидности.

13.1 Рабочие места

13.1.1 Каждое рабочее место должно соответствовать рекомендациям по эргономичности ISO 9241-5.

При проектировании рабочих мест должно уделяться внимание:

a) посадочному месту и возможность его регулировки с учетом того, что кандидатами могут быть как взрослые, так и дети;

b) высоте экрана и поверхности рабочего места;

c) защите от бликов;

d) размеру поверхности рабочего места с учетом обеспечения достаточного пространства для оптимального расположения клавиатуры, мыши и экрана, в том числе для левшей;

e) пространству для печатных или других материалов, которые могут понадобиться во время ассесмента;

f) пространству для черновиков, если это разрешено.

13.1.2 Расстояние между рабочими местами должно быть достаточным для комфортной работы. Если кандидаты проходят одновременно один и тот же ассесмент (без права общения во время ассесмента), то должны быть приняты меры для обеспечения того, чтобы они не видели экранов друг друга.

Мерами могут быть:

a) достаточное расстояние между рабочими местами (рекомендуется не менее 1,25 м);

b) перегородки между рабочими местами.

13.1.3 Центры должны учитывать необходимость для некоторых рабочих мест иметь дополнительное пространство или средства для удовлетворения потребностей кандидатов с ограниченными возможностями (например, доступ инвалидного кресла, дополнительное оборудование, большие мониторы, вспомогательные технологии).

13.2 Аппаратное и программное обеспечение

13.2.1 Каждое рабочее место должно быть оснащено аппаратными средствами, программным обеспечением, периферийными устройствами и линиями связи в соответствии со стандартами ISO 9241-302, ISO 9241-303, ISO 9241-304, ISO 9241-305, ISO 9241-307 и ISO/TS 9241-411.

13.2.2 Если при ассесменте используется звук, либо как его часть, либо для оказания помощи кандидатам с особыми потребностями, то необходимо предоставить кандидатам другое помещение или наушники, чтобы не мешать другим кандидатам.

13.2.3 Ассесмент-центрам необходимо учитывать потребности во вспомогательных технологиях в зависимости от ожидаемых потребностей кандидатов.

13.2.4 В случае выхода из строя оборудования, особенно при высокоуровневом ассесменте, должны быть предусмотрены надлежащие меры:

a) запасные рабочие места (требуемой спецификации);

b) запасные легкозаменяемые элементы (например, мышь, экран);

c) резервный сервер, если ассесменты доставляются посредством собственной сети ассесмент-центра.

13.2.5 Оборудование должно поддерживаться в рабочем состоянии, чтобы минимизировать вероятность сбоя во время ассесмента.

13.2.6 Должен быть установлен антивирус последней версии.

13.3 Проверка программного обеспечения на оборудовании ассесмент-центра

13.3.1 Сотрудники центра, используя материалы, предоставленные распространителем ассесмента, должны убедиться, что программное обеспечение для ассесмента корректно работает на всех аппаратных/программных конфигурациях, используемых в ассесмент-центре.

Там, где общее программное обеспечение используется для ряда ассесментов, его работоспособность для каждого ассесмента или группы ассесмента должна быть проверена отдельно.

13.3.2 Если ассесмент выполняется при помощи собственного сервера, проверка должна проводиться перед фактическим ассесментом, чтобы убедиться, что скорость реакции достаточна для ожидаемого числа кандидатов. Может потребоваться повторная проверка для ассесмента с различными характеристиками.

13.4 Другие средства

13.4.1 Окружающая обстановка

Для обеспечения комфортных условий ассесмента следует уделять внимание решению вопросов, связанных с воздействием вредных факторов при использовании компьютера, особенно:

a) усилению вентиляции для компенсации тепла, выделяемого оборудованием;

b) адаптации освещения для работы как на экране, так и вне его.

13.4.2 Дополнительные площади

В зависимости от характера ассесмента и возможностей кандидатов ассесмент-центры должны иметь дополнительные площади, отделенные от основной площади проведения ассесмента. Они могут включать:

a) отдельные площади для кандидатов, требующих специальной помощи или средств, которые могут отвлекать других кандидатов (например, помощи переписчика или использования звука);

b) разделение по религиозным причинам;

c) возможности для практического ассесмента.

13.5 Безопасность ассесмента

13.5.1 Расположение рабочих мест и положение стола наблюдателя (видеонаблюдения, если используется) должны способствовать выявлению любой несанкционированной активности кандидатов, например общение или использование неразрешенного справочного материала.

13.5.2 Должны быть обеспечены соответствующие условия безопасности, если содержание ассесмента, правильных ответов, ответов кандидата или данных кандидата доставляется в ассесмент-центр до или после ассесмент-сессии, в том числе:

a) физические меры безопасности (как правило, сейф) для любых бумажных или электронных носителей информации;

b) электронная защита для любой информации, содержащейся в сети;

c) обеспечение безопасности комнаты для ассесмента и соответствующих серверов после загрузки конфиденциальных материалов в сеть.

Содержание ассесмента должно быть защищено от несанкционированного доступа непосредственно перед и после ассесмента, если публикация запрещена заказчиком или распространителем ассесмента. Безопасность данных кандидата и ответов должна обеспечиваться постоянно.

13.5.3 Следует рассмотреть вопрос необходимости удаления всех конфиденциальных данных (в том числе содержания ассесмента, ответов и личных данных кандидатов) из общедоступных сетей сразу же после завершения каждой ассесмент-сессии.

13.6 Хранение файлов ответов в ассесмент-центрах

13.6.1 Если записи ответов кандидата хранятся в ассесмент-центрах, то должны быть предусмотрены меры безопасности, в том числе:

a) предотвращение несанкционированного доступа;

b) предотвращение фальсификации и подмены данных;

c) уничтожение файлов в соответствии с согласованным графиком, например, при подтверждении получения информации от распространителя ассесмента или по истечении срока возможных апелляций.

В зависимости от обстоятельств меры безопасности могут включать:

1) ID пользователя и пароль доступа к компьютерам или сети;

2) шифрование данных;

3) удаление записей из сети в кратчайшие сроки после окончания ассесмент-сессии;

4) хранение съемного электронного носителя данных в безопасном месте;

5) процедуры идентификации записей для уничтожения.

13.6.2 Если ответы не предназначены для хранения в ассесмент-центре, должны быть приняты меры для предотвращения случайного кэширования на машине кандидата.

14 Штатное расписание ассесмент-центра

Примечание 1 - Раздел применим к ассесмент-центрам и относится к высокоуровневому ассесменту. Раздел применим к сотрудникам ассесмент-центра, при этом не оговаривается их присутствие в ассесмент-центре полный рабочий день.

Примечание 2 - В дополнение к ИТ-рекомендациям этого раздела ассесмент-центры должны соблюдать все требования распространителей ассесмента и техники безопасности.

14.1 Функции и количество персонала

14.1.1 Каждый ассесмент-центр должен иметь по крайней мере одного сотрудника для выполнения следующего набора функций, индивидуально или коллективно:

a) взаимодействие с распространителем ассесмента;

b) управление, включая управление регистрацией или идентификацией кандидатов, началом и окончанием ассесмента;

c) наблюдение за кандидатами во время ассесмент-сессии и обеспечение недопустимости случаев общения между кандидатами или несанкционированного доступа к информации;

d) технические функции, настройка и поддержка оборудования и программного обеспечения, оказание технической помощи и устранение неполадок.

14.1.2 Количество сотрудников в команде должно быть достаточным для определенной частоты ассесмент-сессии и числа кандидатов в каждой сессии.

14.1.3 При определении количества персонала для выполнения конкретных ассесмент-сессии должно учитываться:

a) ожидаемое количество кандидатов;

b) наличие кандидатов с особыми потребностями;

c) особые требования распространителя ассесмента, например, в соотношении наблюдателей и кандидатов;

d) особые ограничения для наблюдателей, которые могут быть заинтересованы в результатах ассесмента; например, они являются преподавателями или родственниками кандидатов;

e) знания и опыт персонала, сочетание административных и технических навыков, указанных в 14.1.1.

Примечание - Из-за вероятной потребности в технической помощи или устранения неполадок необходимое количество персонала может быть выше, чем для проведения письменного ассесмента с таким же количеством кандидатов.

14.2 Обучение персонала

14.2.1 Все сотрудники ассесмент-центра должны иметь:

a) общее понимание принципов ассесмента;

b) понимание важности безопасности и знание мер безопасности, необходимых для ИТ-доставки ассесмента, особенно тех, которые применяются их собственным центром;

c) общее знакомство с программным обеспечением ассесмента и платформой доставки, используемыми центром;

d) понимание возможности злоупотребления служебным положением при ИТ-доставке ассесмента и способности предотвратить или обнаружить его;

e) понимание специальных потребностей и знание специального оборудования и средств, имеющихся в центре для работы с ИТ-доставкой ассесмента;

f) осведомленность о местных особенностях, законодательстве и практических кодексах, имеющих отношение к деятельности центра.

14.2.2 Персонал ассесмент-центра должен знать все или некоторое из нижеперечисленного, в соответствии с функциями:

a) конкретные требования соответствующих распространителей ассесмента;

b) конкретные правила, касающиеся ассесмента(ов), которыми они занимаются, например, по вопросам использования информационных материалов;

c) начало/конец ассесмента и процедуры безопасности, характерные для распространителей ассесмента и/или конкретного ассесмента;

d) любое оборудование, программное обеспечение или конфигурации конкретных требований к ассесменту.

14.2.3 Должна быть программа обучения персонала для гарантии, что все сотрудники ассесмент-центра проходят начальное обучение и повышение квалификации в соответствии с их функционалом.

15 Подготовка к ассесмент-сессии

Примечание 1 - Данный раздел применим к ассесмент-центрам и относится к высокоуровневому ассесменту.

Примечание 2 - В дополнение к ИТ-рекомендациям в данном разделе ассесмент-центры должны соблюдать все требования распространителей ассесмента, касающиеся охраны здоровья и безопасности, защиты конфиденциальных данных кандидатов, в том числе информации о здоровье и инвалидности.

15.1 Подготовка помещения и оборудования

Предварительная (до начала ассесмент-сессии) подготовка помещения и оборудования должна включать:

a) проверку расположения рабочих мест в соответствии с разделом 13;

b) включение всех необходимых компьютеров (включая резервные, если таковые имеются) и периферийных устройств для того, чтобы убедиться, что они работают исправно;

c) проверку линий связи, если таковые используются;

d) проверку правильной установки даты и времени;

e) загрузку программного обеспечения ассесмента и любого другого необходимого программного обеспечения;

f) при необходимости настройку программного обеспечения в соответствии с требованиями ассесмента или проверку конфигурации, например, отключение проверки орфографии;

g) проверку, если это возможно, правильной работы программного обеспечения и процедур хранения результатов ассесмента;

h) где это возможно и необходимо, отключить доступ к любому несанкционированному программному обеспечению, которое может угрожать безопасности ассесмента, например, веб-доступ к различным ресурсам или электронной почте.

15.2 Подготовка к ассесменту

Подготовка к ассесменту должна включать, если этот процесс не автоматизирован:

a) загрузку или запуск ассесмента;

b) проверку того, что ассесмент верен для кандидата(ов);

c) проверку того, что запущенная версия является самой актуальной версией ассесмента;

d) проверку целостности ассесмента при необходимости;

e) обеспечение необходимыми дополнительными материалами и бумагой для черновых набросков, если это разрешено.

15.3 Подготовка кандидата(ов)

15.3.1 Личность кандидата должна быть проверена, по крайней мере необходим один документ, удостоверяющий личность.

Примечание - Распространители ассесмента могут устанавливать более высокие требования, включая фотографии или отпечатки пальцев.

15.3.2 Перед началом ассесмент-сессии, если эта функция автоматически не предоставляется распространителем ассесмента, должно быть установлено соответствие между личными данными кандидата и номером регистрации ассесмента либо номером используемого рабочего места. Это связано с тем, что ответы кандидата регистрируются на его имя. Если необходимо ввести личные данные кандидата, например в ассесмент-центре, это лучше сделать за пределами помещения ассесмента.

15.3.3 Персонал ассесмент-центра должен убедиться, что кандидат:

a) удобно расположился;

b) располагает любыми согласованными вспомогательными технологиями и знает, как их использовать;

c) ознакомлен с инструкций ассесмента, процедурами и правилами, в том числе как ориентироваться и отвечать на различные типы элементов (см. раздел 12);

d) знает об ограничении по времени времени и как ассесмент будет прекращен;

e) знает, как обратиться за технической или чрезвычайной помощью.

15.3.4 При необходимости распространитель ассесмента может предложить кандидату подписать соглашение, по которому он/она не будут раскрывать содержание ассесмента.

16 Проведение ассесмент-сессии

Примечание - Данный раздел применим к ассесмент-центрам и относится к высокоуровневому ассесменту. В дополнение к ИТ-рекомендациям в данном разделе ассесмент-центры должны соблюдать все требования распространителей ассесмента, касающиеся здоровья и безопасности кандидатов и защиты конфиденциальных данных кандидатов.

16.1 Наблюдение

16.1.1 По крайней мере один наблюдатель должен присутствовать в помещении в течение всей ассесмент-сессии, если наблюдатель один, он должен оперативно реагировать на просьбу о помощи (в том числе для оказания технической помощи). Наблюдатель не должен отвлекаться от обязанностей по наблюдению для оказания технической помощи, за исключением случаев, когда есть только один кандидат.

16.1.2 Наблюдатели должны убедиться, что требования ассесмента соблюдены, в частности что:

a) кандидаты не пытаются общаться друг с другом, если это не разрешено в рамках ассесмента, или с посторонним лицом (например, с помощью мобильного телефона или электронной почты);

b) работы других кандидатов не копируются/списываются (например, читая с другого экрана);

c) кандидаты не имеют доступ к любой несанкционированной информации или помощи на экране или иным способом;

d) любой разрешенный перерыв проводится в соответствии с правилами ассесмента и с минимальным ущербом для других кандидатов;

e) соблюдены ограничения по времени;

f) соблюдены правила, касающиеся опозданий и своевременных уходов.

Для выполнения своих функций наблюдателям, как правило, необходимо следить за экранами кандидатов путем перемещения по помещению.

16.1.3 Если технически нельзя предотвратить несанкционированный доступ к внешней информации в рамках программного обеспечения (см. 6.4.3), внимание следует уделить контролю нажатия клавиш с целью обнаружения несанкционированных действий.

16.2 Помощь кандидатам

16.2.1 Техническая помощь должна быть доступна в течение всего ассесмента в случае аппаратных/программных проблем. Другая помощь кандидатам, которая может быть доступна в течение всей ассесмент-сессии в соответствии с правилами ассесмента, включает в себя:

a) помощь кандидатам по навигационным вопросам, по вопросам записи ответов и т.д., если это не запрещено правилами ассесмента (как могло бы быть в случае ассесмента по навыкам в области ИТ);

b) объяснение инструкций и правил ассесмента;

c) помощь кандидатам с ограниченными возможностями в соответствии с предварительной договоренностью с распространителями ассесмента.

16.2.2 Помощь кандидатам в понимании элементов ассесмента не предоставляется, если это специально не установлено правилами ассесмента.

16.3 Учет присутствия

Сотрудники центра должны заполнить все необходимые сведения о присутствии, требуемые распространителем ассесмента, или проверить соответствие количества запущенных ассесментов количеству присутствующих кандидатов (если возможно).

16.4 Завершение ассесмента

В конце ассесмента сотрудники центра должны убедиться, что:

a) выход из программного обеспечения для ассесмента выполнен должным образом;

b) данные и ответы кандидата хранятся в защищенном виде или переданы в соответствии с требованиями;

c) сделаны все необходимые резервные копии и они хранятся в защищенном виде;

d) никакие материалы (например, распечатки) не взяты кандидатами из комнаты, где проводился ассесмент, без разрешения.

17 Процедуры, касающиеся чрезвычайных ситуаций, технических сбоев и нарушений

Примечание - Данный раздел применим к ассесмент-центрам и относится к высокоуровневому ассесменту. В дополнение к ИТ-рекомендациям в данном разделе ассесмент-центры должны соблюдать все требования распространителей ассесмента, касающиеся здоровья и безопасности кандидатов, защиты конфиденциальных данных кандидатов.

17.1 Чрезвычайные ситуации

Процедуры ликвидации чрезвычайных ситуаций (например, пожарной сигнализации) должны включать в себя:

a) обеспечение безопасности содержания и ответов ассесмента (например, заблокировав комнату, которая была эвакуирована без закрытия соответствующих программ);

b) сведение к минимуму возможности сговора между кандидатами или общение с другими людьми во время перерывов в ассесменте;

c) обеспечение того, чтобы время, необходимое для ассесмента, было предоставлено кандидатам в полном объеме;

d) защиту доступа к серверной комнате, если таковая используется.

17.2 Технические сбои и задержки

17.2.1 Процедуры, связанные со сбоями связи, аппаратного и программного обеспечения (которые могут повлиять на отдельные рабочие места или на работу всей сети), как правило, позволяют кандидату (кандидатам) продолжить работу на другом рабочем месте или в более позднее время без потери рабочего времени.

В крайних случаях может быть предпочтительным написание ассесмента в бумажном виде.

17.2.2 Чтобы свести к минимуму перерывы из-за технических сбоев, внимание должно быть уделено:

a) техническому обслуживанию аппаратных средств;

b) обеспечению запасными рабочими местами и/или легко заменяемыми элементами (см. 13.2.4).

17.2.3 Наблюдатели должны вести запись и сообщать о любых жалобах кандидатов на задержки в системе.

17.3 Перезапуск после непланового перерыва

Процедуры перезапуска ассесмента после незапланированного перерыва (т.е. при чрезвычайных ситуациях или по техническим причинам) должны обеспечить наблюдателю:

a) управление перезапуском;

b) повторное установление времени, когда это необходимо;

c) гарантии, что кандидаты смогут повторно получить доступ к предыдущим ответам, если это технически возможно и разрешено правилами ассесмента (см. 10.2.2).

17.4 Регистрация

Все чрезвычайные ситуации, технические сбои и нарушения, а также меры, принятые по их устранению, должны быть зарегистрированы и доведены до сведения руководителя ассесмент-центра и/или распространителя ассесмента в соответствии с процедурами. (К нарушениям относятся угрозы или фактическое нарушение безопасности содержания ассесмента, правильных ответов, ответов кандидатов, а также попытка или фактическое мошенничество.)

Приложение А

(справочное)

Сценарии

А.1 Общее

Сценарии, приведенные в данном приложении, иллюстрируют различные способы, которыми ассесмент может использоваться с помощью ИТ-технологий и как организации, участвующие в ассесменте, могут подтвердить соответствие настоящему стандарту.

А.2 Сценарий 1. Орган, присваивающий квалификацию A

Организация A предлагает ассесмент для сертификации ИТ-навыков, который может проводиться в большинстве школ и колледжей. Это высокоуровневый ассесмент. Организация несет ответственность за содержание (и, следовательно, действует в качестве заказчика ассесмента), разрабатывает собственное программное обеспечение и отвечает за доставку ассесмента (и, следовательно, также выступает в качестве распространителя ассесмента).

Выступая в роли заказчика ассесмента, организация должна соответствовать 5.1; в роли распространителя она должна соответствовать 5.2 и разделам 6-12. Школы и колледжи, на базе которых проводятся ассесменты, должны соответствовать требованиям разделов 13-17.

А.3 Сценарий 2. Орган, присваивающий квалификацию B

Организация B, которая является промышленной организацией, предлагает сертификацию знаний в области здоровья и безопасности. В некоторых областях отрасли работники могут быть задействованы только для выполнения определенных задач, поэтому наличие сертификата, который подтверждает их уровень знаний, имеет значение для юридической ответственности работодателей и для страховых премий и выплат. Несмотря на простоту содержания ассесмента, это высокоуровневый ассесмент. Организация В несет ответственность за содержание (и, следовательно, действует в качестве заказчика ассесмента), но использует коммерческого распространителя ассесмента. Распространитель имеет свое собственное программное обеспечение для доставки и франчайзинговые ассесмент-центры.

Выступая в роли заказчика ассесмента, организация должна соответствовать подразделу 5.1. Распространитель ассесмента должен соответствовать 5.2 и разделам 6-12; он также должен брать на себя ответственность за контроль над ассесмент-центрами. Ассесмент-центры должны соответствовать требованиям разделов 13-17.

А.4 Сценарий 3. Университет C

Университет C предлагает широкий выбор обобщенных ассементов, которые студенты сдают как часть ассесмента для получения модуля. Такие мероприятия для студентов проводятся по утвержденному плану. Так как результаты ассесмента учитываются в качестве "премирования" студентов, данные ассесменты относятся к высокоуровневому ассесменту Университет C готовит и проводит ассесмент в своем помещении с помощью лицензионного программного обеспечения с центральным подразделением, ответственным за ИТ-аспекты ассесмента. Университет C, следовательно, выступает в качестве заказчика ассесмента (разные отделы отвечают за содержание ассесмента), в качестве распространителя ассесмента (эту функцию выполняет центральное подразделение, ответственное за ИТ-аспекты ассесмента) и в качестве ассесмент-центра (в периоды экзаменационных мероприятий).

Выступая в роли заказчика ассесмента, организация должна соответствовать подразделу 5.1; в роли распространителя должна соответствовать 5.2 и разделам 6-12. Школы и колледжи, на базе которых проводятся ассесменты, должны соответствовать требованиям разделов 13-17. Производитель программного обеспечения должен предоставить программное обеспечение, с помощью которого университет сможет достигнуть соответствия требованиям проведения ассесмент-мероприятий.

А.5 Сценарий 4. Университет D

Университет типа D производит ряд самооценок знаний и навыков, которые обеспечивают подготовку студентов первого года обучения к проверочным модулям, например, проверки математических навыков и навыков в знании иностранных языков. Университет D разрабатывает собственное программное обеспечение для этой цели. Студенты могут получить доступ к использованию этих оценок знаний. Данный вид занятий не является обязательным, и результаты ассесмента не приравниваются и не влияют на общую оценку успеваемости, хотя обнаружено, что студенты, которые используют при подготовке эти задания, обычно достигают лучших результатов при прохождении основных ассесментов. Мероприятия являются низкоуровневым ассесментом. Университет D выступает в качестве заказчика ассесмента (разные отделы отвечают за содержание ассесмента), в качестве распространителя и в качестве ассесмент-центра.

Выступая в роли заказчика ассесмента, университеты типа D должны соответствовать 5.1, в роли распространителя низкоуровневого ассесмента должны отвечать требованиям 5.2, 6.1, 6.2, 6.3, 6.5, 7.1, 7.2, 7.3, 7.4, 7.5, 8.1, 8.2, 8.3, 8.4, 9.1, 9.2.1, 10.1, 10.2, 11.1, 11.2, 12.1, 12.2 и 12.3. В своей роли ассесмент-центра для низкоуровневого ассесмента следует соответствовать требованиям 13.1, 13.2, 13.3 и 13.4.

А.6 Сценарий 5. Компания E

Компания E - финансовая компания, которая испоьзует ассесмент при необходимости оценки сотрудников (в сфере продаж) на их знание финансовых продуктов и инструкций, на знание требований законодательства в сфере финансовых услуг. Это высокоуровневый ассесмент, так как сотрудники компании могут потерять свои рабочие места в том случае, если они не справятся с выполнением ассесмента. Компания Е готовит ассесмент самостоятельно с помощью лицензионного программного обеспечения и распространяет его в собственной локальной сети, где есть возможность управления и контроля проведения ассесмента. Зачастую только один или два сотрудника выполняют ассесмент одновременно.

Компания E выступает в качестве заказчика ассесмента (она устанавливает свои собственные элементы ассесмента), в качестве распространителя и в качестве ассесмент-центра. Поэтому компании типа Е необходимо соблюдать все разделы настоящего стандарта. Производитель программного обеспечения должен предоставить программное обеспечение, с помощью которого компания сможет достигнуть соответствия требованиям проведения ассесмент-мероприятий.

А.7 Сценарий 6. Компания F

Компания F является розничной сетью, которая проводит курсы на знание своих продуктов и услуг для своих сотрудников в местных учебных центрах. В конце каждого курса сотрудники выполняют ассесмент в учебном центре; это является стимулом изучить курс более глубоко, а также используется для измерения эффективности курса. Компания проводит итоговую оценку знаний, но это низкоуровневый ассесмент. Компания F разрабатывает собственное программное обеспечение для этой цели и выступает в качестве заказчика ассесмента (задания составляются учебным центром), в качестве распространителя ассесмента, а также в качестве ассесмент-центра.

Выступая в роли заказчика ассесмента компании типа F должны соответствовать 5.1, в роли распространителя должны отвечать требованиям 5.2, 6.1, 6.2, 6.3, 6.5, 7.1, 7.2, 7.3, 7.4, 7.5, 8.1, 8.2, 8.3, 8.4, 9.1, 9.2.1, 10.1, 10.2, 11.1, 11.2, 12.1, 12.2 и 12.3. В роли ассесмент-центра для низкоуровневого ассесмента компаниям типа F следует соответствовать требованиям 13.1, 13.2, 13.3 и 13.4.

А.8 Сценарий 7. Тестирующая компания G

Тестирующие компании типа G предлагают ассесмент на знание языка в виде компьютерных тестов. У такого ассесмента есть множество вариантов использования - от выбора профессии (низкоуровневый ассесмент) до тестирования при собеседовании (высокоуровневый ассесмент). Тестирующая компания G несет ответственность за содержание ассесмента (и поэтому действует как заказчик ассесмента). Выступая в качестве распространителя, компания выбирает форму ассесмента в интероперабельном формате непосредственно с утверждением в ассесмент-центрах. Ассесмент-центры используют собственное программное обеспечение общего назначения и доставляют ассесмент кандидатам.

Выступая в роли заказчика ассесмента компании типа F должны соответствовать 5.1. Для обеспечения безопасности проведения высокоуровневого ассесмента (защиты данных) тестирующие компании в роли распространителя должны соответствовать 5.2 и разделам 6-12 либо непосредственно, либо путем утверждения программного обеспечения общего назначения в ассесмент-центрах. Когда используется высокоуровневый ассесмент, ассесмент-центры должны соответствовать требованиям разделов 13-17. Когда используется низкоуровневый ассесмент, ассесмент-центры должны соответствовать требованиям 13.1, 13.2, 13.3 и 13.4.

А.9 Сценарий 8. Поставщик открытого обучения H

Поставщик открытого обучения H разрабатывает обучающий материал, который распространяется в сети Интернет и используется как локальными ассесмент-центрами, так и учащимися самостоятельно у себя дома или на рабочем месте. Материал охватывает широкий спектр тематик, некоторые курсы разработаны для подготовки к внешней сертификации. Например, если учащиеся, которые успешно справились с данным курсом, возможно, пожелают пройти сертификацию, описанную в А.2, то эта подготовка представляет собой высокоуровневый ассесмент.

Для облегчения доступа к таким видам ассесмента поставщик открытого обучения проводит переговоры с соответствующими органами по сертификации, чтобы получить доступ к их сети ассесмент-центров для тех учащихся, которые учились дома. Сеть включает в себя традиционных распространителей ассесмента (школы, колледжи и университеты), а также более мелкие учебные центры и даже библиотеки.

В целях обеспечения безопасности высокоуровневого ассесмента эти ассесмент-центры должны соответствовать требованиям разделов 13-17, хотя некоторые из них будут работать в малых объемах, возможно, имея в наличии одно рабочее место и двух сотрудников.

Приложение ДА

(справочное)

Сведения о соответствии ссылочных международных стандартов (документов) межгосударственным стандартам

Таблица ДА. 1


Обозначение и наименование международного стандарта (документа)	Степень соответствия	Обозначение и наименование межгосударственного стандарта
ISO/IEC 17799:2005	-	*
ISO 9241-5	-	*
ISO 9241-11	-	*
ISO 9241-12	-	*
ISO 9241-13	-	*
ISO 9241-302	-	*
ISO 9241-303	-	*
ISO 9241-304	-	*
ISO 9241-305	-	*
ISO 9241-307	-	*
ISO/TS 9241-411	-	*
* Соответствующий межгосударственный стандарт отсутствует. До его утверждения рекомендуется использовать перевод на русский язык данного международного стандарта.

Библиография

Стандарты

BS 7925-2, Software testing - Part 2: Software component testing (Программное обеспечение. Испытания. Часть 2. Испытания компонентов)

ISO 9241-1, Ergonomic requirements for office work with visual display terminals (VDTs) - Part 1: General introduction (Эргономические требования, связанные с использованием видеотерминалов для учрежденческих работ. Часть 1. Общее введение)

ISO 9241-6, Ergonomic requirements for office work with visual display terminals (VDTs) - Part 6: Guidance on the work environment (Эргономические требования, связанные с использованием видеотерминалов для учрежденческих работ. Часть 6. Руководящие указания по рабочей среде)

ISO 9241-7, Ergonomic requirements for office work with visual display terminals (VDTs) - Part 7: Requirements for display with reflections (Эргономические требования, связанные с использованием видеотерминалов для учрежденческих работ. Часть 7. Требования к дисплею с отражениями)

ISO 9241-8, Ergonomic requirements for office work with visual display terminals (VDTs) - Part 8: Requirements for displayed colours (Эргономические требования, связанные с использованием видеотерминалов для учрежденческих работ. Часть 8. Требования к отображаемым цветам)

ISO 9241-10, Ergonomic requirements for office work with visual display terminals (VDTs) - Part 10: Dialogue principles (Эргономические требования к учрежденческим работам с использованием видеотерминалов (VDT). Часть 10. Принципы ведения диалога)

ISO 9241-11, Ergonomic requirements for office work with visual display terminals (VDTs) - Part 11: Guidance on usability (Эргономические требования, связанные с использованием видеотерминалов для учрежденческих работ. Часть 11. Руководство по определению и измерению используемости)

ISO 9241-12, Ergonomic requirements for office work with visual display terminals (VDTs) - Part 12: Presentation of information (Эргономические требования, связанные с использованием видеотерминалов для учрежденческих работ. Часть 12. Представление информации)

ISO 9241-13, Ergonomic requirements for office work with visual display terminals (VDTs) - Part 13: User guidance (Эргономические требования, связанные с использованием видеотерминалов для учрежденческих работ. Часть 13. Руководство пользователя)

ISO 9241-14, Ergonomic requirements for office work with visual display terminals (VDTs) - Part 14: Menu dialogues (Эргономические требования, связанные с использованием видеотерминалов для учрежденческих работ. Часть 14. Диалоги типа выбора меню)

ISO 9241-15, Ergonomic requirements for office work with visual display terminals (VDTs) - Part 15: Command dialogues (Эргономические требования, связанные с использованием видеотерминалов для учрежденческих работ. Часть 15. Командные диалоги)

ISO 9241-16, Ergonomic requirements for office work with visual display terminals (VDTs) - Part 16: Direct manipulation dialogues (Эргономические требования, связанные с использованием видеотерминалов для учрежденческих работ. Часть 16. Диалоги простых манипуляций)

ISO 9241-17, Ergonomic requirements for office work with visual display terminals (VDTs) - Part 17: Form-filling dialogues (Эргономические требования, связанные с использованием видеотерминалов для учрежденческих работ. Часть 17. Диалоги для заполнения формы)

Ресурсы Интернет

Примечание - На момент публикации следующие адреса веб-сайтов (URL) были действующими. Имейте в виду, что конкретные организации и/или компании могут в будущем изменить эти URL-адреса.

W3C (World Wide Web Consortium (Консорциум "всемирной паутины")) Web Accessibility Initiative (Инициатива о доступности "всемирной паутины") (WAI):

- http://www.w3.org/WAI/ документы WAI;

- http://www.w3.org/TR/WAI-WEBCONTENT/ руководящие принципы доступности веб-контента;

- http://www.w3.org/TR/ATAG10/ "Руководящие принципы доступности для разработчиков";

- http://www.w3.org/WAI/EO/Drafts/PWD-Use-Web/Overview.html рабочий проект "Как люди с ограниченными возможностями используют Интернет".

Высшее и дополнительное образование TechDis [Technologies for disability information service (Технологии для информационных услуг по инвалидности)] проект:

- http://www.techdis.ac.uk

IMS Global Learning Consortium:

- http://www.imsglobal.org информация о работе IMS по разработке стандартов интероперабельности.

Другие ресурсы

McKENNA, Colleen and BULL, Joanna, Blueprint for Computer-assisted assessment (Проектирование автоматизированного ассесмента). CAA Centre, 2001

Этот документ содержит общую информацию о возможностях ИТ-доставки ассесмента и рекомендации по передовым практикам

Using computer delivered assessment in the workplace (Автоматизированная доставка ассесмента на рабочее место), Guildford Educational Services Ltd, 1997 (печать) или на CD-ROM с Каталогом программных средств для автоматизированного ассесмента продукции и производителей (2000)


УДК 681.118.087:006.354	МКС 35.240.99	П80	IDT
Ключевые слова: ассесмент, содержание ассесмента, форма ассесмента, высокоуровневый ассесмент, низкоуровневый ассесмент, доставка, кандидат, ответ, оценка, результат

Теги документа

гост информационные технологии