ГОСТ Р ИСО/МЭК 25022-2021 Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Измерение качества при использовании.

        ГОСТ Р ИСО/МЭК 25022-2021

 

 НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

 

 

 Системная и программная инженерия

 

 ТРЕБОВАНИЯ И ОЦЕНКА КАЧЕСТВА СИСТЕМ И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ (SQuaRE)

 

 Измерение качества при использовании

 

 Systems and software engineering. Systems and software Quality Requirements and Evaluation (SQuaRE). Measurement of quality in use

ОКС 35.080

Дата введения 2022-04-30

 

 Предисловие

     

1 ПОДГОТОВЛЕН Обществом с ограниченной ответственностью "Информационно-аналитический вычислительный центр" (ООО "ИАВЦ") на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4

 

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 022 "Информационные технологии"

 

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 25 октября 2021 г. N 1282-ст

 

4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК 25022:2016* "Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Измерение качества при использовании" (ISO/IEC 25022:2016 "Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Measurement of quality in use", IDT).

 

 

           

ИСО/МЭК 25022 разработан подкомитетом ПК 7 "Системная и программная инженерия" Совместного технического комитета СТК 1 "Информационные технологии" Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК).

 

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении ДА.

 

Дополнительные сноски в тексте стандарта, выделенные курсивом*, приведены для пояснения текста оригинала

 

 

           

5 ВВЕДЕН ВПЕРВЫЕ

 

6 Некоторые положения международного стандарта, указанного в пункте 4, могут являться объектом патентных прав. Международная организация по стандартизации (ИСО) и Международная электротехническая комиссия (МЭК) не несут ответственности за идентификацию подобных патентных прав

 

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации"**. Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

 

 

 Введение

Настоящий стандарт является частью серии стандартов SQuaRE. Он предоставляет набор параметров для характеристик качества при использовании систем и программного обеспечения (определенных в ИСО/МЭК 25010), которые могут применяться для определения требований к качеству при использовании (в сочетании с ИСО/МЭК 25030), а также измерения и оценки качества при использовании (в сочетании с ИСО/МЭК 25040 и ИСО/МЭК 25041).

 

Показатели качества, включенные в настоящий стандарт, были отобраны исходя из их практической значимости. Они основаны на устоявшейся практике (включая, например, справочную [17]). Они не являются исчерпывающими, и пользователям этого международного стандарта рекомендуется уточнить их, при необходимости.

 

Раздел измерения качества

 

Настоящий стандарт является частью раздела измерения качества ИСО/МЭК 2502n серии стандартов SQuaRE. Раздел измерения качества в настоящее время состоит из следующих стандартов:

 

- ИСО/МЭК 25020 - эталонная модель измерения и руководство: предоставляет эталонную модель и руководство по измерению характеристик качества, определенных в разделе модели качества ИСО/МЭК 2501n;

 

- ИСО/МЭК 25021 - Элементы показателя качества: предоставляет формат элементов показателей качества и некоторые наборы рекомендуемых базовых и производных параметров, которые могут быть использованы для построения показателей качества систем и программного обеспечения;

 

- ИСО/МЭК 25022 - Измерение качества при использовании: предоставляет набор параметров и соответствующих измерительных функций для характеристик модели качества при использовании, определенной в ИСО/МЭК 25010;

 

- ИСО/МЭК 25023 - Измерение качества систем и программной продукции: предоставляет набор параметров и соответствующих измерительных функций для характеристик модели качества систем и программной продукции, определенной в ИСО/МЭК 25010;

 

- ИСО/МЭК 25024 - Измерение качества данных: предоставляет набор параметров и соответствующих измерительных функций для характеристик модели качества данных, определенной в ИСО/МЭК 25012.

 

На рисунке 1 показана взаимосвязь между настоящим стандартом и другими стандартами серии ИСО/МЭК 2502n.

 

В серию SQuaRE входят следующие разделы:

 

- ИСО/МЭК 2500n - Раздел "Управление качеством". Стандарты, входящие в этот раздел, определяют все общие модели, термины и определения, используемые всеми другими стандартами серии SQuaRE. Направляющие ссылки, используемые во всех документах SQuaRE, и высокоуровневые практические предложения по применению соответствующих стандартов в случаях конкретных приложений помогут всем потребителям. В разделе также представлены требования и методические материалы по поддерживающей функции, отвечающей за управление требованиями к программной продукции, спецификацию и оценку;

 

- ИСО/МЭК 2501n - Раздел "Модель качества". Стандарты, входящие в этот раздел, представляют детализированные модели качества программного обеспечения, качества при использовании и качества данных. Кроме того, представлено практическое руководство по использованию модели качества;

 

- ИСО/МЭК 2502n - Раздел "Измерение качества". Стандарты, входящие в этот раздел, включают в себя эталонную модель измерения качества программной продукции, математические определения показателей качества и практическое руководство по их использованию. В этом разделе представлены показатели внутреннего качества программного обеспечения, показатели внешнего качества программного обеспечения и качества при использовании. Кроме того, определены и представлены элементы показателей качества - ЭПК, формирующие основу для вышеперечисленных показателей;

 

- ИСО/МЭК 2503n - Раздел "Требования к качеству". Стандарты, входящие в этот раздел, помогают задать требования к качеству. Такие требования к качеству могут использоваться в процессе формирования требований к качеству, при сборе информации перед разработкой программной продукции или как исходные данные для процесса оценки. Процесс определения требований отнесен к техническим процессам, определенным в ИСО/МЭК 15288;

 

 

 

 

     Рисунок 1 - Структура раздела измерения качества

- ИСО/МЭК 2504n - Раздел "Оценка качества". Стандарты, входящие в этот раздел, формулируют требования, рекомендации и методические материалы для оценки программного продукта, выполняемой как независимыми оценщиками, так и приобретателями или разработчиками. Кроме того, там представлена поддержка документирования измерения, как модуля оценки;

 

- обозначения для стандартов с ИСО/МЭК 25050 - ИСО/МЭК 25099 зарезервированы для расширения серии SQuaRE и/или технических отчетов, которые касаются конкретных областей применения и/или могут быть использованы в дополнение к одному или нескольким международным стандартам SQuaRE.

 

 

      1 Область применения

Настоящий стандарт определяет показатели качества при использовании для характеристик, определенных моделью качества при использовании в ИСО/МЭК 25010, и предназначен для применения вместе с ИСО/МЭК 25010. Он может также применяться в сочетании с ИСО/МЭК 2503n и ИСО/МЭК 2504n для более общего удовлетворения потребностей пользователей в части качества программной продукции или системы.

 

Настоящий стандарт содержит следующее:

 

- базовый набор параметров для каждой характеристики качества при использовании;

 

- объяснение того, как измеряется качество при использовании.

 

Базовый набор параметров не является исчерпывающим и может уточняться в зависимости от назначения и условий применения системы или программной продукции.

 

Настоящий стандарт включает ряд приложений, носящих информационный характер и отражающих примеры измерения охвата контекста (приложение A), вариантов нормализации показателей качества при использовании (приложение B), использования ИСО/МЭК 25022 для измерения удобства использования в ИСО 9241-11 (приложение C), процесса оценки качества в использовании (приложение D), взаимосвязи между различными моделями качества (приложение E) и концепции измерения качества (приложение F).

 

Эти параметры применимы к использованию любой человеко-компьютерной системы, включая как сами компьютерные системы, так и программные продукты, входящие в состав используемых систем.

 

Настоящий стандарт не присваивает диапазоны значений показателей номинальным уровням или степеням соответствия, поскольку эти значения определяются для каждой системы или программного продукта в зависимости от назначения, условий использования и потребностей пользователей.

 

Некоторые атрибуты могут иметь желаемый диапазон значений, который не зависит от конкретных потребностей пользователя, а зависит от общих факторов, например когнитивных факторов человека.

 

Предлагаемые параметры качества при использовании в первую очередь предназначены для обеспечения и управления качеством систем и программных продуктов на основе эффектов от их использования. Основными пользователями результатов измерений являются люди, управляющие разработкой, приобретением, оценкой или обслуживанием программного обеспечения и систем, осуществляющие оценочную деятельность в рамках следующих мероприятий:

 

- разработка: включая анализ требований, проектирование и тестирование в ходе процесса жизненного цикла;

 

- управление качеством: систематическое изучение продукта или компьютерной системы, например при оценке качества в процессе использования в рамках обеспечения и контроля качества;

 

- поставка: договор с приобретателем на поставку системы, программного продукта или программной услуги на условиях договора, например при проверке качества при квалификационном испытании;

 

- приобретение: включая отбор продукта и приемо-сдаточные испытания, при приобретении или закупке системы, программного продукта или услуги программного обеспечения у поставщика;

 

- техническое обслуживание: улучшение продукта на основе показателей качества при использовании.

 

 

      2 Соответствие требованиям

Для того чтобы любое требование к качеству, спецификация или оценка качества соответствовали настоящему стандарту, необходимо соблюдение следующих положений:

 

a) для определения или оценки качества при использовании выбраны характеристики и/или подхарактеристики, соответствующие ИСО/МЭК 25010;

 

b) для оценки каждой выбранной характеристики или подхарактеристики применяются все общие показатели качества, определенные в разделе 8. Исключение какого-либо из них требует обоснования;

 

c) любые выбранные специальные показатели качества при использовании имеют отношение к предмету оценки;

 

d) изменение какого-либо показателя качества при использовании должно быть обоснованным;

 

e) допускается определение любых дополнительных показателей качества использования, которые не включены в настоящий стандарт;

 

f) точно известно, как осуществляется определение значений каждого из показателей качества (например, определены детали используемого метода измерения).

 

Примечание - При проведении сравнений важно использовать один и тот же метод измерения.

 

 

      3 Нормативные ссылки

В настоящем стандарте использована нормативная ссылка на следующий стандарт [для датированной ссылки применяют только указанное издание ссылочного стандарта, для недатированной - последнее издание (включая все изменения)]:

 

ISO/IEC 25010, Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models (Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модели качества систем и программных продуктов)

 

 

      4 Термины и определения

В настоящем стандарте применены термины по ИСО/МЭК 25000, ИСО/МЭК 25010, а также следующие термины с соответствующими определениями.

 

Примечание - Ниже приведены основные определения из стандартов серии SQuaRE и других стандартов ИСО.

 

4.1 полнота контекста (context completeness): Степень, в которой продукт или система могут быть использованы с эффективностью, результативностью, свободой от риска и в соответствии с требованиями при всех указанных условиях использования.

 

Примечание - Полнота контекста - это подхарактеристика покрытия контекста.

 

[ИСО/МЭК 25010:2011, измененный]

 

4.2 покрытие контекста (context coverage): Степень, в которой продукт или система могут использоваться с эффективностью, а также эффективностью, удовлетворенностью и свободой от риска как в определенных условиях использования, так и в условиях, выходящих за рамки первоначально явно определенных.

 

Примечание - Условия использования имеют отношение как к качеству при использовании, так и к некоторым характеристикам (подхарактеристикам) качества продукта (где он упоминается как "определенные условия").

 

[ИСО/МЭК 25010:2011, 4.1.5]

 

4.3 заказчик (customer): Организация или физическое лицо, которое имеет отношение к приобретению, поставке или использованию продукта или услуги.

 

Примечание - Отношения могут включать в себя гарантию или согласие с условиями предоставления услуг.

 

4.4 эффективность (effectiveness): Точность и полнота, с которыми пользователи достигают поставленных целей.

 

[ИСО 9241-11:1998]

 

4.5 производительность (efficiency): Ресурсы, затраченные в связи с точностью и полнотой достижения пользователями поставленных целей.

 

Примечание - Соответствующие ресурсы могут включать в себя время для выполнения задачи (человеческие ресурсы), материалы или финансовые затраты на использование.

 

[ИСО 9241-11:1998, измененный]

 

4.6 условия использования (context of use): Пользователи, задачи, оборудование (аппаратные средства, программные средства, материалы), физическая и социальная среда, в которых используется продукция [1].

 

[ИСО 9241-11:1998, измененный]

 

4.7 гибкость (flexibility): могут быть использованы с эффективностью, результативностью, свободой от риска и в соответствии с требованиями в условиях, выходящих за рамки первоначально определенных в требованиях.

 

Примечание - Гибкость - это подхарактеристика охвата контекста.

 

[ИСО/МЭК 25010:2011, измененный]

 

4.8 формативная оценка (formative evaluation): Оценка, которая разрабатывается и используется для улучшения объекта оценки, особенно когда он еще находится в стадии разработки.

 

[ИСО/ТС 18152:2010, 4.6]

 

4.9 свобода от риска (freedom from risk): Степень, в которой качество продукта или системы снижает или позволяет избежать потенциальных рисков для экономического статуса, жизни, здоровья человека или окружающей среды.

 

Примечания

 

1 Риск - это функция вероятности возникновения данной угрозы и потенциальных последствий возникновения этой угрозы.

 

2 Риски, рассматриваемые серией SQuaRE, являются рисками, возникающими из-за недостаточного качества продукции.

 

3 Свобода от риска включает в себя снижение потенциальных рисков для пользователя, организации или проекта.

 

[ИСО/МЭК 25010:2011, изменено - добавлено "качество" и "или избегает" для уточнения]

 

4.10 цель (goal): Ожидаемый результат.

 

4.11 показатель (measure): Переменная, значение которой присвоено в результате измерения.

 

Примечания

 

1 Термин "показатель" используется для коллективного обозначения базовых параметров, производных параметров и атрибутов.

 

2 В настоящем стандарте, когда используется слово "показатель", характеризуемое характеристикой или подхарактеристикой, оно относится к показателю качества.

 

[ИСО/МЭК 15939:2007, изменено - добавлено примечание 2 к записи]

 

4.12 измерение (measurement): Набор операций, имеющих целью определение значения показателя [4].

 

Примечание - Измерение может включать в себя присвоение качественной категории, такой как язык исходной программы (ADA, C, Java и т.д.).

 

[ИСО/МЭК 15939:2007, измененный]

 

4.13 функция измерения (measurement function): Алгоритм или вычисление, выполняемое для комбинации не менее чем двух элементов показателя.

 

[ИСО/МЭК 25021:2012]

 

4.14 психометрия (psychometrics): Область научных интересов, связанная с теорией и практикой разработки обоснованных и надежных психологических параметров.

 

4.15 качество при использовании (quality in use): Степень, с которой система или программный продукт, используемые конкретными пользователями, удовлетворяет их потребности в достижении конкретных целей с заданной эффективностью, производительностью, безопасностью и удовлетворенностью в конкретных условиях использования.

 

Примечания

 

1 Качество при использовании программного продукта или системы может быть измерено и оценено пользователями внедренной системы, во время испытаний системы или прототипов по эффекту от использования целевой системы или программного продукта.

 

2 Когда указывается "качество при использовании", это относится к определенным пользователям, удовлетворяющим свои потребности для достижения определенных целей с эффективностью, удовлетворенностью и свободой от риска в определенных условиях использования.

 

[ИСО/МЭК 25010:2011, изменено - добавлены примечания 1 и 2 к записи]

 

4.16 показатель качества (quality measure): Показатель, получаемый как функция измерения не менее чем двух значений элементов показателя качества.

 

[ИСО/МЭК 25021:2012]

 

4.17 элемент показателя качества (quality measure element (QME): Показатель, определенный в терминах свойства и метода измерения для количественного определения этого свойства, включая выборочно преобразования с помощью математической функции.

 

[ИСО/МЭК 25021:2012]

 

4.18 модель качества (quality model): Определенное множество характеристик и взаимосвязей между ними, которые обеспечивают основу для задания требований к качеству и оценки качества.

 

[ИСО/МЭК 25000:2014]

 

4.19 удовлетворение (satisfaction): Степень удовлетворения потребностей пользователя при использовании продукта или системы в определенных условиях использования.

 

Примечания

 

1 Для пользователя, который непосредственно не взаимодействует с продуктом или системой, важны только достижение цели и доверие.

 

2 Удовлетворенность - это реакция пользователя на взаимодействие с продуктом или системой и включает в себя отношение к использованию продукта.

 

3 Пользователи включают в себя: первичных пользователей, которые взаимодействуют с системой для достижения основных целей, вторичных пользователей, которые обеспечивают поддержку, и косвенных пользователей, которые получают выходные данные, но не взаимодействуют с системой.

 

4 В настоящем стандарте потребности пользователя включают в себя его желания и ожидания, связанные с использованием продукта, системы или услуги. Превышение желаний и ожиданий является средством значительного повышения удовлетворенности и улучшения пользовательского опыта.

 

[ИСО/МЭК 25010:2011, изменено - добавлены примечания 3 и 4 к записи]

 

4.20 удовлетворенность заинтересованных сторон (stakeholder satisfaction): Степень удовлетворения потребностей заинтересованных сторон при использовании продукта или системы в определенных условиях.

 

Примечание - Пользователи продукта или системы - это один из типов заинтересованных сторон, поэтому удовлетворенность пользователей - это удовлетворенность одной из заинтересованных сторон.

 

[ИСО/МЭК 25010:2011, изменено - определение термина "удовлетворенность" изменено для обозначения заинтересованных сторон]

 

4.21 итоговая оценка (summative evaluation): Оценка предназначена для представления выводов о достоинствах или ценности объекта оценки.

 

Примечания

 

1 Полученные результаты могут быть использованы для выработки рекомендаций относительно того, следует ли их сохранить, изменить или исключить.

 

2 Допускается использовать методы, обеспечивающие комбинированную формирующую и суммирующую оценку.

 

3 Метод суммирующего теста используется для выполнения суммирующей оценки.

 

[ИСО/ТС 20282-2:2013, 4.17]

 

4.22 система (system): Совокупность взаимодействующих элементов, организованных для достижения одной или нескольких поставленных целей.

 

Примечания

 

1 Система может рассматриваться как продукт или как предоставляемые ею услуги.

 

2 На практике интерпретация данного термина зачастую уточняется с помощью ассоциативного существительного, например система самолета. В некоторых случаях слово "система" может заменяться контекстно-зависимым синонимом, например самолет, хотя это может впоследствии затруднить восприятие системных принципов.

 

[ИСО/МЭК 15288:2015, измененный]

 

4.23 задача (task): Деятельность, необходимая для достижения цели.

 

Примечания

 

1 Эти действия могут быть физическими или когнитивными.

 

2 Должностные обязанности могут определять цели и задачи.

 

[ИСО 9241-11:1998]

 

4.24 удобство использования (usability): Степень, в которой продукт или система могут использоваться определенными пользователями для достижения определенных целей с эффективностью, эффективностью и удовлетворением в определенном контексте использования.

 

Примечания

 

1 Определение адаптировано из ИСО 9241-210.

 

2 Удобство использования может быть либо определено или измерено как характеристика качества продукта с точки зрения его подхарактеристик, либо определено или измерено непосредственно с помощью показателей, которые являются подмножеством используемого качества.

 

[ИСО/МЭК 25010:2011]

 

4.25 ошибка использования (use error): Действие или отсутствие действия, которое приводит к иной реакции системы, чем предполагалось изготовителем или ожидалось пользователем.

 

[МЭК 62366 - с заменой "медицинское устройство" на "система"].

 

4.26 пользователь (user): Физическое лицо или организация, использующая систему или программную продукцию для выполнения определенной функции.

 

[ИСО/МЭК 15939:2007]

 

      5 Сокращения и обозначения

В настоящем стандарте используется следующее обозначение:

 

QME - элемент показателя качества (quality measure element).

 

 

      6 Применение показателей качества при использовании

     

 

      6.1 Применение качества при использовании

Настоящий стандарт содержит рекомендуемые показатели для определения характеристик и подхарактеристик в модели качества ИСО/МЭК 25010 при использовании:

 

- эффективность;

 

- производительность;

 

- удовлетворение:

 

- полноценность;

 

- доверие;

 

- удовольствие (пользовательский опыт);

- комфорт (эргономичный);

 

- свобода от риска:

 

- снижение экономических рисков;

 

- снижение рисков для здоровья и безопасности;

 

- снижение экологических рисков;

 

- покрытие контекста:

 

- полнота контекста;

 

- гибкость.

 

Качество при использовании - это степень, в которой продукт или система могут быть использованы конкретными пользователями для удовлетворения их потребностей в достижении конкретных целей с эффективностью, результативностью, удовлетворенностью и свободой от риска в конкретных контекстах использования.

 

В модели качества при использовании термин "удобство использования" относится к подмножеству качества в использовании, состоящему из эффективности, результативности, удовлетворенности и охвата контекста. Показатели удобства использования и функциональной пригодности пользовательского интерфейса и взаимодействия содержатся в ИСО/МЭК 25023
.
 

_______________

В оригинале ИСО/МЭК 25023 не включен в библиографию.
 

Неприемлемые уровни свободы от риска могут быть результатом низкого уровня удобства использования системы или продукта. Неприемлемые уровни свободы от риска также могут быть вызваны низким уровнем других характеристик качества продукции.

Показатели качества при использовании измеряют результаты взаимодействия между пользователем и системой. Конечное качество при использовании внедренной системы или программного продукта может быть измерено, когда система или программный продукт используются в целевой среде по назначению. Показатели качества при использовании также могут быть применены на этапах проектирования и разработки следующим образом:

 

- требования: требования к качеству при использовании могут быть определены на ранней стадии процесса проектирования и разработки, чтобы дать цель для предполагаемого качества, которое будет испытано пользователями и другими заинтересованными сторонами;

 

- формирующая оценка прототипов: конкретные проблемы с качеством использования могут быть выявлены путем тестирования прототипов с небольшим числом репрезентативных пользователей во время разработки с использованием показателей удобства использования продукта и ненормализованных показателей качества при использования с целью выявления проблем и улучшения продукта;

 

- итоговая оценка прототипов: оценки конечного качества при использовании различных проектных решений могут быть получены путем тестирования прототипов с большим числом репрезентативных пользователей в процессе разработки с использованием нормализованных показателей качества при использовании и оценки того, как результирующая эффективность, результативность и удовлетворенность адекватно снижают потенциальные риски;

 

- процесс обеспечения качества и контроля: качество при использовании внедренной системы может быть проверено в соответствии с требованиями.

 

Примечания

 

1 В приложении Е разъясняется взаимосвязь между различными моделями качества серии стандартов SQuaRE.

 

2 В настоящем стандарте слово "показатель" (используемое в качестве существительного) относится к показателю качества.

 

 

      6.2 Измерение качества при использовании

Качество при использовании зависит не только от качества компьютерной системы или программного обеспечения, но и от конкретного контекста, в котором используется продукт по ИСО/МЭК 25063. Контекст использования включает в себя факторы пользователя, факторы задачи, а также физические и социальные факторы окружающей среды, которые могут повлиять на качество при использовании. Таким образом, сравнение качества использования программного продукта или системы допустимо только в том случае, если измерения проводятся в одном и том же контексте использования.

 

Это особенно затрудняет прогнозирование или интерпретацию уровней свободы от риска, поскольку обычно невозможно контролировать все факторы в контексте использования, которые могли бы повлиять на свободу от риска. Однако часто можно представить доказательства потенциальных рисков, которые могут возникнуть в результате плохого использования или низкого качества продукта, и предложить целевые значения для удобства использования или качества продукта, которые снизили бы эти риски (см. рисунок 2). Если какие-либо показатели удобства использования или качества продукции не достигают этих целевых значений, то можно оценить потенциальное влияние измеренных значений на свободу от риска.

 

Пример - При проектировании системы бронирования авиабилетов устанавливается высокий целевой уровень эффективности (результативности) бронирования пользователями билетов на рейс в намеченный пункт назначения в намеченное время и дату, чтобы минимизировать вероятность потенциальных экономических последствий, которые могут возникнуть в результате любых ошибок.

Многие из показателей определены таким образом, что они могут быть адаптированы к конкретным потребностям. Поэтому значимые сравнения между показателями и целевыми значениями могут быть сделаны только для показателей, которые были операционализированы таким же образом и применялись в том же или достаточно сходном контексте использования (т.е. с аналогичными типами пользователей, выполняющих аналогичные задачи в аналогичных средах).

 

Эффективность, результативность и удовлетворенность можно оценить, наблюдая за репрезентативными пользователями, выполняющими репрезентативные задачи в реалистичном контексте использования (например, см. методы в приложениях B и C и ИСО/ТС 20282-2. Эти показатели могут быть получены путем моделирования реалистичной среды использования (например, в лаборатории удобства использования) или путем наблюдения за эксплуатационным использованием продукта. Чтобы определить или измерить качество при использовании, сначала нужно определить каждый компонент предполагаемого контекста использования: пользователей, их цели и среду использования. Оценка должна быть разработана таким образом, чтобы максимально точно соответствовать этому контексту использования. Важно также, чтобы пользователям предоставлялись только те виды помощи и содействия, которые были бы доступны им в оперативной среде. Эти показатели могут быть использованы для процессов обеспечения безопасности при применении метода, указанного в ИСО/ТС 20282-2.

 

Некоторые внешние показатели удобства использования (см. ИСО/МЭК 25023) тестируются аналогичным образом, но оценивают использование конкретных характеристик продукта во время более общего использования продукта для достижения типичной задачи в рамках теста качества при использовании.

 

Примечания

 

1 Приложение B и ИСО/ТС 20282-2 содержат примеры того, как измерять эффективность, результативность и удовлетворенность. В приложении A приводятся примеры того, как измерять охват контекста. См. также [19].

 

2 В приложении F содержится более подробная информация о концепциях измерения качества серии стандартов SQuaRE.

 

 

      6.3 Интерпретация показателей качества при использовании

Некоторые показатели качества при использовании (например, время выполнения задачи) трудно интерпретировать изолированно. Существует несколько способов сравнения показателей качества при использовании, чтобы их было легче интерпретировать, а именно:

 

a) соответствие: сравнение показателей с конкретными бизнес-требованиями или требованиями использования (например, должна быть возможность выполнить задачу за 10 минут);

 

b) контрольные показатели: сравнение показателей с контрольными показателями для того же или аналогичного продукта или системы, используемыми для той же цели (например, должна быть обеспечена возможность выполнения задач с новой системой не более чем за время, затраченное на выполнение задач со старой системой);

 

c) временные ряды: сравнение тенденций во времени (например, уменьшение количества ошибок, сделанных пользователями с каждой новой версией прототипа системы);

 

d) квалификация: сравнение со значениями, полученными при использовании обученным или опытным пользователем (например, сколько времени требуется новому пользователю по сравнению с опытным пользователем);

e) популяционные нормы удовлетворенности: при наличии базы данных предыдущих значений показатели могут быть выражены в процентах пользователей, которые ранее оценивали значение этого показателя.

 

Показатели качества при использовании, приведенные в разделе 8, включают в себя примеры, которые были нормализованы одним из этих способов, но для большинства показателей возможны несколько форм нормализации, как показано в приложении В.

 

Ненормализованные показатели (например, допущенные ошибки или время выполнения задачи) могут использоваться для выявления конкретных проблем, с которыми сталкиваются отдельные пользователи или небольшие группы пользователей.

 

Чтобы получить надежные показатели эффективности, результативности или удовлетворенности, необходимо получить данные от достаточного числа пользователей, выполняющих задачи, чтобы получить желаемый уровень статистической уверенности в достижении целевых значений.

 

Примечание - ИСО/ТС 20282-2 представляет собой пример метода суммирующего тестирования эффективности, действенности и удовлетворенности продуктов, предназначенных для использования широкой общественностью.

 

 

      6.4 Выбор соответствующих показателей по обеспечению качества при использовании

Факторы, которые могут повлиять на выбор конкретных показателей качества при использовании, включают в себя:

 

- относительную важность эффективности, результативности, удовлетворенности и свободы от риска;

 

- конкретные аспекты эффективности, результативности или удовлетворенности, которые могут создавать риски для экономического статуса, жизни, здоровья человека или окружающей среды;

 

- навыки и знания, необходимые для применения конкретных мер.

 

Более подробная информация о процессе оценки качества при использовании приведена в приложении D.

 

 

      6.5 Аспекты качества при использовании, описанные в других стандартах

Следующие стандарты предоставляют дополнительную информацию о конкретных аспектах качества при использовании:

 

- ИСО 9241-11: определения эффективности, результативности и удовлетворенности в ИСО 9241-11 аналогичны определениям в ИСО/МЭК 25010, поэтому показатели качества использования для оценки эффективности, действенности и удовлетворенности в ИСО/МЭК 25022 также могут быть оценены как показатели удобства использования, определенные в ИСО 9241-11 (см. приложение С);

 

- ИСО/МЭК 25062 определяет, как должны быть задокументированы результаты итогового теста удобства использования;

 

- ИСО/МЭК 25063 объясняет элементы контекста использования, которые необходимо идентифицировать при измерении удобства использования;

 

- ИСО/МЭК 25064 объясняет, как должны быть задокументированы потребности пользователей (которые могут включать потребности в качестве при использовании);

 

- ИСО/ТС 20282-2 обеспечивает строгую методологию измерения эффективности, результативности и удовлетворенности потребительского продукта.

 

 

      7 Формат, используемый для документирования показателей качества

Ниже приводится описание для каждого показателя, из таблиц в разделе 8.

 

a) ID: идентификационный код показателя качества. Каждый идентификатор состоит из следующих трех разрядов:

 

- код, представляющий качественные характеристики и подхарактеристики. Для результативности и эффективности используется формат "Ef" и "Ey", а для удовлетворенности, свободы от риска и охвата контекста используется формат "ABc", где "A" представляет характеристику, а "Bc" представляет подхарактеристику;

 

- порядковый номер в последовательности качества второстепенной характеристики;

 

- G: общеприменимо, может использоваться в широком диапазоне ситуаций; S: специализировано для конкретных нужд;

b) имя: имя показателя качества;

 

c) описание: информация, предоставляемая показателем качества;

 

d) функция измерения: Формула, показывающая, как элементы показателя качества объединяются для получения значения показателя качества;

 

e) метод: тип метода, который может быть использован для получения значения показателя:

 

- измерение производительности пользователей: показатели эффективности и результативности (см. D.3.3.2 и D.3.3.3);

 

- измерение поведения клиентов: данные, собранные о действиях, предпринятых клиентами;

 

- автоматизированный сбор данных: данные, собранные с помощью инструментария программного обеспечения для сбора действий пользователя;

 

- вопросник: показатели удовлетворенности (см. D.3.3.5);

 

- бизнес-аналитика: анализ деловой активности и результатов;

 

- анализ программного обеспечения и удобства использования: анализ потенциальных рисков, возникающих в результате человеческих или системных ошибок;

 

- статистика использования: анализ последствий, возникающих в результате предыдущих человеческих или системных ошибок;

 

- анализ описания контекста: анализ контекста использования для оценки ожидаемого качества использования;

- инспекция: инспекция системы для выявления потенциальных проблем.

 

 

      8 Показатели качества при использовании

     

 

      8.1 Общие положения

Показатели качества в этом разделе перечислены по качественным характеристикам и подхарактеристикам в порядке, используемом в ИСО/МЭК 25010: эффективность, результативность, удовлетворенность, свобода от риска и охват контекста.

 

Значения, полученные для показателей эффективности, результативности и удовлетворенности, зависят от контекста использования (см. 6.2), поэтому типы пользователей, задачи и среды, для которых проводятся (или должны проводиться) измерения, должны быть указаны в сочетании с любыми результатами измерений.

 

Необходимость соблюдения стандартов или правил может быть определена как часть требований к системе, но они выходят за рамки модели качества.

 

Примечание - Приведенный перечень показателей качества не является окончательным и может быть пересмотрен в будущих версиях настоящего стандарта. Пользователям настоящего стандарта предлагается предоставить обратную связь.

 

 

      8.2 Показатели результативности

Показатели результативности оценивают точность и полноту, с которыми пользователи достигают поставленных целей.

 

Примечания

 

1 Показатели результативности не учитывают того, как были достигнуты цели, а только степень их достижения (см. D.3.1.2).

 

2 Фраза "ошибки, допущенные пользователем" относится к пользователю, не выполняющему намеченные действия. Эти ошибки иногда называют "ошибками использования", чтобы подчеркнуть, что основной причиной ошибки может быть плохой дизайн системы.

 

Таблица 1 - Показатели результативности

 

ID

Имя

Описание

Функция измерения

Метод

Ef-1-G

Выполненные задачи

Доля задач, которые выполняются правильно без посторонней помощи

X=A/B

 

A = количество выполненных уникальных задач

 

B = общее количество выполненных уникальных задач

Измерение производительности пользователя

Примечания

 

1 Этот показатель может быть измерен для одного пользователя или группы пользователей.

 

2 Если задачи могут быть выполнены частично, то степень достижения целей является более подходящим показателем.

 

3 Если задачи имеют разную сложность, то взвешенные задачи могут быть использованы в Формуле:
, где i - номер задачи, а
- сложность этой задачи, где общая сумма
1,0.
 

4 Этот показатель может быть применен либо к задачам, указанным в требованиях, либо к задачам, выполняемым пользователем.

 

Ef-2-S

Достигнутые цели

Доля целей задачи, которые достигаются правильно без посторонней помощи

 
пропорциональное значение каждой упущенной или неправильно достигнутой цели в выходных данных задачи (максимальное значение = 1)
 

Измерение производительности пользователя

Примечание - Каждой потенциально упущенной или неправильно достигнутой цели присваивается вес
, основанный на степени, в которой он умаляет ценность результата применения продукта для бизнеса или пользователя. (Если сумма весов превышает 1, то показатель качества обычно устанавливается равным 0, хотя это может указывать на отрицательные результаты и чрезмерные риски.) Схема подсчета баллов уточняется итеративно, с применением ее к ряду выходных данных задачи и корректированием веса до тех пор, пока полученные результаты не станут повторяемыми, воспроизводимыми и значимыми.
 

Пример - Влияние на бизнес потенциальных ошибок в дневнике и контактной информации было обсуждено с несколькими потенциальными клиентами, что привело к следующей оценочной схеме для расчета средних достигнутых целей (выраженных в процентах):

 

- установка: все компоненты успешно установлены: 100%; за каждый необходимый подкомпонент, пропущенный из установки, вычитается 20%;

 

- новый контакт: все данные введены правильно: 100%; за каждый пропущенный элемент информации вычесть 50%; за каждый элемент информации в неправильном поле вычесть 20%; за каждую опечатку вычесть 5%;

 

- новая встреча: все детали введены правильно: 100%, неверное время или дата: 0%; для каждого элемента информации в неправильном поле вычитается 20%;

 

для каждой опечатки вычитается 5%.

 

Совокупное снижение, равное или превышающее 100%, будет означать 0% достигнутых целей

Ef-3-G

Ошибки в задаче

Количество ошибок, допущенных пользователем во время выполнения задачи

X = A

 

A = Количество ошибок, допущенных пользователем во время выполнения задачи

Измерение производительности пользователя

Примечания

 

1 Количество ошибок, допущенных пользователем, может включать в себя все ошибки, или только неисправленные ошибки, или только ошибки, которые приводят к неправильному выполнению задачи.

 

2 Показатели количества ошибок могут использоваться для сравнения одной и той же задачи, выполняемой в различных обстоятельствах, например при сравнении различных версий разрабатываемой системы.

 

3 Чтобы сравнить ошибки, сделанные в разных задачах, количество ошибок может быть связано с количеством действий в каждой задаче.

 

4 Сравнение целесообразно проводить только в том случае, если ошибки имеют одинаковую важность или взвешены.

 

5 Ошибки могут быть проанализированы с помощью пользовательской матрицы проблем, указывающей, сколько пользователей имели какие проблемы, в какой комбинации действий.

 

Ef-4-G

Задачи с ошибками

Доля задач, в которых пользователь допустил ошибки

X=A/B

 

A = количество задач с ошибками

 

B = общее количество задач

Измерение производительности пользователя

Примечание - Примечания к Ef-3-G также применяются.

 

Ef-5-G

Интенсивность ошибок задачи

Доля пользователей, совершающих ошибку

X=A/B

 

A = количество пользователей, допустивших ошибку

 

B = общее количество пользователей, выполняющих задачу

Измерение производительности пользователя

Примечание - Примечания к Ef-3-G также применяются.

 

 

      8.3 Показатели эффективности

Показатели эффективности оценивают затраченные ресурсы в зависимости от точности и полноты, с которыми пользователи достигают поставленных целей.

 

Примечания

 

1 Наиболее распространенным ресурсом является время для выполнения задачи, хотя другие соответствующие ресурсы могут включать в себя усилия пользователя, материалы или финансовые затраты на их использование.

 

2 Показатели эффективности обычно сравниваются с эффективностью при использовании другого продукта или версии или эффективностью при отсутствии продукта. Эффективность также можно сравнить с эффективностью эксперта.

 

Таблица 2 - Показатели эффективности

 

ID

Имя

Описание

Измерительная функция

Метод

Ey-1-G

Время выполнения задачи

Время, затраченное на успешное выполнение задачи

X = T

 

T = время выполнения задачи

Измерение производительности пользователя

Примечание - Обучаемость (см. ИСО/МЭК 25023) может быть измерена временем, затраченным обычным пользователем на выполнение задачи, по сравнению со временем, затраченным экспертом, и тем, как это изменяется при повторном использовании

 

Ey-2-S

Эффективность затраченного времени

Эффективность, с которой пользователи достигают своих целей с течением времени при использовании системы

X=A/T

 

A = количество достигнутых целей

 

T = Время

Измерение производительности пользователя

Примечания

 

1 Эффективность затраченного времени - это показатель производительности: количество целей, достигнутых за каждую единицу времени. Значение показателя возрастает с увеличением эффективности и сокращением времени выполнения задач. Это позволяет проводить сравнения, например между быстрыми интерфейсами, подверженными ошибкам, и медленными, но простыми интерфейсами.

 

2 Если были измерены выполненные задачи Ef-1-G, то временная эффективность может быть измерена как отношение количества выполненных задач к количеству затраченного времени. Это позволяет измерять долю успешно выполненных задач за каждую единицу времени. Высокое значение указывает на высокую долю успешно выполненных задач в течение небольшого промежутка времени.

 

3 Эффективность затраченного времени можно сравнить с эффективностью затраченного времени другого пользователя или с эффективностью времени для другого продукта или версии, или с выполнением задачи вручную.

 

4 Если достигнутые цели имеют различную ценность, то они могут быть взвешены.

 

Ey-3-S

Экономическая эффективность

Экономическая эффективность пользователя

X=A/B

 

A = общая стоимость выполнения задачи

 

B = количество достигнутых целей

Измерение производительности пользователя

Примечания

 

1 Примеры достигнутых целей могут включать в себя определенные бизнес-цели, требуемую полученную информацию или результаты работы системы.

 

2 Если достигнутые цели имеют различную ценность, то они могут быть взвешены.

 

3 Затраты могут, например, включать в себя время пользователя, время других людей, оказывающих помощь, а также затраты на вычислительные ресурсы, телефонные звонки и материалы.

 

4 Этот показатель может быть нормализован с учетом затрат на неиспользование системы.

 

Ey-4-S

Коэффициент полезного времени

Доля времени, в течение которого пользователь выполняет продуктивные действия

 
продуктивное время = время, затраченное на выполнение задачи - время, потраченное на получение помощи или помощь - время, затраченное на восстановление после ошибок - время, затраченное на неэффективный поиск
 
время выполнения задачи
 

Измерение производительности пользователя

Примечание - Непродуктивное время, потраченное на просмотр справки, восстановление после ошибок и неэффективный поиск, можно определить, проанализировав видео взаимодействия пользователя и системы.

 

Ey-5-S

Ненужные действия

Доля действий, выполненных пользователем, которые не были необходимы для решения поставленной задачи

X=A/B

 

A = количество действий, в которых не было необходимости, для решения поставленной задачи

 

B = количество действий, выполненных пользователем

Измерение производительности пользователей или автоматизированный сбор данных

Примечания

 

1 Этот показатель наиболее полезен, когда задача выполняется путем выбора (например, с помощью мыши, сенсорных или голосовых команд). Для более сложных задач можно определить действия, включающие ввод данных.

 

2 Цель измерения аналогична коэффициенту полезного времени, но ненужные действия легче измерить.

 

Ey-6-S

Последствия усталости

Снижение производительности человека после непрерывной работы

X=1-A/B

 

A = текущая производительность

 

B = начальная производительность

Измерение производительности пользователей или автоматизированный сбор данных

Примечания

 

1 Относится к непрерывному использованию системы или программной продукции опытным пользователем.

 

2 Под эффективностью понимается любой показатель эффективности или результативности (при необходимости нормируемая таким образом, чтобы большее число было лучше).

 

3 Физиологические параметры могут быть использованы для оценки последствий усталости.

 

4 Персональная оценка уровня усталости может быть измерена с помощью анкетирования.

 

5 Показатели усталости подходят только для опытных пользователей, выполняющих повторяющиеся задачи.

 

6 Компьютерные системы и программное обеспечение могут быть разработаны таким образом, чтобы снизить утомляемость.

 

7 Чем ближе к 0 значение показателя, тем лучше.

 

 

      8.4 Показатели удовлетворенности

8.4.1 Общие положения

 

Показатели удовлетворенности оценивают степень удовлетворения потребностей пользователей при использовании продукта или системы в определенном контексте использования.

 

Область применения показателя удовлетворенности может быть следующей:

 

a) показатель общей удовлетворенности (SUs-1-G);

 

b) показатель специфической удовлетворенности с подхарактеристиками (8.4.2, 8.4.3, 8.4.4, 8.4.5);

 

c) общий показатель удовлетворенности, получаемый путем объединения показателей индивидуальных подхарактеристик.

 

Примечание - Комбинированные показатели отдельных подхарактеристик могут быть взвешены с точки зрения их относительной важности и вклада в общую удовлетворенность.

 

Пользователи отвечают на вопросы о своей удовлетворенности в анкете, выбирая значение по шкале, которая может иметь два балла (например, Согласен, Не согласен) или несколько баллов (например, в диапазоне от Сильно согласен до Сильно не согласен).

 

Суммированные баллы, полученные по опросникам удовлетворенности, часто масштабируются в диапазоне от 0 до 100. Для некоторых анкет (таких как SUS, см. [21]) существует база данных предыдущих результатов, которая позволяет преобразовать балл в значение для процента пользователей, которые ранее давали аналогичному продукту или системе тот же балл или лучше. В этом подразделе приводятся примеры методов, которые могут быть использованы для получения показателей качества для различных аспектов удовлетворенности. Конкретные показатели могут быть получены с помощью существующих опубликованных вопросников.

 

Примечания

 

1 Пользователи включают в себя также вторичных пользователей, которые осуществляют техническую поддержку, и косвенных пользователей, которые получают выходные данные, но не взаимодействуют с системой.

 

2 Удовлетворенность - это реакция пользователя на взаимодействие с продуктом или системой и включает в себя отношение к использованию продукта.

 

3 На удовлетворенность пользователей влияет восприятие пользователем свойств программного обеспечения или компьютерной системы (например, измеряемых внешними показателями), а также восприятие пользователем эффективности, действенности и свободы от рисков при использовании.

 

4 Удовлетворенность пользователей может быть измерена во время разработки в рамках тестирования удобства использования, с целью поиска путей улучшения дизайна. Удовлетворенность пользователей может быть измерена путем опроса пользователей после выпуска, с целью определения соответствия продукта требованиям.

 

5 Психометрические шкалы обладают известной надежностью и валидностью. Преимущества использования опросников, имеющих стандартизированные психометрические шкалы, объясняются в [22].

 

Таблица 3 - Показатель общей удовлетворенности

 

ID

Имя

Описание

Измерительная функция

Метод

SUs-1-G

Общая удовлетворенность

Общая удовлетворенность пользователя

 
ответ на вопрос
 

Анкетирование, Опросник

Примечание - Примерами общих показателей удовлетворенности являются чистый балл промоутера [18] и единичный вопрос о легкости [20].

 

8.4.2 Показатели полезности

 

Показатели полезности оценивают степень удовлетворенности пользователя достигнутыми им прагматическими целями, включая результаты и последствия использования.

 

Таблица 4 - Показатели полезности

 

ID

Имя

Описание

Измерительная функция

Метод

SUs-2-G

Удовлетворенность функциями

Удовлетворенность пользователя конкретными функциями системы

 
ответ на вопрос, связанный с определенной функцией
 

Анкетирование, Опросник

Примечание - Как правило, применяют опросник с использованием шкалы Лайкерта. Если элементы анкеты объединены для получения общего балла, они могут быть взвешены, так как разные вопросы могут иметь различную важность.

 

SUs-3-G

Дискреционное использование

Доля потенциальных пользователей, решивших использовать систему или функцию

X=A/B

 

A = Количество пользователей, использующих определенную функцию, приложение или систему.

 

B = Число потенциальных пользователей, которые могли бы использовать конкретную функцию, приложение или систему

Измерение поведения пользователей или автоматизированный сбор данных

Примечание - Этот показатель может быть использован, когда есть возможность определить ситуации, в которых использование функции, приложения или системы было бы уместным, например путем мониторинга поведения пользователя.

 

 

Шкала опросника, по которой человека просят оценить свою реакцию на утверждение, обычно проходит от положительной оценки до отрицательной оценки с нейтральной оценкой между ними.

SUs-4-G

Использование функций

Доля идентифицированного набора пользователей системы, использующих ту или иную функцию

X=A/B

 

A = Количество пользователей, использующих определенную функцию.

 

B = количество идентифицированных пользователей системы.

Измерение поведения пользователей или автоматизированный сбор данных

Примечания

 

1 Функции могут быть определены на различных уровнях детализации от отдельной функции до подмножества функций системы.

 

2 Низкое значение может указывать на то, что функция бесполезна или полезна только для подмножества пользователей, или что пользователи не понимают, как ее использовать, или что они не знают о ее существовании.

 

SUs-5-G

Доля жалующихся пользователей

Доля пользователей, подающих жалобы

X=A/B

 

A = Количество жалоб пользователей

 

B = количество пользователей, использующих систему

Измерение поведения пользователей

SUs-6-G

Доля жалоб пользователей на ту или иную функцию

Доля жалоб пользователей на ту или иную функцию

A=A/B

 

A = Количество жалоб пользователей на определенную функцию

 

B = общее количество жалоб пользователей на функции

Измерение поведения пользователей

Шкала опросника, по которой человека просят оценить свою реакцию на утверждение, обычно проходит от положительной оценки до отрицательной оценки с нейтральной оценкой между ними.

8.4.3 Показатели доверия

 

Показатели доверия оценивают степень уверенности пользователя или другой заинтересованной стороны в том, что продукт или система будут вести себя так, как задумано.

 

Таблица 5 - Показатели доверия

 

ID

Имя

Описание

Измерительная функция

Метод

STr-1-G

Доверие пользователей

Степень, в которой пользователь доверяет системе

X=A

 

A = значение психометрической шкалы из опросника доверия

Анкетирование, Опросник

Примечание - Пример опросника доверия приведен в [16].

 

8.4.4 Показатели удовольствия пользователя (пользовательский опыт)

 

Показатели удовлетворенности оценивают степень удовлетворения потребностей пользователя в удовольствии.

 

Примечания

 

1 Изменено по сравнению с определением в ИСО/МЭК 25010: "степень, в которой пользователь получает удовольствие от удовлетворения своих личных потребностей".

 

2 Потребности пользователей могут включать в себя потребности в приобретении новых знаний и навыков, в общении с личностью, в создании приятных воспоминаний и в вовлечении во взаимодействие.

 

Таблица 6 - Показатели удовольствия (пользовательский опыт)

 

ID

Имя

Описание

Измерительная функция

Метод

SPI-1-G

Удовольствие пользователя

Степень, в которой пользователь получает удовольствие по сравнению со средним показателем для этого типа систем

X=A

 

A = значение психометрической шкалы из опросника удовольствия

Опросник

Примечание - Примеры психометрических опросников удовольствия приведены в [14] и [23].

 

8.4.5 Показатели эргономического комфорта

 

Показатели комфорта оценивают степень удовлетворения потребностей пользователя в физическом комфорте.

 

Примечание - Изменено по сравнению с определением в ИСО/МЭК 25010: "степень, в которой пользователь удовлетворен физическим комфортом".

 

Таблица 7 - Показатели эргономического комфорта

 

ID

Имя

Описание

Измерительная функция

Метод

SCo-1-G

Физический комфорт

Степень комфорта пользователя по сравнению со средним показателем для данного типа систем

X=A

 

A = значение психометрической шкалы из опросника комфорта

Опросник

Примечания

 

1 Физический комфорт может зависеть от положения или действий, которые пользователь должен принять или совершить при использовании системы, а также от окружающей среды, в которой используется система.

 

2 [15] содержит пример психометрического опросника комфорта.

 

 

      8.5 Показатели свободы риска

8.5.1 Общие положения

 

Оценка степени, в которой качество продукта или системы снижает или позволяет избежать потенциального риска для пользователя, организации или проекта, включая риски для экономического статуса, жизни и здоровья человека и окружающей среды.

 

Примечание - Исправленная версия определения в ИСО/МЭК 25010: "степень, в которой продукт или система снижает потенциальный риск для экономического статуса, жизни и здоровья человека или окружающей среды".

 

Риски нежелательных последствий могут возникать из-за неадекватности какой-либо характеристики качества продукции [11] или из-за недостаточного уровня эффективности, результативности, удовлетворенности или охвата контекста.

 

Риски нежелательных последствий могут повлиять на следующие типы заинтересованных сторон:

 

a) пользователь продукта или системы:

 

- здоровье и безопасность при использовании продукта или системы;

 

- неблагоприятные последствия из-за неспособности достичь намеченного результата;

 

b) организация, использующая продукт или систему:

 

- ущерб репутации или финансам организации в результате ошибок, допущенных пользователями из-за низкого удобства использования;

 

- риски, связанные с ненадлежащей эксплуатацией или безопасностью или конфиденциальностью;

 

c) организация, разрабатывающая продукт или систему:

 

- риски экономических последствий в случае, если проектирование и разработка системы, продукта или услуги не приводит к заданным значениям показателей качества продукции;

 

- риски экономических или репутационных последствий, приводящих к тому, что продукт или система не приобретаются, а услуга не используется в результате дефектов качества;

 

d) более широкое сообщество:

 

- риск последствий для здоровья и безопасности или негативного воздействия на окружающую среду.

 

В таблице 8 показано, на какие заинтересованные стороны могут повлиять последствия различных видов рисков.

 

Таблица 8 - Виды неблагоприятных последствий для различных типов заинтересованных сторон

 

Заинтересованная сторона

Здоровье и безопасность

Экономическое положение

Окружающая среда

Пользователь продукта или системы

Показатели по снижению рисков для здоровья и безопасности

 

Стресс, вызванный низким удобством использования

Последствия неспособности достичь намеченного результата

 

Организация, использующая продукт или систему

 

Показатели по снижению экономических рисков

 

Организация, разрабатывающая или приобретающая продукт или систему

 

Показатели по снижению экономических рисков

 

Более широкое сообщество

Риск последствий для здоровья и безопасности

 

Показатели по снижению экологических рисков

 

Показатели качества, определенные в 8.5, могут быть реализованы различными способами с учетом потребностей заинтересованных сторон. Для показателей, выраженных в терминах положительных или отрицательных результатов, снижение риска означает избегание неприемлемых значений.

 

Примечание - Риски неблагоприятных последствий можно контролировать, определяя минимально приемлемые уровни качества и используя их как критерии оценки. Определение более высокого уровня качества может потребовать вложения дополнительных ресурсов, но может обеспечить возможности для улучшения экономических, медицинских или экологических результатов (см. рисунок 2).

 

 

 

 

     Рисунок 2 - Риски и возможности, связанные с уровнем качества

Примечания

 

1 Риск - это функция вероятности возникновения угрозы и потенциальных неблагоприятных последствий ее возникновения.

 

2 Потенциальные риски, возникающие в результате воздействия качества на конечные результаты функционирования системы или программного обеспечения, обычно основываются на оценке уровня риска для экономического статуса, жизни, здоровья человека или окружающей среды, создаваемого (прогнозируемым или измеряемым) качеством продукта (функциональная пригодность, эффективность работы, совместимость, удобство использования, надежность, безопасность, ремонтопригодность или переносимость).

 

Информация об оценке рисков приведена в ИСО/МЭК 31010.

 

8.5.2 Показатели по снижению экономических рисков

 

Показатели по снижению экономических рисков оценивают влияние качества систем и программного обеспечения на экономические цели, связанные с финансовым состоянием, эффективной деятельностью, коммерческой собственностью, репутацией или другими ресурсами, которые могут подвергаться риску или предоставлять возможности.

 

Примечания

 

1 Снижение риска может быть использовано для снижения риска неприемлемых экономических последствий, которые могут возникнуть в результате низкого качества продукции.

 

2 Ожидаемые значения показателей могут быть оценены на основе фактических значений из исторических данных.

 

3 Результаты измерения могут быть трудно интерпретируемы, поскольку выделение вклада, который качество продукта или системы вносит в фактические показатели каждого из экономических результатов, может быть затруднено, поскольку многие другие факторы также вносят свой вклад в эти показатели. Основная ценность этих показателей может заключаться в оценке влияния качества на экономические цели на основе предыдущего опыта влияния качества на экономические результаты. Финансовые показатели, тесно связанные с поведением системы/программного продукта (например, REc-5-S, REc-6-S, REc-7-S, REc-8-G), будут легче интерпретироваться.

 

Таблица 9 - Показатели по снижению экономических рисков

 

ID

Имя

Описание

Измерительная функция

Метод

REc-1-G

Рентабельность инвестиций (ROI)

Окупаемость инвестиций

X=(A-B)/B

 

A = полученные дополнительные преимущества

 

B = инвестированная сумма

Бизнес-аналитика

Примечание - Примеры полученных выгод могут включать в себя сокращение расходов на персонал, сокращение запасов материальных ценностей, сокращение запасов или снижение материальных затрат за счет концентрированных закупок.

 

REc-2-G

Время окупаемости инвестиций

Время, затраченное на достижение ожидаемой отдачи от инвестиций

X=T

 

T = время достижения ROI

Бизнес-аналитика

Примечание - Можно сравнить с приемлемым временем для достижения ROI.

 

REc-3-G

Эффективность бизнеса

Рентабельность или продажи по сравнению с целевым показателем

 
A = рентабельность или продажи компании (
фактическая,
целевая)
 

Бизнес-аналитика

Примечание - Можно сравнить с объемом инвестиций в ИТ или продажами другой компании для сравнения.

 

REc-4-G

Преимущества инвестиций в ИТ

Измерение выгод от инвестиций в ИТ (например, с использованием сбалансированной системы показателей) по сравнению с целевым показателем

 
A = выгода от инвестиций в ИТ (
фактическая,
целевая)
 

Бизнес-аналитика

Примечание - Сбалансированная система показателей оценивает выгоды от инвестиций в ИТ с таких точек зрения, как финансовые, клиентские, бизнес-процессы и развитие персонала. Любое из этих преимуществ может быть положено в основу того или иного показателя.

 

REc-5-S

Обслуживание клиентов

Степень, в которой достигается предполагаемый уровень обслуживания клиентов

X=A/B

 

A = фактический уровень обслуживания

 

B = предполагаемый уровень обслуживания

Бизнес-аналитика

Примечание - Значение может превышать 1, если уровень обслуживания превышает намерения. Примеры степени задержки поставок, среднее время ожидания для получения обслуживания клиентов.

 

REc-6-S

Количество посетителей сайта, ставших клиентами

Доля посетителей конкретной веб-страницы(ниц), которые становятся клиентами

X=A/B

 

A = Количество посетителей, которые становятся клиентами

 

B = количество уникальных посетителей определенной веб-страницы(ниц)

Бизнес-аналитика

Примечание - Этот показатель может быть основан на конкретных веб-страницах или на веб-сайте в целом.

 

REc-7-S

Выручка от каждого клиента

Объем выручки от каждого клиента

X = A

 

A = выручка от клиента

Бизнес-аналитика

Примечание - Существует несколько атрибутов существующих и новых клиентов. Эти атрибуты могут быть использованы для оценки состояния, наличия или отсутствия возможностей для расширения предоставляемого функционала.

 

REc-8-G

Ошибки с экономическими последствиями

Доля ситуаций использования, в которых имеются человеческие или системные ошибки с экономическими последствиями

X=A/B

 

A = количество ошибок с экономическими последствиями

 

B = общее количество ситуаций использования

Бизнес-аналитика, анализ программного обеспечения и удобства использования

Примечания

 

1 Ошибки могут быть взвешены по экономической величине. Ошибки могут включать повреждение данных. Ситуации использования могут быть определены транзакциями или временем.

 

2 Экономические последствия могут быть как для организации, так и для отдельного пользователя. Например, экономические последствия для человека, не достигшего своей цели приобретения транспортного билета, могут привести к невозможности путешествовать по назначению или необходимости приобрести новый билет.

 

8.5.3 Показатели по снижению рисков для здоровья и безопасности

 

Показатели по снижению рисков для здоровья и безопасности оценивают влияние качества на достижение целей в области здоровья и безопасности (например, предотвращение повторяющихся травм от перенапряжения).

 

Примечания

 

1 Конкретные измерения качественных характеристик, таких как безопасность, можно найти в стандарте IEC 62366 для медицинских устройств и в международных стандартах, предусмотренных МЭК 65 и ПК 27 СТК 1 ИСО/МЭК.

 

2 Указанные показатели могут быть использованы для снижения рисков по охране труда и технике безопасности, которые могут быть вызваны низким качеством продукции.

 

Таблица 10 - Показатели по снижению рисков для здоровья и безопасности труда

 

ID

Имя

Описание

Измерительная функция

Метод

RHe-1-G

Частота возникновения проблем со здоровьем пользователей

Доля пользователей продукта, сообщающих о проблемах со здоровьем, возникающих в результате его использования

X=A/B

 

A = Количество пользователей, сообщающих о проблемах со здоровьем

 

B = общее количество пользователей

Статистика использования

Примечание - Воздействие может включать как психическое, так и физическое здоровье и безопасность, например стресс, вызванный сложностью использования системы с плохим пользовательским интерфейсом.

 

RHe-3-G

Безопасность людей, пострадавших от использования системы

Частота возникновения опасности для людей, пострадавших от использования системы

X=A/B

 

A = количество людей, подвергающихся опасности

 

B = общее число людей, которые могут пострадать от использования системы

Статистика использования

Примечания

 

Примером этого показателя является безопасность пациентов, где A = число пациентов с неправильно назначенным лечением и B = общее число пациентов.

 

Для некоторых целей число затронутых лиц может быть более значимой мерой, чем соотношение.

 

8.5.4 Показатели по снижению экологических рисков

 

Показатели по снижению экологических рисков оценивают влияние качества на достижение экологических целей.

 

Примечание - Данные показатели могут быть использованы для снижения риска неприемлемых экологических последствий, которые могут возникнуть в результате низкого качества продукции.

 

Таблица 11 - Показатели по снижению экологических рисков

 

ID

Имя

Описание

Измерительная функция

Метод

REn-1-G

Экологическое воздействие

Воздействие на окружающую среду при производстве и использовании продукта или системы по сравнению с целевым показателем

 
A = воздействие на окружающую среду (
фактическое,
целевое)
 

Статистика использования

Примечания

 

1 Воздействие на окружающую среду может включать в себя такие последствия, как загрязнение, шум или глобальное потепление, в зависимости от типа системы.

 

2 Экологический риск может быть вызван дефектами программного обеспечения или риском ошибок пользователя при плохо спроектированном пользовательском интерфейсе.

 

 

      8.6 Показатели по покрытию контекста

8.6.1 Общие положения

 

Показатели охвата контекста оценивают степень, в которой продукт или система могут использоваться с эффективностью, результативностью, удовлетворенностью и свободой от риска как в определенных контекстах использования, так и в контекстах, выходящих за рамки первоначально определенных.

 

Примечания

 

1 В приложении А приводятся примеры показателей охвата контекста.

 

2 Контексты считаются различными, если различия между пользователями, задачами и/или средами приводят к значительным различиям в удобстве использования [2].

 

8.6.2 Показатели полноты контекста

 

Показатели полноты контекста используются для оценки степени, в которой продукт или система могут использоваться с требуемыми уровнями эффективности, результативности, удовлетворенности и свободы от риска в каждом из указанных контекстов использования.

 

Примечания

 

1 Это исправленная версия определения, содержащегося в ИСО/МЭК 25010: "степень, в которой продукт или система могут использоваться с эффективностью, результативностью, свободой от риска и удовлетворенностью во всех указанных контекстах использования".

 

2 Полнота контекста может быть определена или измерена либо с точки зрения фактического использования определенными пользователями для достижения определенных целей с эффективностью, результативностью, удовлетворенностью и свободой от риска во всех предполагаемых контекстах использования, либо с помощью наличия свойств продукта, которые определяют использование во всех предполагаемых контекстах.

 

Таблица 12 - Показатели полноты контекста

 

ID

Имя

Описание

Измерительная функция

Метод

CCm-1-G

Полнота контекста

Доля предполагаемых контекстов использования, в которых продукт или система могут использоваться с приемлемым удобством использования и риском

X=A/B

 

A = Количество контекстов с приемлемым удобством использования и риском

 

B = общее количество требуемых различных контекстов использования

Анализ производительности пользователя и/или описание контекста

Примечание - Анализ или тестирование пользователями можно применять для оценки приемлемости использования продукта или системы для всех предполагаемых комбинаций типов пользователей, задач и сред.

 

 

Примеры:

 

1 Требование состоит в том, чтобы система имела адекватное качество при использовании во всех предполагаемых контекстах использования.

 

2 Система имеет адекватное качество при использовании только в трех из четырех предполагаемых контекстов использования.

 

Примечание - Различные контексты использования могут быть взвешены по их важности.

 

8.6.3 Показатели гибкости

 

Показатели гибкости используются для оценки степени, в которой продукт или система могут использоваться с приемлемым уровнем эффективности, результативности, удовлетворенности и свободы от риска в контекстах, выходящих за рамки первоначально указанных в требованиях.

 

Примечания

 

1 Гибкость позволяет продуктам учитывать обстоятельства, возможности и индивидуальные предпочтения, которые, возможно, не были предвидены заранее.

 

2 Гибкость может быть измерена путем анализа характеристик продукта и контекста использования для оценки степени, в которой продукт может быть использован дополнительными типами пользователей для достижения дополнительных типов целей с эффективностью, результативностью, удовлетворенностью и свободой от риска в дополнительных типах контекстов использования, или путем тестирования продукта с пользователями в этих дополнительных контекстах использования, или путем возможной модификации продукта для поддержки адаптации к новым типам пользователей, задач и сред, а также пригодности для индивидуализации, как определено в ИСО 9241-110.

 

Таблица 13 - Показатели гибкости

 

ID

Имя

Описание

Измерительная функция

Метод

CFI-1-S

Использование гибких связей

Степень, в которой продукт может использоваться в дополнительных контекстах использования (различные типы пользователей, задачи и среды) без каких-либо модификаций или только с незначительными модификациями

X=A/B

 

A = Количество дополнительных контекстов, в которых продукт может быть использован с приемлемым качеством в использовании.

 

B = общее количество дополнительных контекстов, в которых может использоваться продукт

Анализ производительности пользователя или описание контекста

Примечания

 

1 Простые модификации означают, что продукт может быть настроен пользователем, или необходимы только модификации текста и/или данных.

 

2 Чем ближе значение показателя к 1, тем лучше.

 

 

Пример: Продукт, предназначенный в первую очередь для использования на конкретном рынке, потенциально может быть использован в ряде других ситуаций (В), но с текущим дизайном будет использоваться только в подмножестве ситуаций (А).

CFI-2-S

Гибкость продукта

Простота, с которой продукт может быть изменен в соответствии с дополнительными требованиями пользователя

 
Модифицируемость (как указано в стандарте ИСО/МЭК 25023) для i-го требования.
 

B = общее количество новых требований от указанных пользователей

Анализ производительности пользователя или инспекция

CFI-3-S

Независимость от квалификации

Степень, в которой продукт может быть использован людьми без специальных знаний, навыков или опыта

X=A/B

 

A = Количество дополнительных групп пользователей без специальных знаний, навыков или опыта, которые могут использовать продукт.

 

B = общее число потенциальных групп пользователей, не имеющих специальных знаний, навыков или опыта

Анализ производительности пользователя или инспекция

Примечания

 

1 Продукт может быть в первую очередь предназначен для группы пользователей с определенными знаниями, навыками или опытом, но потенциально может использоваться более широким кругом пользователей.

 

2 Если продукт может использоваться только целевой группой пользователей, то значение равно 0. Если продукт может быть использован кем-либо, значение равно 1.

 

Приложение A

(справочное)

 

 Примеры измерения покрытия контекста

A.1 Общие Положения

 

В данном приложении приводятся примеры того, как измерять покрытие контекста.

 

Покрытие контекста определяется как степень, в которой продукт или система могут использоваться с эффективностью, результативностью, удовлетворенностью и свободой от риска как в определенных контекстах использования, так и в контекстах, выходящих за рамки первоначально явно определенных. Контекстное покрытие составляется по подхарактеристикам полноты и гибкости контекста.

 

Полнота контекста определяется как степень, в которой продукт или система могут использоваться с требуемыми уровнями эффективности, результативности, удовлетворенности и свободы от риска в каждом из указанных контекстов использования.

 

A.2 Пример полноты контекста для веб-сайта авиакомпании

 

Указанные контексты использования сайта бронирования авиабилетов предполагают, что система должна использоваться для всех комбинаций типов пользователей (U), задач (T) и веб-браузеров (B):

 

- определенные типы пользователей: U1: часто летающие пассажиры и U2: случайные пассажиры (с опытом использования интернета);

 

- указанные задачи: T1: выбор рейсов, T2: оплата и т.д.;

 

- определенные среды: веб-браузеры: B1: Internet Explorer, B2: Firefox и т.д.;

 

- каждая комбинация типа пользователя, задачи и среды определяет конкретный контекст использования, в котором необходимы определенные уровни качества использования (эффективность, результативность, удовлетворенность и свобода от риска);

 

- U1 T1 B1;

 

- U1 T1 B2;

 

- U1, T2, B1 и т.д.

 

Для каждого контекста использования могут быть заданы различные уровни качества, но цель разработки может заключаться в том, чтобы обеспечить одинаковое качество при использовании для всех указанных браузеров и для обоих типов пользователей.

 

Цель определения требований к полноте контекста будет заключаться в обеспечении того, чтобы требования к качеству были достигнуты во всех указанных контекстах использования.

 

A.3 Оценка полноты контекста для веб-сайта авиакомпании

 

Было бы дорого проводить пользовательское тестирование каждой перестановки контекста использования для существующей системы. Альтернативой может быть то, что проверка системы не выявит никаких идентифицируемых проблем, которые, как ожидается, создадут разницу в качестве использования между различными браузерами или между двумя типами устройств для выполнения платежной задачи. Таким образом, единственными перестановками, которые необходимо проверить, будут следующие:

 

- U1 T1;

 

- U2 T1;

 

- U1 + U2 (комбинированный) T2.

 

A.4 Показатели гибкости для веб-сайта авиакомпании

 

Гибкость определяется как степень, в которой продукт или система могут использоваться с приемлемым уровнем эффективности, результативности, удовлетворенности и свободы от риска в контекстах, выходящих за рамки первоначально указанных в требованиях.

 

Цель гибкого дизайна состояла бы в том, чтобы реализовать веб-сайт с использованием технологий, которые совместимы с самым широким спектром других браузеров.

 

Измерение гибкости может быть основано на оценке совместимости технологий с различными браузерами в ходе внедрения или на тестировании веб-сайта с использованием ряда альтернативных браузеров.

 

Цель определения требований к гибкости состоит в том, чтобы повысить вероятность достижения приемлемого уровня эффективности, результативности и удовлетворенности при использовании веб-сайта с широким спектром существующих и будущих веб-браузеров.

 

Приложение B

(справочное)

 

 Нормализация показателей качества при использовании

В таблице B.1 показано, какие из вариантов нормализации, описанных в пункте 6.3, применимы к каждому из показателей качества.

 

Таблица B.1 - Варианты нормализации

 

 

Варианты нормализации

ID

Имя

Измерительная функция

Соотве-

тствие

Пока-

затель

Времен-

ные ряды

Умение

Популя-

ционная норма

Ef-1-G

Выполненные задачи

X=A/B

 

A = количество выполненных уникальных задач

 

B = общее количество выполненных уникальных задач

 
 
 
 

 

Ef-2-S

Достигнутые цели

 
пропорциональное значение каждой упущенной или неправильно достигнутой цели в выходных данных задачи (максимальное значение = 1)
 
 
 
 
 

 

Ef-3-G

Ошибки в задаче

X=A

 

A = Количество ошибок, допущенных пользователем во время выполнения задачи

 
 
 
 

 

Ef-4-G

Задачи с ошибками

X=A/B

 

A = количество задач с ошибками

 

B = общее количество задач

 
 
 
 

 

Ef-5-G

Интенсивность ошибок в задаче

X=A/B

 

A = количество пользователей, допустивших ошибку

 

B = общее количество пользователей, выполняющих задачу

 
 
 
 

 

Ey-1-G

Время выполнения задачи

X=T

 

T = время выполнения задачи

 
 
 
 

 

Ey-2-S

Эффективность затраченного времени

X=A/T

 

A = количество достигнутых целей

 

T = время

 
 
 
 

 

Ey-3-S

Экономическая эффективность

X=A/B

 

A = общая стоимость выполнения задачи

 

B = количество достигнутых целей

 
 
 
 

 

Ey-4-S

Коэффициент полезного времени

 
продуктивное время = время, затраченное на выполнение задачи - время, потраченное на получение помощи или помощь - время, затраченное на восстановление после ошибок - время, затраченное на неэффективный поиск
 
время выполнения задачи
 
 
 
 
 

 

Ey-5-S

Ненужные действия

X=A/B

 

A = количество действий, в которых не было необходимости для решения поставленной задачи

 

B = количество действий, выполненных пользователем

 
 
 
 

 

Ey-6-S

Последствия усталости

X=1-A/B

 

A = текущая производительность

 

B = начальная производительность

 
 
 
 

 

SUs-1-G

Общая удовлетворенность

 
ответ на вопрос
 
 
 
 
 
 

SUs-2-G

Удовлетворенность функциями

 
ответ на вопрос, связанный с определенной функцией
 
 
 
 
 

 

SUs-3-G

Дискреционное использование

X=A/B

 

A = Количество пользователей, использующих определенную функцию, приложение или систему.

 

B = Число потенциальных пользователей, которые могли бы использовать конкретную функцию, приложение или систему

 
 
 
 

 

SUs-4-G

Использование функций

X=A/B

 

A = Количество пользователей, использующих определенную функцию.

 

B = количество идентифицированных пользователей системы

 
 
 
 

 

SUs-5-G

Доля жалующихся пользователей

X=A/B

 

A = Количество жалоб пользователей

 

B = количество пользователей, использующих систему.

 
 
 

 

 

SUs-6-G

Доля жалоб пользователей на ту или иную функцию

X=A/B

 

A = Количество жалоб пользователей на определенную функцию

 

B = общее количество жалоб пользователей на функции

 
 
 

 

 

STr-1-G

Доверие пользователей

X=A

 

A = значение психометрической шкалы из опросника доверия

 
 
 
 
 

SPI-1-G

Удовлетворение пользователя

X=A

 

A = значение психометрической шкалы из опросника удовольствия

 
 
 
 
 

SCo-1-G

Физический комфорт

X=A

 

A = значение психометрической шкалы из опросника комфорта

 
 
 
 
 

REc-1-G

Рентабельность инвестиций (ROI)

X=(A-B)/B

 

A = полученные дополнительные преимущества

 

B = инвестированная сумма

 
 
 

 

 

REc-2-G

Время окупаемости инвестиций

X=T

 

T = время достижения ROI

 
 
 

 

 

REc-3-G

Эффективность бизнеса

 
A = рентабельность или продажи компании (
фактическая,
целевая)
 
 
 
 

 

 

REc-4-G

Преимущества инвестиций в ИТ

 
A = показатель выгод от инвестиций в ИТ (
фактическая,
целевая)
 
 
 
 

 

 

REc-5-S

Обслуживание клиентов

X=A/B

 

A = фактический уровень обслуживания

 

B = предполагаемый уровень обслуживания

 
 
 

 

 

REc-6-S

Количество посетителей сайта, ставших клиентами

X=A/B

 

A = Количество посетителей, которые становятся клиентами

 

B = количество уникальных посетителей определенной веб-страницы (страниц)

 
 
 

 

 

REc-7-S

Выручка от каждого клиента

X=A

 

A = выручка от клиента

 
 
 

 

 

REc-8-G

Ошибки с экономическими последствиями

X=A/B

 

A = количество ошибок с экономическими последствиями

 

B = общее количество ситуаций использования

 
 
 

 

 

RHe-1-G

Частота возникновения проблем со здоровьем пользователей

X=A/B

 

A = Количество пользователей, сообщающих о проблемах со здоровьем

 

B = общее количество пользователей

 
 
 

 

 

RHe-2-G

Воздействие на здоровье и безопасность пользователей

 

i = от 1 до n

 

n = количество пострадавших людей

 

отрезок времени, в течение которого i-й человек подвергается воздействию
 

Si = степень значимости воздействия на i-го человека

 

Tb = продолжительность времени с момента запуска системы в эксплуатацию

 
 
 

 

 

REn-1-G

Экологическое воздействие

 

A = воздействие на окружающую среду

(
фактическое,
целевое)
 
 
 
 

 

 

CCm-1-G

Полнота контекста

X=A/B

 

A = Количество контекстов с приемлемым удобством использования и риском

 

B = общее количество требуемых различных контекстов использования

 
 
 

 

 

CFI-1-S

Использование гибких связей

X=A/B

 

A = Количество дополнительных контекстов, в которых продукт может быть использован с приемлемым качеством в использовании.

 

B = общее количество дополнительных контекстов, в которых может использоваться продукт

 
 
 

 

 

REn-1-G

Экологическое воздействие

 

А = воздействие на окружающую среду

(
фактическое,
целевое)
 
 
 
 

 

 

CFI-2-S

Гибкость продукта

 

i = от 1 до В

 

Модифицируемость (как указано в стандарте ИСО/МЭК 25023) для каждого нового требования
 

В = общее количество новых требований от указанных пользователей

 
 
 

 

 

CFI-3-S

Независимость от квалификации

X=A/B

 

A = Количество дополнительных групп пользователей без специальных знаний, навыков или опыта, которые могут использовать продукт.

 

B = общее число потенциальных групп пользователей, не имеющих специальных знаний, навыков или опыта

 
 
 

 

 

 

Приложение C

(справочное)

 

 Использование ИСО/МЭК 25022 для измерения удобства использования в контексте ИСО 9241-11

Определения удобства использования (обновленная версия в ИСО 9241-210) и эффективности и результативности в ИСО 9241-11 практически совпадают с определениями в ИСО/МЭК 25010, в то время как определения удовлетворенности различны.

 

Примечание - В ИСО 9241-11 эффективность, результативность и удовлетворенность являются подхарактеристиками удобства использования.

 

Таблица C.1 - Определения терминов в ИСО/МЭК 25022 и ИСО 9241-11

 

 

ИСО/МЭК 25010

ISO 9241-210/ИСО 9241-11

Удобство использования

Степень, в которой продукт или система могут использоваться определенными пользователями для достижения определенных целей с эффективностью, эффективностью и удовлетворением в определенном контексте использования

Степень, в которой система, продукт или услуга могут использоваться определенными пользователями для достижения определенных целей с эффективностью, результативностью и удовлетворением в определенном контексте использования

Результативность

Точность и полнота, с которыми пользователи достигают поставленных целей

Точность и полнота, с которыми пользователи достигают поставленных целей

Эффективность

Ресурсы, затраченные в связи с точностью и полнотой, с которыми пользователи достигают поставленных целей

Ресурсы, затраченные в связи с точностью и полнотой, с которыми пользователи достигают поставленных целей

Удовлетворение

Степень удовлетворения потребностей пользователя при использовании продукта или системы в определенном контексте использования

Свобода от дискомфорта и позитивное отношение к использованию продукта

 

Таким образом, все показатели качества в 8.2 (результативность) и 8.3 (эффективность) могут быть использованы для измерения эффективности и результативности в стандарте ИСО 9241-11. Показатели качества, которые могут быть использованы для измерения удовлетворенности в ИСО 9241-11, - это показатели в 8.4.1 (общие), 8.4.2 (полезность) и 8.4.3 (доверие), которые являются показателями позитивного отношения, и показатели в 8.4.5 (комфорт), которые являются показателями свободы от дискомфорта.

 

Примечание - Все показатели удовлетворенности, включая 8.4.4 (удовольствие), входят в предполагаемую сферу охвата удовлетворенности в новой версии ИСО 9241-11.

 

Приложение D

(справочное)

 Процесс оценки качества при использовании

D.1 Общие положения

 

В данном приложении определяется порядок проведения оценки, состоящий из следующих этапов:

 

- Разработка требований к оценке:

 

- сформулировать цель оценки;

 

- определить типы продуктов;

 

- уточнить модель качества;

 

- Разработка спецификации оценки:

 

- определить контексты использования;

 

- выбрать контекст для оценки;

 

- выбрать показатели;

 

- установить критерии оценки;

 

- интерпретировать показатели;

 

- Разработка проекта оценки;

 

- Выполнение оценки:

 

- выполнить пользовательские тесты и собирать данные;

 

- Подготовка отчета.

 

Примечания

 

1 Положения данного приложения соответствуют структуре процесса оценки, описанной в ИСО/МЭК 25040.

 

2 ИСО/ТС 20282-2 содержит подробную спецификацию процесса оценки эффективности, действенности и удовлетворенности потребительских товаров и товаров для общественного пользования, которая согласуется с процессом, описанным в настоящем приложении.

 

D.2 Разработка требований к оценке

 

D.2.1 Формулирование цели оценки

 

Целью оценки качества при использовании является оценка степени, в которой продукт позволяет пользователям удовлетворять свои потребности для достижения определенных целей в конкретных контекстах использования (сценариях использования).

 

D.2.1.1 Приобретение

 

До начала разработки организация, стремящаяся приобрести продукт, специально адаптированный к ее потребностям, может применить модель качества при использовании для определения требований, которым должен соответствовать продукт и по которым могут быть проведены приемочные испытания. Следует определить конкретные контексты, в которых должно измеряться качество при использовании, выбрать показатели эффективности, результативности, удовлетворенности и свободы от риска, а также установить критерии приемлемости, основанные на этих показателях.

 

D.2.1.2 Поставка

 

Поставщик может оценить качество при использовании, чтобы убедиться, что продукт соответствует потребностям конкретных типов пользователей и сред использования. Предоставление потенциальному покупателю результатов оценки качества при использовании поможет ему судить о том, соответствует ли продукт его конкретным потребностям (см. [10]).

 

D.2.1.3 Развитие

 

Четкое понимание требований пользователей к качеству при использовании в различных контекстах поможет команде разработчиков ориентировать проектные решения на удовлетворение реальных потребностей пользователей и фокусировать цели разработки на удовлетворении критериев качества при использовании. Эти критерии могут быть оценены после завершения разработки.

 

D.2.1.4 Эксплуатация

 

Измеряя аспекты качества при использовании, организация, эксплуатирующая систему, может оценить степень, в которой система отвечает их потребностям, и оценить, какие изменения могут потребоваться в будущем.

 

D.2.1.5 Техническое обслуживание

 

Для человека, обслуживающего программную продукцию, может быть измерено качество при использовании задач технического обслуживания.

 

D.2.1.6 Перенос

 

Для человека, осуществляющего перенос программного обеспечения, может быть измерено качество при использовании задач переноса.

 

D.2.2 Определение типов продуктов

 

Для оценки качества при использовании требуется рабочий прототип или конечный продукт.

 

D.2.3 Уточнение модели качества

 

Используемая модель качества - это модель качества при использовании, приведенная в ИСО/МЭК 25010. Качество при использовании определяется как степень, в которой продукт или система могут быть использованы конкретными пользователями для удовлетворения их потребностей в достижении конкретных целей с результативностью, эффективностью, удовлетворенностью и свободой от риска в конкретных контекстах использования.

 

D.3 Разработка спецификации оценки

 

D.3.1 Определение контекстов использования

 

Чтобы определить или измерить качество при использовании, необходимо определить каждый компонент контекста использования: пользователей, их цели и среду использования. Обычно невозможно проверить все возможные контексты использования, поэтому обычно необходимо выбрать важные или репрезентативные группы пользователей и задач.

 

D.3.1.1 Пользователи

 

Необходимо указать характеристики пользователей, которые могут повлиять на их производительность при использовании продукта. Это могут быть знания, умения, опыт, образование, тренировка, физические качества, двигательные и сенсорные способности. Возможно, потребуется определить характеристики различных типов пользователей, например пользователей с различным уровнем опыта или выполняющих различные роли.

 

Примечание - Учитывая старение населения, характеристики пожилых людей и инвалидов могут оказывать влияние на их работу. Это может быть связано с дополнительным опытом, обеспечивающим лучшую производительность, или физическими, моторными или сенсорными способностями, делающими производительность в различных или сложных контекстах использования более трудной.

 

D.3.1.2 Цели (предполагаемые результаты)

 

Цели использования продукта должны быть указаны. Цели определяют, что должно быть достигнуто, а не как. Цели могут быть разложены на подцели, которые определяют компоненты общей цели и критерии, которые удовлетворяли бы этой подцели. Например, если целью является заполнение формы заказа клиента, подцелью может быть ввод правильной информации в каждое поле. Широта общей цели зависит от объема оценки. Задачи - это действия, необходимые для достижения целей.

 

D.3.1.3 Окружающая Среда

 

Операционная среда

 

Следует указать аппаратную и программную операционную среду, так как это может повлиять на работу программного обеспечения. Это включает в себя более широкие аспекты, такие как время отклика сети.

 

Пользовательская среда

 

Следует также указать любые аспекты среды использования, которые могут влиять на производительность пользователя, такие как физическая среда (например, рабочее место, мебель), окружающая среда (например, температура, освещение) и социальная и культурная среда (например, трудовая практика, доступ к помощи и мотивация).

 

D.3.2 Выбор контекста для оценки

 

Важно, чтобы контекст, используемый для оценки, максимально точно соответствовал одной или нескольким средам, в которых продукт будет фактически использоваться. Достоверность полученных показателей для прогнозирования уровня качества при использовании, достигаемого при фактическом использовании продукта, будет зависеть оттого, насколько пользователи, задачи и окружающая среда являются репрезентативными для реальной ситуации. С одной стороны, можно проводить измерения в "полевых условиях", используя реальную ситуацию в качестве основы для оценки качества использования продукта. С другой стороны, можно оценить конкретный аспект продукта в "лабораторной" обстановке, в которой те аспекты контекста использования, которые являются релевантными, воссоздаются репрезентативным и контролируемым образом. Преимущество использования лабораторного подхода заключается в том, что он дает возможность осуществлять больший контроль над параметрами, которые, как ожидается, окажут критическое влияние на достигнутый уровень качества использования, и можно проводить более точные измерения. Недостатком является то, что искусственная природа лабораторной среды может привести к неадекватным результатам.

 

D.3.3 Выбор показателей

 

D.3.3.1 Выбор показателей

 

Чтобы определить или оценить качество при использовании, обычно необходимо измерить по крайней мере один показатель эффективности, результативности, удовлетворенности и, если это уместно, свободы от риска.

 

Выбор показателей и контекстов, в которых они измеряются, зависит от целей сторон, участвующих в измерении. Следует учитывать относительную важность каждого показателя для достижения целей. Например, там, где продукт используется не интенсивно, более важное значение может быть придано измерениям для понимания и обучаемости, а не качеству использования.

 

Показатели качества при использовании должны основываться на данных, отражающих результаты взаимодействия пользователей с продуктом. Можно собирать данные с помощью объективных средств, таких как измерение производительности, скорости работы или наступления определенных событий. Кроме того, данные могут быть собраны из субъективных ответов пользователей, выражающих чувства, убеждения, отношения или предпочтения. Объективные показатели дают прямые указания на эффективность и результативность, в то время как субъективные показатели могут быть непосредственно связаны с удовлетворением.

 

Оценки могут проводиться в различных условиях, от полевых до лабораторных, в зависимости от вопросов, которые необходимо исследовать, и полноты продукта, доступного для тестирования. Выбор тестовой среды и показателей будет зависеть от целей измерительной деятельности и их взаимосвязи с циклом проектирования.

 

D.3.3.2 Результативность

 

Показатели эффективности измеряют точность и полноту, с которыми могут быть достигнуты цели.

 

Например, если желаемой целью является точное воспроизведение двухстраничного документа в заданном формате, то точность может быть определена или измерена количеством орфографических ошибок и количеством отклонений от заданного формата, а полнота может быть определена или измерена количеством слов транскрибируемого документа, деленным на количество слов в исходном документе.

 

D.3.3.3 Эффективность

 

Показатели эффективности соотносят достигнутый уровень эффективности с расходованием ресурсов. Соответствующие ресурсы могут включать в себя умственные или физические усилия, время, материалы или финансовые затраты. Например, человеческая эффективность может быть измерена как результат, деленный на человеческие усилия, временная эффективность как результат, деленный на время, или экономическая эффективность - как результат, деленный на затраты. Если желаемая цель состоит в том, чтобы напечатать копии отчета, то эффективность может быть определена или измерена количеством пригодных для использования копий напечатанного отчета, разделенных на ресурсы, затраченные на выполнение задачи, такие как трудозатраты, затраты на процесс и материалы (включая затраты на необходимую переработку) потребленные.

 

D.3.3.4 Свобода от риска

 

Показатели свободы от риска относятся к риску эксплуатации программного обеспечения или компьютерной системы с течением времени, условиям использования и контексту использования. Свобода от риска может быть проанализирована с точки зрения снижения операционного риска и риска непредвиденных обстоятельств. Снижение операционного риска - это способность программного обеспечения удовлетворять требованиям пользователя при нормальной работе без ущерба для других ресурсов и окружающей среды. Снижение риска непредвиденных обстоятельств - это способность программного обеспечения работать вне своей нормальной работы и отвлекать ресурсы для предотвращения эскалации риска.

 

D.3.3.5 Удовлетворение

 

Удовлетворенность измеряет степень, в которой пользователи свободны от дискомфорта, и их отношение к использованию продукта.

 

Удовлетворенность может быть определена и измерена с помощью субъективной оценки по таким шкалам, как: симпатия к продукту, удовлетворенность использованием продукта, приемлемость рабочей нагрузки при выполнении различных задач или степень достижения конкретных целей использования (таких как обучаемость). Другие показатели удовлетворенности могут включать в себя количество положительных и отрицательных комментариев, зафиксированных во время использования. Дополнительная информация может быть получена из более долгосрочных показателей, таких как частота простоев, наблюдение за когнитивной или физической загруженностью пользователя, или из отчетов о проблемах со здоровьем, а также частотой, с которой пользователи запрашивают перевод на другую работу.

 

Субъективные меры удовлетворенности производятся путем количественной оценки субъективно выраженных реакций, установок или мнений пользователя. Этот процесс количественной оценки может быть осуществлен несколькими способами, например попросив пользователя дать число, соответствующее его ощущениям в любой конкретный момент использования, или попросив пользователей ранжировать продукты в порядке предпочтения, или используя шкалу отношения, основанную на анкете.

 

Правильно разработанные веса отношения могут быть быстро использованы, обладают известной надежностью и не требуют специальных навыков для применения. Опросники отношения, разработанные с использованием психометрических методов, будут иметь известные и поддающиеся количественной оценке уровни надежности и валидности и могут быть устойчивы к таким факторам, как фальсификация, положительная или отрицательная предвзятость ответа и социальная желательность. Они также позволяют сравнивать результаты с установленными нормами для ответов, полученных в прошлом. См. библиографию для примеров вопросников, которые измеряют удовлетворенность компьютерными системами.

 

D.3.4 Установление критериев оценки

 

Выбор критериальных значений используемых показателей качества зависит от требований к продукту и потребностей организации, устанавливающей критерии. Цели качества при использовании могут быть связаны с основной целью (например, создание письма) или подцелью (например, поиск и замена). Фокусирование целей качества при использовании на наиболее важных целях пользователя может означать игнорирование многих функций, но, скорее всего, это будет наиболее практичный подход. Постановка целей качества при использовании для конкретных подцелей может позволить провести оценку на более ранних этапах процесса разработки.

 

При задании значений критериев для группы пользователей они могут быть заданы как среднее значение (например, среднее время выполнения задачи должно составлять не более 10 минут), для отдельных лиц (например, все пользователи могут выполнить задачу в течение 10 минут) или для процента пользователей (например, 90% пользователей могут выполнить задачу за 10 минут).

 

При установлении критериев следует позаботиться о том, чтобы каждому элементу измерения был придан соответствующий вес. Например, чтобы установить критерии, основанные на ошибках, может потребоваться назначить весовые коэффициенты, отражающие относительную важность различных типов ошибок.

 

D.3.5 Интерпретация показателей

 

Поскольку относительная важность характеристик качества в использовании зависит от контекста использования и целей, для которых определяется или оценивается качество при использовании, не существует общего правила выбора или комбинирования показателей.

 

Следует проявлять осторожность при обобщении результатов любых показателей качества при использовании в другом контексте, который может иметь значительно отличающиеся типы пользователей, задач или сред. Если показатели качества при использовании получаются в течение коротких периодов времени, то значения могут не учитывать нечастые события, которые могут оказать значительное влияние на качество при использовании, например периодические системные ошибки.

 

Для продукта общего назначения, как правило, необходимо определить или измерить качество при использовании в нескольких различных репрезентативных контекстах, которые будут представлять собой подмножество возможных контекстов и задач, которые могут быть выполнены. Между качеством при использовании в этих контекстах могут быть различия.

 

D.4 Разработка проекта оценки

 

Оценка должна проводиться в условиях, максимально приближенных к тем, в которых будет использоваться продукт. Важно, чтобы:

 

- пользователи являлись репрезентативными для множества пользователей, использующих продукт.

 

Примечание - В приложении C [5] подробно описано, как выбрать репрезентативную выборку пользователей, включая то, как учитывать незначительные группы пользователей (такие как конкретная национальность или конкретная инвалидность);

 

- задачи являлись репрезентативными по отношению к предназначению системы;

 

- условия являлись репрезентативными для нормальных условий, в которых используется продукт (включая доступ к помощи, временные ограничения и отвлекающие факторы).

 

Опыт показал, что надежные результаты могут быть получены только на выборке, состоящей из не менее восьми участников (см. [10]).

 

D.5 Выполнение оценки

 

D.5.1 Выполнение пользовательских тестов и сбор данных

 

При оценке качества при использовании важно, чтобы пользователи работали без посторонней помощи, имея доступ только к тем формам помощи, которые были бы доступны при нормальных условиях использования. Помимо измерения эффективности, результативности и удовлетворенности, обычно документируют проблемы, с которыми сталкиваются пользователи, и обсуждают их в конце сеанса. Часто бывает полезно записать оценку на видео, что позволяет проводить более детальный анализ. Кроме того, пользователям легче работать без помех, если они контролируются удаленно с помощью видео.

 

D.6 Подготовка доклада

 

Если требуется всеобъемлющий отчет, то общий отраслевой формат [10] обеспечивает хорошую структуру для отчетности об эффективности, результативности и удовлетворенности.

 

Приложение E

(справочное)

 

 Взаимосвязь между различными моделями качества

Качество систем/программного продукта - это степень, в которой он удовлетворяет заявленные и подразумеваемые потребности различных заинтересованных сторон и, таким образом, обеспечивает ценность. Эти заявленные и подразумеваемые потребности представлены в серии стандартов SQuaRE моделями качества, которые классифицируют качество системы/программного продукта по характеристикам, которые в некоторых случаях далее подразделяются на подхарактеристики.

 

Потребности пользователей в качестве включают в себя требования к качеству системы, используемой в конкретных условиях. Эти выявленные потребности могут быть использованы при определении внешних и внутренних показателей качества с использованием характеристик и подхарактеристик качества системы в процессе ее использования.

 

Качество программного обеспечения может быть оценено путем измерения внутренних свойств (как правило, статических показателей промежуточных продуктов) или путем измерения внешних свойств (как правило, путем измерения поведения кода при выполнении).

 

Качество системы/программного продукта при использовании может быть оценено путем измерения свойств качества при использовании (когда продукт находится в реальном использовании или тестовой среде).

 

Соответствующие внутренние свойства программного обеспечения являются предпосылкой для достижения требуемого внешнего поведения, а соответствующее внешнее поведение является предпосылкой для достижения качества использования (см. рисунок E.1).

 

 

 

 

     Рисунок E.1 - Взаимосвязь между типами показателей качества

Приложение F

(справочное)

 

 Концепции измерения качества

Измеримые свойства системы/программного продукта, связанные с качеством, называются свойствами для количественной оценки с соответствующими показателями качества. Эти свойства измеряются с помощью метода измерения. Метод измерения - это логическая последовательность операций, используемых для количественной оценки свойств относительно заданного масштаба. Результат применения метода измерения называется элементом показателя качества.

 

Качественные характеристики и подхарактеристики могут быть количественно оценены с помощью применения измерительных функций. Функция измерения - это алгоритм, используемый для объединения элементов показателя качества.

 

Результат применения измерительной функции называется показателем качества. Таким образом, показатели качества становятся количественными показателями качественных характеристик и подхарактеристик. Для измерения характеристики качества или подхарактеристики может использоваться несколько показателей качества (см. рисунок F.1).

 

 

 

 

Примечание - Целевым объектом может быть система, программный продукт, данные или пользователь (см. ИСО/МЭК 25010, рисунок 5).

     Рисунок F.1 - Измерение качественных характеристик

Приложение G

(справочное)

 

 Использование элемента показателя качества (QME) для определения показателей качества

Большинство QME полностью описаны в определении каждого показателя качества. Некоторые QME, используемые в нескольких показателях качества, определены ниже:

 

- задача (действия, предпринимаемые Пользователем для достижения поставленной цели);

 

- объект;

 

- назначение задачи;

 

- ошибка пользователя (действие или убеждение пользователя, которое непреднамеренно отклоняет его от правильных действий);

 

- задачи с ошибками (задачи, в которых пользователь непреднамеренно отклоняется от правильного решения).

 

Приложение ДА

(справочное)

 

 Сведения о соответствии ссылочных международных стандартов национальным стандартам

Таблица ДА.1

 

Обозначение ссылочного международного стандарта

Степень соответствия

Обозначение и наименование соответствующего национального стандарта

ISO/IEC 25010

IDT

ГОСТ Р ИСО/МЭК 25010-2015 "Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модели качества систем и программных "продуктов"

Примечания - В настоящей таблице использовано следующее условное обозначение степени соответствия стандарта:

 

- IDT - идентичный стандарт.

 

 

 Библиография

 

[1]

ISO 9241-11:1998, Ergonomic requirements for office work with visual display terminals (VDTs) - Part 11: Guidance on usability

[2]

ISO/IEC 12207:2008, Systems and software engineering - Software life cycle processes

[3]

ISO/IEC 15288:2015, Systems and software engineering - System life cycle processes

[4]

ISO/IEC 15939:2007, Systems and software engineering - Measurement process

[5]

ISO/TS 20282-2:2013, Usability of consumer products and products for public use - Part 2: Summative test method

[6]

ISO/IEC 25000:2014, Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Guide to SQuaRE

[7]

ISO/IEC 25020:2007, Software engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Measurement reference model and guide

[8]

ISO/IEC 25021:2012, Systems and software engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Quality measure elements

[9]

ISO/IEC 25030, Software engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Quality requirements

[10]

ISO/IEC 25062, Software engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Common Industry Format (CIF) for usability test reports

[11]

ISO/IEC 25063, Systems and software engineering - Systems and software product Quality Requirements and Evaluation (SQuaRE) - Common Industry Format (CIF) for usability: Context of use description

[12]

IEC 31010, Risk management - Risk assessment techniques

[13]

IEC 62366:2007, Medical devices - Application of usability engineering to medical devices

[14]

Hassenzahl M., & Monk A. The inference of perceived usability from beauty. Hum. Comput. Interact. 2010, 25 (3) pp.235-260

[15]

Hernandez L. (2002). Evaluation of different scales for measurement of perceived physical strain during performance of manual tasks. Int. J. Occup. Saf. Ergon. 2002, 8 (4) pp.413-432

[16]

Jian J.-Y., Bisantz A.M., Drury G. Foundations for an empirically determined scale of trust in automated systems. Int. J. Cogn. Ergon. 2000, 4 (1) pp.53-71

[17]

Ministry of Economy. Trade and Industry, Japan (METI) (2011) A Set of Metrics for Information Systems/Software Product Quality in Japan http://www.meti.go.jp/policy/mono_info_service/joho/cloud/2011/11_05.pdf

[18]

Net Promoter Score. (2014) http://en.wikipedia.org/wiki/Net_Promoter Systems and software Quality

[19]

Sauro J., & Lewis J. Quantifying the User Experience. Morgan Kaufmann, 2010

[20]

Sauro J. (2010) Single Ease Question (2010) https://www.measuringu.com/blog/single-question.php

[21]

Sauro J. (2011). Measuring Usability With The System Usability Scale (SUS). http://www.measuringusability.com/sus.php

[22]

Sauro J. (2012) 8 Advantages Of Standardized Usability Questionnaires. http://www.measuringusability.com/blog/standardized-usability.php

[23]

Watson D., Clark L.A., Tellegen A. Development and validation of brief measures of positive and negative affect: the PANAS scales. J. Pers. Soc. Psychol. 1988, 54 (6) pp.1063-1070

 

 

УДК 006.354:004.056.5:006.354

ОКС 35.080

 

Ключевые слова: системная и программная инженерия, требования и оценка качества систем и программных средств, элемент показателя качества, качество при использовании, программная продукция

 

 

Чат GPT

Вверх