Полное меню
- Актуальное
законодательство - Интернет
и право- - Рассылка ''Закон есть закон''
- - Форум сайта (архив)
- - Законодательство
- - Судебная практика (необычная)
- - Судебная практика (авторская)
- - Процедура UDRP и и решения WIPO
- - Книги серии ''Интернет и Право''
- - Книги в открытом доступе
- - Учебный курс ''Интернет и Право''
- - Учебный курс ''Доменные споры''
- - Литература по ''Интернет и Право''
- - Литература по интел. собственности
- - Научный уголок (работы гостей)
- - Авторские публикации
- Информационные
материалы - ЮРИДИЧЕСКИЕ
УСЛУГИ- - Перечень юридических услуг
- - Карта юридических услуг
- - Юридическая консультация
- - Доменные споры (RU), авторское право
- - Международный суд по доменам (COM)
- - Защита прав на маркетплейсе (WB, Ozon)
- - Защита прав в соцсетях (Vk, Ok, FB)
- - Купля-продажа домена, сайта, ПО
- - Досудебное урегулирование конфликта
- - Защита чести и деловой репутации
- - Отмена блокировки сайта/домена РКН
- - ФАС: товарные знаки, авторское право
- - Регистрация ПО/сайта (Роспатент)
- - Юридическая проверка домена
- - Нотариальное заверение сайтов
- - Способы и формы оплаты услуг
- - Мы в СМИ
- - О компании, клиенты
- - Наши дела и победы
- - Контакты и реквизиты
- Информация
о сайте -
ОписаниеИсточник публикации М.: Стандартинформ, 2019 Примечание к документу Документ введен в действие с 01.01.2021. Название документа "ГОСТ Р ИСО/МЭК 25066-2019. Национальный стандарт Российской Федерации. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Общий отраслевой формат (CIF) для удобства использования. Отчет об оценке" (утв. и введен в действие Приказом Росстандарта от 16.10.2019 N 1007-ст) "ГОСТ Р ИСО/МЭК 25066-2019. Национальный стандарт Российской Федерации. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Общий отраслевой формат (CIF) для удобства использования. Отчет об оценке"
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Архитектура и подпроекты SQuaRE | |||
ИСО/МЭК 2503n: Раздел "Требования к качеству" | ИСО/МЭК 2501n: Раздел "Модель качества" | ИСО/МЭК 2504n: Раздел "Оценка качества" | |
ИСО/МЭК 2500n: Раздел "Управление качеством" | |||
ИСО/МЭК 2502n: Раздел "Измерение качества" | |||
ИСО/МЭК 25050 - 25099: Раздел "Расширение SQuaRE" | |||
ИСО/МЭК 25051 "Требования к качеству готового к использованию программного продукта (RUSP) и инструкции по проведению испытаний" | ИСО/МЭК 2506n: Раздел "Общий отраслевой формат" | ||
Стандарты, выделенные жирным шрифтом, представляют собой результаты процесса CIF.
по человеко-ориентированному проектированию по ИСО 9241-210
и процессами жизненного цикла системы по ИСО/МЭК 15288
На рисунке 1 показана взаимосвязь информационных элементов с деятельностью по человеко-ориентированному проектированию, описанной в ИСО 9241-210, а также соответствующими процессами жизненного цикла системы, определенными в ИСО/МЭК 15288 <1>.
--------------------------------
<1> Заменен на ISO/IEC/IEEE 15288:2015.
Пояснения, представленные ниже, служат альтернативным описанием рисунка.
Действия на рисунке изображены в виде набора пересекающихся кругов. Пересечение кругов показывает, что действия не являются отдельными, а скорее пересекаются во времени и по объему, и результат каждого действия обеспечивает участие одного или нескольких других действий. Поскольку каждая разработка, ориентированная на человека, может предоставить входные данные для другого вида деятельности, то не подразумевается наличие какой-либо отправной точки, конечной точки или линейного процесса.
Разработка, ориентированная на человека, состоит из четырех взаимосвязанных действий, представленных в виде пересекающихся кругов на диаграмме, где потребности пользователя находятся в центре.
Первое действие включает в себя контекст использования. Разработка, ориентированная на человека, зависит от потребностей пользователя, которые изначально определяются во время анализа контекста использования. Потребности пользователя документируются в Отчете о потребностях пользователя (ИСО/МЭК 25064), являющимся промежуточным и связующим звеном Контекст описания использования (ИСО/МЭК 25063), которое содержит информацию о пользователях, их задачах, организационной и физической среде и требованиях пользователя. Эти элементы разрабатываются во время процесса определения потребностей и требований заинтересованных сторон, описанного в ИСО/МЭК 15288.
Второе действие включает в себя полученные требования. Спецификация требований пользователя (ИСО/МЭК 25065) обеспечивает основу для разработки и оценки интерактивных систем для удовлетворения потребностей пользователей. Требования пользователей разрабатываются в сочетании с общей спецификацией требований интерактивной системы.
Третье действие включает в себя разработанные решения. Деятельность "Представить проектное решение" фокусируется на разработке взаимодействия с пользователем, отвечающего требованиям пользователей. Эта деятельность выполняется во время процессов архитектурного проектирования, реализации и интеграции, описанных в ИСО/МЭК 15288, и создает информационные элементы "Спецификация взаимодействия с пользователем" и "Спецификация пользовательского интерфейса".
Четвертое действие включает в себя результаты оценки. Деятельность "Оценка" начинается на самых ранних этапах проекта и оценивает концепцию разработки, чтобы лучше понять потребности пользователей. Проектные решения могут оцениваться многократно, по мере разработки интерактивной системы, и создавать различные типы отчетов об оценке и данных об удобстве использования, таких как данные, описанные в ИСО/МЭК 25062. Эти оценки могут поддерживать процесс верификации по ИСО/МЭК 15288, который подтверждает, что система соответствует требованиям заинтересованных сторон.
В настоящем стандарте определен Общий отраслевой формат (CIF) отчетов об оценке удобства использования. Он предоставляет классификацию подходов к оценке и спецификации для элементов содержимого, которые должны быть включены в отчет об оценке на основе выбранного(ых) подхода(ов) к оценке. В стандарте также определены предполагаемые пользователи отчетов об оценке удобства использования, а также ситуации, в которых может применяться отчет об оценке удобства использования.
В настоящем стандарте отчеты об оценке удобства использования применимы к программным и аппаратным системам, продуктам или услугам, используемым для определенных задач (исключая общие продукты, такие как экран дисплея или клавиатура). Элементы содержимого предназначены для использования в качестве части документации системного уровня, являющейся результатом процессов разработки, описанных в стандартах ИСО 9241-210 и ИСО/МЭК JTC 1/SC 7.
Элементы содержимого для документирования оценок могут быть интегрированы в любую модель процесса.
Примечание - В целях создания моделей процессов в ИСО/МЭК ТО 24774 и ИСО/МЭК 33020 устанавливаются требования к формату и моделям процессов соответственно. Кроме того, ИСО/МЭК 15289 определяет типы и содержание информационных элементов, разработанных и используемых в моделях процессов управления жизненным циклом системы и программного обеспечения. ИСО/МЭК 15504-5 и ИСО/МЭК 15504-6 (заменяют ИСО/МЭК 33060) определяют рабочие продукты, включая информационные элементы, для целей оценки возможностей процесса. Модели процессов и связанные с ними информационные элементы для разработки интерактивных систем, ориентированных на человека, содержатся в ISO/TR 18529 и ISO/TS 18152.
Отчет об оценке соответствует требованиям настоящего стандарта, если он содержит все необходимые элементы, представленные в разделе 5, которые применимы к типу(ам) оценки, включая:
- дополнительные необязательные элементы содержимого, которые были выбраны для оценки;
- элементы содержимого для оценки соответствия (если они используются).
В настоящем стандарте применены следующие термины с соответствующими определениями.
Примечание - Семейство стандартов CIF использует определения, совместимые с определениями, приведенными в серии стандартов ИСО 9241, поскольку эта терминология обычно используется в данной области. В некоторых случаях эти определения отличаются от определений по ИСО/МЭК 25000.
3.1
доступность (accessibility): Свойство продукции, систем, услуг, сред или сооружений, при наличии которого они могут быть использованы людьми в совокупности с самым широким диапазоном возможностей для достижения установленных целей в определенных условиях использования. Примечание - Условия использования включают в себя непосредственное использование или использование с помощью вспомогательных технологий. [ИСО 26800:2011, статья 2.1; с изменениями, примечание 2 удалено] |
3.2
действие (action): Поведение пользователя, которое система принимает в качестве запроса в отношении определенной операции. [ИСО/МЭК ТО 11580:2007, статья 2.3; с изменениями, пример удален] |
3.3
оценка соответствия (conformity assessment): Доказательство того, что заданные требования к продукции, процессу, системе, лицу или органу выполнены. [ИСО/МЭК 17000:2004, статья 2.1; с изменениями, примечания удалены] |
3.4
условия использования (context of use): Пользователи, задачи, оборудование (аппаратные средства, программные средства, материалы), физическая и социальная среда, в которых используют продукцию. [ИСО 9241-11:1998, статья 3.5] <1> |
--------------------------------
<1> Заменен на ИСО 9241-11:2018.
3.5
диалог (dialogue): Взаимодействие между пользователем и интерактивной системой, рассматриваемое как последовательность действий пользователя (входы) и ответных реакций системы (выходы), направленное на достижение установленной цели. Примечания 1 Действия пользователя включают в себя не только ввод данных, но также действия по перемещению данных. 2 Понятие диалога охватывает как форму (порядок), так и смысл (семантику) взаимодействия. [ИСО 9241-110:2006, статья 3.2] |
3.6
эффективность (efficiency): Связь между достигнутым результатом и использованными ресурсами. [ИСО 9241-11:1998, статья 3.2] |
3.7
результативность (effectiveness): Степень реализации запланированной деятельности и достижения запланированных результатов. [ИСО 9241-11:1998, статья 3.3] |
3.8
цель (goal): Предполагаемый результат. [ИСО 9241-11:1998, статья 3.8] |
3.9
информационный элемент (information item): Отдельно определяемый объем информации, который создается и хранится для использования человеком в течение жизненного цикла системы или программного обеспечения. [ISO/IEC/IEEE 15289:2011, статья 5.7] <1> |
--------------------------------
<1> Заменен на ISO/IEC/IEEE 15289:2015.
3.10 оценка на основе проверки (inspection-based evaluation): Оценка, основанная на суждении одного или нескольких оценщиков, которые изучают или используют систему для выявления потенциальных проблем удобства использования (включая отклонения от установленных критериев).
Примечания
1 Оценщики, выполняющие проверки, обычно являются специалистами по удобству использования, но могут также включать в себя конечных пользователей и членов команды разработчиков.
2 Установленные критерии обычно включают в себя требования пользователей, руководящие принципы удобства использования, указанные в стандартах, соглашения о разработке, содержащиеся в инструкциях производителя и руководствах по стилям, поддерживаемые модели задач, а также стандартизированные принципы.
3 Оценка может проводиться с помощью справочных документов или без них.
4 Оценка на основе проверки является общим термином для методов, которые включают, помимо прочего, эвристическую оценку, когнитивный критический анализ, проверку стандартов, свободный критический анализ, пошаговые руководства и проверки согласованности.
5 В некоторых случаях, оценка на основе проверки может проводиться машинным оборудованием, например, когда оценивается согласованность с требуемой терминологией. В этом случае машинное оборудование является оценщиком.
3.11
требование (requirement): Условия или возможности, которые должны выполняться или входить в систему, системный компонент, продукт или услугу для соответствия соглашениям, стандартам, спецификации или другим формальным документам. [ISO/IEC/IEEE 24765:2010, статья 3.2506, раздел 4] <2> |
--------------------------------
3.12
удовлетворенность (satisfaction): Отсутствие дискомфорта и положительное отношение к использованию продукции. [ИСО 9241-11:1998, статья 3.4] |
3.13
заинтересованная сторона (stakeholder): Физическое или юридическое лицо, владеющее правом, долей, требованием или интересом к системе или обладающее характеристиками, отвечающими их потребностям и ожиданиям. [ISO/IEC/IEEE 15288:2015, статья 4.1.44] |
3.14
система (system): Сочетание взаимодействующих элементов, организованных для достижения одной или нескольких заявленных целей. Примечания 1 Система может рассматриваться как продукт или как предоставляемые ею услуги. 2 На практике толкование ее значения часто разъясняется с помощью ассоциативного существительного, например, воздушной системы. Альтернативно, система слов может быть заменена просто зависящим от контекста синонимом, например, воздушное судно, хотя оно может скрыть перспективы системных принципов. [ISO/IEC/IEEE 15288:2015, статья 4.1.46; с изменениями, примечание 3 удалено] |
3.15
задача (task): Мероприятия, необходимые для достижения цели. Примечание - Термин "задача" используется здесь, как и в ИСО 9241-11, в его самом широком смысле, а не в отношении специфики использования диалоговой системы. [ИСО 9241-11:1998, статья 3.9; с изменениями, примечания изменены] |
3.16
удобство использования, практичность, пригодность (usability): Степень, в которой система, продукт или услуга могут использоваться указанными пользователями для достижения определенных целей с эффективностью, результативностью и удовлетворенностью в определенном контексте использования. Примечание - В соответствии с ИСО/МЭК 25010 "Удобство использования можно либо определить, либо измерить как характеристику качества продукта с точки зрения его подхарактеристик, либо определить или измерить непосредственно с помощью мер, которые являются подмножеством используемого качества". Определение удобства использования в настоящем стандарте согласуется со вторым подходом. [ИСО 9241-210:2010, статья 2.13; с изменениями, примечания изменены] |
3.17 дефект удобства использования (usability defect): Свойство(а) продукта, которое(ые) приводит(ят) к несоответствию между намерениями и/или действиями пользователя, а также системными свойствами и поведением.
Примечания
1 Типичные дефекты удобства использования включают в себя следующее:
- дополнительные ненужные шаги, не требуемые как часть выполнения задачи;
- вводящую в заблуждение информацию;
- недостаточную и/или скудную информацию о пользовательском интерфейсе;
- неожиданные системные ответы;
- ограничения в навигации;
- неэффективные механизмы восстановления ошибок использования;
- физические характеристики пользовательского интерфейса, которые не подходят для физических характеристик пользователя.
2 Отклонения свойств продукта объекта оценки от установленных критериев также относятся к дефектам удобства использования.
3.18 обнаружение в отношении удобства использования (usability finding): Выявленный дефект и/или проблема удобства использования или положительное свойство, связанное с удобством использования.
3.19 проблема удобства использования (usability problem): Ситуация во время использования, которая приводит к низкой эффективности, результативности или удовлетворенности.
3.20
ошибка использования (use error): Действие или бездействие пользователя при использовании интерактивной системы, что приводит к другому результату, чем тот, который предписывается производителем или ожидается пользователем. Примечания 1 Ошибка использования включает в себя неспособность пользователя выполнить задачу. 2 Ошибки использования могут возникать из-за несоответствия между характеристиками пользователя, пользовательского интерфейса, задачи или среды использования. 3 Пользователи могут знать или не знать о том, что произошла ошибка использования. 4 Неожиданный физиологический ответ объекта воздействия сам по себе не считается ошибкой использования. 5 Неисправность интерактивной системы, которая вызывает неожиданный результат, не считается ошибкой использования. [МЭК 62366-1:2015, статья 3.21; с изменениями, термин "медицинское устройство" заменен на термин "интерактивная система", примечания изменены] |
3.21
пользователь (user): Лицо, взаимодействующее с системой, продукцией или услугой. Примечания 1 К пользователям относятся лица, которые управляют системой, используют результат, предоставляемый системой, а также лица, которые выполняют задачи по поддержке с помощью системы (включая обслуживание и обучение). 2 Согласно ИСО/МЭК 25010, пользователь определяется как "физическое лицо или группа, которая взаимодействует с системой или получает выгоду от системы во время ее использования". 3 Первичные и вторичные пользователи взаимодействуют с системой, а основные и косвенные пользователи могут воспользоваться системой. Это определение включает в себя более широкое понимание отдельных лиц и организаций, которые действуют как пользователи. [ИСО 26800:2011, статья 2.10; с изменениями, примечания изменены] |
3.22 пользовательская оценка (user-based evaluation): Оценка, которая проводится уполномоченными пользователями, выполняющими задачи с системой, с целью выявления проблем удобства использования и/или измерения эффективности, результативности, удовлетворенности пользователей или другого пользовательского опыта.
3.23
пользовательский опыт (системы, продукции, услуги) (user experience): Впечатления пользователя, возникающие в результате использования и/или предстоящего использования продукции, системы или услуги. Примечания 1 Пользовательский опыт системы включает в себя эмоции, убеждения, предпочтения, ощущения, физические и психологические реакции пользователя, поведение и достижения, которые возникают до, во время использования и после него. 2 Пользовательский опыт системы формирует сочетание образа торговой марки, способа представления, функциональности и производительности системы, ее основных и вспомогательных возможностей, а также физического и психологического состояния пользователя, являющегося результатом предшествующего опыта, привычек, навыков и индивидуальности, а также условий использования. 3 Удобство использования, если оно важно с точки зрения личных целей пользователей, может включать в себя аспекты восприятия и эмоциональные аспекты, обычно связанные с опытом пользователя. Для оценки аспектов пользовательского опыта системы могут быть использованы критерии удобства использования. [ИСО 9241-210:2010, статья 2.15] |
3.24
потребности пользователя (user need): Необходимое условие для пользователя или ряда пользователей для достижения намеченного результата, подразумеваемого или указанного в определенном контексте использования. Примеры 1 Предъявитель (пользователь) должен знать, сколько времени осталось (предварительное условие) для завершения презентации (предполагаемый результат) в течение презентации с фиксированным временным лимитом (контекст использования). 2 Менеджеру по учету (пользователю) необходимо знать количество полученных счетов-фактур и их суммы (предварительное условие), чтобы заполнить ежедневный журнал учета (предполагаемый результат) в рамках мониторинга потока денежных средств (контекст использования). Примечания 1 Потребность пользователя не зависит от любого предлагаемого решения для этой потребности. 2 Потребности пользователей определяются на основе различных подходов, включая интервью с пользователями, наблюдения, опросы, оценки, экспертный анализ и т.д. 3 Потребности пользователей часто представляют собой пробелы (или расхождения) между тем, что должно быть и что есть. 4 Потребности пользователей преобразуются в требования пользователей с учетом контекста использования, приоритетов пользователей, компромиссов с другими системными требованиями и ограничениями. [ИСО/МЭК 25064:2013, статья 4.19] |
3.25
требования пользователя (user requirements), требования к использованию (usage requirements): Требования к использованию, которые обеспечивают основу для разработки и оценки интерактивных систем для удовлетворения определенных потребностей пользователей. Примечания 1 Требования пользователей основаны на потребностях пользователей, характеристиках и возможностях использования системы в эффективном, результативном, безопасном и удовлетворительном состоянии. 2 Требования пользователей определяют степень, в которой потребности пользователя, характеристики и возможности должны выполняться при использовании системы. Они не являются требованиями к пользователям. 3 С точки зрения разработки программного обеспечения требования пользователей включают в себя как "функциональные", так и "нефункциональные" требования, основанные на потребностях и возможностях пользователей. [ИСО/МЭК ТО 25060:2010, статья 2.21] |
Содержание отчета об оценке удобства использования зависит от цели оценки. Оценка может быть выполнена для проверки того, были ли реализованы определенные требования пользователя, или были ли реализованы указанные рекомендации по доступности. Оценка также может быть выполнена в качестве основы для решения о закупках. Настоящий стандарт описывает содержание отчетов об оценке удобства использования, подготовленных для широкого спектра целей оценки удобства использования.
Цель ИСО/МЭК 25062 заключается в том, чтобы облегчить включение удобства использования в процесс принятия решений о закупках программного обеспечения для оценки того, соответствует ли продукт требованиям удобства использования. Примеры решений включают в себя покупку, модернизацию и автоматизацию. ИСО/МЭК 25062 предоставляет пример отчета о наблюдениях за пользователями для измерения производительности в соответствии с приложением A настоящего стандарта. ИСО/МЭК 25062 обеспечивает общий формат для специалистов в области человеческих факторов и удобства использования в компаниях-поставщиках для предоставления возможности сообщить о методах и результатах испытания удобства использования организации-заказчику. Поскольку среда закупок является целевой аудиторией, то ИСО/МЭК 25062 более подходит по формату и необходимым элементам.
Оценка удобства использования является систематическим процессом, использующим один из подходов к оценке, описанных ниже.
Содержание отчета об оценке зависит от типа используемого подхода к оценке.
Классификация подходов к оценке, соответствующая разделу 2, включает в себя:
a) проверку для выявления дефектов удобства использования и потенциальных проблем удобства использования, в том числе:
- отклонения объекта оценки от определенных критериев, таких как требования пользователей, принципы, руководящие принципы проектирования или установленные договоренности,
- потенциальные проблемы удобства использования при попытке выполнить одну или несколько задач с целью оценки;
b) наблюдение за пользователями, в том числе:
- наблюдение за поведением пользователей для определения фактических результатов использования,
- измерение производительности и реакции пользователя (например, время, затрачиваемое на выполнение задачи, количество ошибок использования, пульс или расширение глазного зрачка);
Примечание 1 - Наблюдение за пользователями может проводиться как явное тестирование удобства использования и/или в "реальных условиях".
Примечание 2 - Проблемы удобства использования либо идентифицируются во время наблюдения, либо после последующего анализа.
c) опрос пользователей, включая:
- выявление проблем, мнений и впечатлений от пользователей (качественные опросы пользователей),
- измерение уровня удовлетворенности или восприятия пользователя, например, оценочные значения шкалы для удовлетворенности или для субъективно воспринимаемой эффективности или результативности (количественные опросы пользователей),
- другие данные, сообщенные пользователем (например, данные, собранные от человека в сочетании с данными наблюдений).
Примечание 3 - Сбор информации об участниках, такой как демографические данные, не является опросом пользователей.
Отчет об оценке удобства использования содержит информацию об одном или нескольких типах оценок, перечисленных выше.
Пример 1 - В отчете об испытании удобства использования описаны проблемы, с которыми сталкиваются пользователи при выполнении задач (тип информации: наблюдение за поведением пользователя). Количественный отчет об испытании удобства использования, основанный на ИСО/МЭК 25062, содержит меры эффективности, результативности и удовлетворенности (типы информации: измерение производительности пользователя и опрос пользователей).
При составлении отчетности о результатах, полученных при проведении оценки удобства использования, важно отделять недостатки удобства использования от их последствий. В то время как недостатки удобства использования обычно являются неприемлемыми свойствами интерактивной системы, их последствия описывают негативное влияние на пользователя, которое либо может произойти, либо было обнаружено, или зарегистрировано.
Пример 2 - Несоответствие удобства использования может заключаться в том, что в рамках веб-формы требуемые поля ввода не помечены как таковые. Последствия могут заключаться в том, что пользователи не заполняют требуемые поля ввода и поэтому неоднократно допускают ошибки в использовании.
Содержание оценки удобства использования может быть дополнительно классифицировано по типам оценки. Оценки удобства использования можно дифференцировать с точки зрения поведения оценки "на основе проверки" и "на основе пользователя". В следующих разделах представлены типы отчетов об оценке удобства использования.
Данные отчета об оценке могут использоваться для разных целей. Одна из целей заключается в том, чтобы показать, что объект оценки соответствует определенным требованиям, называемым критериями соответствия. Оценка соответствия объекта оценки указанным критериям приведена в ИСО/МЭК 17000, как "демонстрация того, что заданные требования, касающиеся продукта, процесса, системы, человека или тела, выполнены". Оценка соответствия заключается в сравнении результатов оценки с заранее установленными критериями соответствия. Критерии соответствия могут быть определены в рамках проекта или третьей стороной (например, регулирующим органом). Для получения данных, которые могут быть использованы для оценки соответствия, требуется строгая оценка. Если используется оценка соответствия, она должна быть документирована в соответствии с требованиями настоящего стандарта.
Примечание - Формальная оценка соответствия требует определенной "схемы оценки соответствия". Формальная схема предусматривает: a) правовую защищенность; b) доказательства исполнения условий договора; c) согласованность применения и сопоставимость результатов между оценщиками и организациями. Схемы оценки соответствия осуществляются на международном, региональном, национальном и субнациональном уровнях.
Оценка соответствия может быть включена в отчет об оценке удобства использования или представлена в виде отдельного "Отчета об оценке соответствия". В таблице 2 приведены различные критерии соответствия, которые могут быть указаны в качестве основы для оценки соответствия. Для одной оценки соответствия могут существовать разные наборы указанных критериев соответствия, если базовая оценка состояла из нескольких типов оценки (например, проверка, наблюдение за пользователем и опрос пользователя).
Таблица 2
соответствия, и соответствующие типы отчетов
об оценке удобства использования
Критерии соответствия | Отчет об оценке удобства использования |
- Указанные требования пользователя (например, "Пользователь должен иметь возможность сортировать полеты по продолжительности" или "Пользователь должен иметь возможность выбирать альтернативные режимы ввода или вывода для выполнения задачи"). Указанные принципы (например, "устойчивость к ошибкам") и рекомендации (например, "Обязательные поля ввода должны визуально отличаться от необязательных полей ввода"). - Указанные соглашения по дизайну (например, "Кнопка редактирования всегда находится в правом верхнем углу формы") | Отчет об оценке на основе проверки |
- Указанные требования пользователя (например, "Пользователь должен иметь возможность увидеть то, что один или несколько объектов воздействия нуждаются в немедленном внимании"). - Указанные требования пользователя к производительности (например, "Пользователь должен иметь возможность выполнить заказ на продажу в течение 60 секунд") | Отчет о наблюдениях за пользователями |
- Указанные оценки для субъективно воспринимаемой эффективности, результативности, удовлетворенности и других мерах, воспринимаемых пользователями (например, 3,5 по шкале от 1 (минимум) до 5 (максимум)). - Указанные свойства сообщенных событий (например, "Если какая-либо из сообщенных проблем удобства использования считается неприемлемой, объект оценки не соответствует оценке соответствия"). | Отчет об опросе пользователей |
Принципы и руководящие принципы, которые могут быть использованы в качестве критериев соответствия, публикуются в различных источниках, включая серию стандартов ИСО 9241. Эти принципы и рекомендации часто применяются во всех операционных системах и средах разработки, например, "Цвет не должен использоваться в качестве единственного средства для кодирования информации" или "Обязательные поля ввода должны визуально отличаться от дополнительных полей ввода". Рекомендации, связанные с пользовательским интерфейсом, можно найти в стандартах серии ИСО 9241:
- ИСО 9241-12 "Представление информации";
- ИСО 9241-13 "Руководство пользователя";
- ИСО 9241-14 "Диалоги меню";
- ИСО 9241-15 "Диалоги команд" <1>;
--------------------------------
<1> Отменен.
- ИСО 9241-16 "Диалоги прямого управления" <2>;
--------------------------------
<2> Отменен.
- ИСО 9241-20 "Руководящие указания по доступу к оборудованию и услугам информационных и коммуникационных технологий";
- ИСО 9241-110 "Принципы диалога";
- ИСО 9241-129 "Руководство по программному обеспечению";
- ИСО 9241-143 "Формы";
- ИСО 9241-151 <3> "Руководство по пользовательским интерфейсам World Wide Web";
--------------------------------
<3> Отменен.
- ИСО 9241-171 "Руководство по доступности программного обеспечения";
- ИСО 9241-303 "Требования к электронным визуальным дисплеям";
- ИСО 9241-400 "Принципы и требования к устройствам физического ввода";
- ИСО 9241-410 "Критерии проектирования для физических устройств ввода";
- ИСО 9241-920 "Руководство по тактильным взаимодействиям".
Установленные соглашения, которые также быть использованы в качестве критериев соответствия, обычно включают в себя правила, опубликованные поставщиками операционных систем (например, "Windows", "Mac OS", "iOS", "Android"), и среды разработки (например, "NET" или "Java").
Пример - Установленное соглашение: "Диалоговое окно всегда имеет кнопку "OK" и "Отмена" в правом нижнем углу диалогового окна".
В данном разделе описываются элементы содержимого, которые могут быть включены в отчет об оценке удобства использования. Элементы содержимого описаны в подклассах, организованных на основе разделов, которые могут быть включены в отчет об оценке.
В зависимости от цели оценки отчет об оценке удобства использования может включать в себя следующие разделы:
- резюме;
- цель оценки;
- метод;
- процедура;
- результаты;
- интерпретация результатов и рекомендаций (необязательно).
В каждом разделе отчета требуемые, рекомендуемые и разрешенные элементы содержимого для каждого типа оценки указываются в таблице, приведенной в конце каждого раздела отчета. Каждый элемент содержимого указан как обязательный, а именно: необходимый ("должен"), рекомендованный ("следует") или разрешенный ("может") для каждого типа оценки (т.е. проверки, наблюдения за пользователями и опроса пользователей). Требования описывают элементы, которые необходимы во всех ситуациях. Рекомендации также важны, но могут не применяться во всех ситуациях.
Элементы содержимого для каждого раздела отчета об оценке определяются типом(ами) оценки, которая должна быть проведена. Кроме того, существуют элементы, которые всегда необходимы, и условные элементы, которые могут быть выбраны для оценки, если они используются (например, статистический анализ или предоставленные рекомендации) и/или применимы (например, части объекта, которые были оценены, или меры, используемые при оценке).
Оценки часто содержат несколько типов оценки (например, наблюдения за пользователями и последующий опрос пользователей). В результате в отчет об оценке будут включены элементы содержимого для обоих типов оценок.
Порядок, в котором вводятся разделы и элементы внутри него, не предписывает требуемый порядок для отчета об оценке удобства использования. Более того, группировка самих элементов содержимого может быть определена автором отчета (например, объединение информации, такой как методы и процедуры, в один раздел отчета об оценке).
Отчет об оценке должен предоставлять достаточную информацию для определения достоверности оценки и обоснованности результатов оценки.
Примечание - Для наблюдения за пользователями контекст использования для оценки должен воспроизводить ключевые аспекты подмножества контекста использования, чтобы результаты оценки были объективными.
В приложении A приведена таблица, которая предоставляет обзор всех необходимых и рекомендуемых элементов содержимого для каждого типа оценки.
В следующем подразделе приведено описание элементов содержимого для отчета об оценке удобства использования. Разделы отчета, описанные ниже, относятся ко всем трем типам оценки (оценка на основе проверки, наблюдение за пользователями и опрос пользователей).
В данном разделе отчета об оценке удобства использования содержится краткий обзор оценки. Цель этого раздела - предоставить информацию тем, кто не может ознакомиться с технической частью отчета.
Резюме может включать в себя:
c) резюме результатов, включая основные выводы, соответствующие выводы и рекомендации (если применимо).
Требуемые и рекомендуемые элементы для каждого типа оценки приведены в таблице 3.
Таблица 3
Тип оценки. Элементы содержимого, которые должны быть включены в отчет | Проверка | Наблюдения за пользователями | Опрос пользователей | |
Наблюдение за поведением пользователей | Измерение производительности и реакции пользователей | |||
a) Наименование и описание объекта оценки | Должен | Должен | Должен | Должен |
b) Резюме метода(ов) и процедуры | Должен | Должен | Должен | Должен |
c) Резюме результатов, включая основные выводы, соответствующие выводы и рекомендации (если применимо) | Должен | Должен | Должен | Должен |
В этом разделе отчета об оценке удобства использования определен объект, который был фактически оценен.
Примечание - К примерам объектов оценки относятся концепции, прототипы пользовательского интерфейса, функционирующие программные системы, аппаратные продукты или компоненты продукта или услуги.
Информация об объекте оценки может включать в себя:
g) ожидаемое воздействие (например, на производительность, безопасность, финансовый фактор) объекта;
Необходимо описать контекст использования объекта оценки. Дальнейшие указания по описанию контекста использования приведены в ИСО/МЭК 25063. Каждый из четырех компонентов контекста использования (пользователи, задачи, оборудование, окружающая среда) не всегда применимы для каждого типа оценки (например, задачи не всегда используются для оценки, основанной на проверке).
Требуемые и рекомендуемые, а также разрешенные элементы для каждого типа оценки приведены в таблице 4.
Таблица 4
Тип оценки. Элементы содержимого, которые должны быть включены в отчет | Проверка | Наблюдения за пользователями | Опрос пользователей | |
Наблюдение за поведением пользователей | Измерение производительности и реакции пользователей | |||
a) Официальное наименования и номер выпуска или версии | Должен | Должен | Должен | Должен |
b) Части объекта, которые были оценены (если применимо) | Должен | Должен | Должен | Должен |
c) Группы пользователей, для которых предназначен объект | Следует | Следует | Следует | Следует |
d) Краткое описание объекта и его назначение | Следует | Следует | Следует | Следует |
e) Предполагаемый контекст использования | Следует | Следует | Следует | Следует |
f) Предварительное резюме по отчету об оценке удобства использования (если применимо) | Следует | Следует | Следует | Следует |
g) Ожидаемое воздействие объекта | Может | Может | Может | Может |
h) Цитаты к исследованию рынка для объекта | Может | Может | Может | Может |
В этом разделе отчета об оценке удобства использования указаны причины, по которым проводилась оценка, и то, какие части объекта были оценены и почему.
Примечание 1 - Цели оценки могут включать в себя:
- улучшение дизайна путем обеспечения обратной связи в процессе проектирования;
- выявление дефектов и проблем удобства использования;
- подтверждение/выявление требований пользователей;
- подтверждение допущений;
- концепции проведения испытаний;
- измерение уровня удобства использования (т.е. эффективности и/или результативности, и/или удовлетворенности пользователей);
- установление контрольных показателей;
- оценку соответствия продукта, системы или услуги определенным критериям соответствия/приемлемости;
- определение сильных и слабых сторон продукта, системы или услуги;
- определение последствий, которые могут возникнуть в результате недостаточного удобства использования;
- разрешение споров между пользователями и/или заинтересованными сторонами;
- определение доступности продукта, системы или услуги;
- получение сертификата:
- прохождение внутренней проверки качества для завершения фазы,
- прохождение аттестации органа по сертификации.
Примечание 2 - Нет необходимости описывать функции и компоненты, если были оценены все функции и компоненты.
Примечание 3 - Нет необходимости описывать причины, по которым оценивалась только часть объекта, если были оценены все функции и компоненты.
Требуемые и рекомендуемые элементы для каждого типа оценки приведены в таблице 5.
Таблица 5
Тип оценки. Элементы содержимого, которые должны быть включены в отчет | Проверка | Наблюдения за пользователями | Опрос пользователей | |
Наблюдение за поведением пользователей | Измерение производительности и реакции пользователей | |||
a) Описание цели | Должен | Должен | Должен | Должен |
b) Оцененные функции и компоненты (если применимо) | Должен | Должен | Должен | Должен |
c) Причины для оценки части объекта (если применимо) | Должен | Должен | Должен | Должен |
В этом разделе отчета об оценке описывается порядок проведения оценки. Целью описания является предоставление достаточной информации для определения правильности метода и оценки достоверности результатов, а также возможности повторения.
Отчеты об оценке удобства использования могут включать в себя данные, основанные на одном или нескольких типах оценки (см. 4.2).
В отчете об оценке удобства использования указывается, какой(ие) тип(ы) оценки был(и) использован(ы).
Примечание - Типы оценок включают в себя оценку на основе проверки, наблюдения за поведением пользователей для измерения производительности пользователей и опрос пользователей.
Требуемые элементы для каждого типа оценки приведены в таблице 6.
Таблица 6
Тип оценки. Элементы содержимого, которые должны быть включены в отчет | Проверка | Наблюдения за пользователями | Опрос пользователей | |
Наблюдение за поведением пользователей | Измерение производительности и реакции пользователей | |||
a) Используемый(е) тип(ы) оценки | Должен | Должен | Должен | Должен |
b) Достаточная информация для повторения процедуры оценки, используемой в ходе оценки | Должен | Должен | Должен | Должен |
В этом разделе отчета об оценке содержится информация о лицах, принимающих участие в оценке удобства использования. Оценщики - это люди, которые проводят оценку, а также люди, которые проводят проверки. Участниками являются люди, которые являются фактическими или потенциальными пользователями объекта оценки, принимающие участие в наблюдательных исследованиях, где контролируется их поведение и/или выполнение задачи. Лица, которые предоставляют данные опроса, также являются участниками.
Информация об оценщиках и участниках позволяет пользователям отчета судить о том, применима ли представленная информация к их условиям.
Этот элемент сообщает об общем количестве оценщиков или участников.
При наблюдении за поведением пользователя в качестве экспериментальной переменной можно использовать сегментацию участников испытания в группы по их характеристикам (см. 5.2.5.1). Сегментация оценщиков позволяет сравнивать результаты, полученные разными категориями оценщиков.
Пример 1 - Категории оценщиков:
- оценщик/инспектор с опытом работы в предметной области;
- оценщик/инспектор с опытом работы в области удобства использования;
- оценщик/инспектор, представляющий пользователей;
- сегментация участников испытания (если более одного).
Пример 2 - Нечастые пользователи по сравнению с обычными пользователями.
Основные характеристики участников испытания определяют свойства целевой аудитории пользователей, которые имеют отношение к достоверности оценки.
Примечание 1 - Основные характеристики могут включать в себя:
- демографические данные, которые используются для идентификации целевых групп пользователей, представляющих особый интерес, например возраст;
- характеристики, связанные с заданием, например, обучение, уровень навыков и установленное поведение;
- физические и сенсорные характеристики, например размеры тела, сила, зрение и слух;
- психологические и социальные характеристики, например, навыки чтения для определенного возраста, привычки, язык и культура;
- социальные и организационные характеристики, например профессия или должность, сопротивление изменениям и культура принятия риска;
- членство в группе пользователей (т.е. группы, которые участник испытания представляет для указанной оценки, например, пользователи смартфонов, пользователи стационарных телефонов).
Этот элемент описывает любые различия между выборкой участников и фактическим контингентом пользователей.
В частности, описаны отличия в основных характеристиках.
Пример 3 - Фактические пользователи могут посещать учебный курс, тогда как испытуемые не прошли подготовку.
Таблицы помогают пользователям в понимании и обобщении основных характеристик участников.
Примечание 2 - Таблица может включать в себя:
- участников (строки) по характеристикам (столбцам), с такими основными характеристиками, как опыт работы с компьютером, возраст, пол, способности.
Требуемые и рекомендуемые элементы для каждого типа оценки приведены в таблице 7.
Таблица 7
Тип оценки. Элементы содержимого, которые должны быть включены в отчет | Проверка | Наблюдения за пользователями | Опрос пользователей | |
Наблюдение за поведением пользователей | Измерение производительности и реакции пользователей | |||
a) Общее количество оценщиков/участников | Должен | Должен | Должен | Должен |
b) Сегментация участников испытания или оценщиков/инспекторов (если имеется более одного сегмента) | Должен | Должен | Должен | Должен |
c) Основные характеристики участников испытания или пользователей, рассмотренных для проверки | Должен | Должен | Должен | Должен |
d) Различия между выборкой и контингентом пользователей (если применимо) | Нет данных | Должен | Должен | Должен |
e) Таблица участников по характеристикам | Нет данных | Должен | Должен | Должен |
В этом разделе отчета об оценке описываются задачи, используемые для оценки. При наблюдении за поведением пользователей, измерении производительности пользователя или сборе данных опроса обычно указываются задачи. Проверки могут выполняться на основе задач, но не все проверки основаны на задачах. Для проверок в отчете об оценке удобства использования должно быть четко указано, используются ли задачи.
Если задачи используются, информация может включать в себя:
Задачи, используемые для оценки, выражаются в названии и предполагаемых результатах, которых люди должны достичь, не ссылаясь на какие-либо конкретные способы их достижения.
Сценарий задачи - это информация, предоставленная участникам, в том числе любые раздаваемые материалы.
Критерии отбора задач объясняют, почему выбранные задачи считаются важными для оценки.
Пример 1 - Наиболее частые задачи для каждой выбранной группы пользователей.
Пример 2 - Задачи, которые вызывают наибольший потенциальный риск.
Источник выбранных задач объясняет, на чем основаны задачи.
Пример 3 - Наблюдение за клиентами, использующими аналогичные продукты, спецификации маркетинга продукта, обсуждение с пользователями или командой разработчиков.
Пример 4 - Данные, подлежащие обработке.
Пример 5 - Зафиксированное моделирование запроса клиента.
Это критерии для прекращения, либо завершения, либо оставления задачи.
Пример 6 - При продолжительности более чем 30 минут задача прекращается.
Пример 7 - После трех неудачных попыток задача останавливается.
Пример 8 - Как только пользователь полагает, что задача выполнена.
Требуемые и рекомендуемые элементы для каждого типа оценки приведены в таблице 8.
Таблица 8
Тип оценки. Элементы содержимого, которые должны быть включены в отчет | Проверка | Наблюдения за пользователями | Опрос пользователей | |
Наблюдение за поведением пользователей | Измерение производительности и реакции пользователей | |||
a) Задачи, используемые для оценки | Должен | Должен | Должен | Должен |
b) Сценарии для каждой задачи | Должен | Должен | Должен | Должен |
c) Критерии отбора задач | Должен | Должен | Должен | Должен |
d) Источник выбранных задач | Должен | Должен | Должен | Должен |
e) Данные о заданиях для участников и/или инспекторов (если применимо) | Должен | Должен | Должен | Должен |
f) Критерии для завершения задачи или оставления задачи для каждой задачи | Нет данных | Может | Должен | Нет данных |
В этом разделе отчета об оценке описывается информация, связанная с физической средой и объектами:
Примечание 1 - Среда оценки может включать в себя описание настройки и типа места, в котором проводилась оценка.
Примечание 2 - Среда оценки особенно важна в ситуациях, когда контекст оценки отличается от предполагаемого контекста использования.
Пример 1 - Лаборатория удобства использования, кабинет, конференц-зал, домашний офис, домашний семейный номер, производственный участок, удаленное испытание удобства использования с использованием видео- и аудио-конференций и совместного использования рабочего стола и т.д.
- любые соответствующие особенности настройки или обстоятельства, которые могут повлиять на результаты;
Пример 2 - Оборудование для видео- и аудиозаписи, зеркала одностороннего видения или автоматическое оборудование для сбора данных.
- описание физической среды.
Пример 3 - Недостаточно освещенная среда (освещение) в радиологическом отсеке.
Пример 4 - Сообщается о выборе местоположения пользователя или окружающей среды (например, дома, в автомобиле, офисе и т.д.) для дистанционного испытания.
Этот элемент описывает как программное обеспечение, так и вычислительную среду.
Примечание 3 - Этот элемент может включать в себя:
- конфигурацию компьютера, включая модель, версию операционной системы, требуемые библиотеки или настройки, в зависимости от браузера, имени и версии браузера, соответствующие имена и версии плагинов;
- любые другие устройства отображения, аудиоустройства и устройства ввода.
Этот элемент описывает любое аппаратное или программное обеспечение, используемое для управления оценкой или для записи данных.
Примечание 4 - Он может включать в себя:
- описание или спецификацию стандартного опросника;
- любое аппаратное или программное обеспечение, используемое для контроля испытания или для записи данных.
Этот элемент идентифицирует количество администраторов оценки, их роли и должности.
Требуемые и рекомендуемые элементы для каждого типа оценки приведены в таблице 9.
Таблица 9
Тип оценки. Элементы содержимого, которые должны быть включены в отчет | Проверка | Наблюдения за пользователями | Опрос пользователей | |
Наблюдение за поведением пользователей | Измерение производительности и реакции пользователей | |||
a) Физическая среда и объекты | Нет данных | Должен | Должен | Может |
b) Техническая среда (если применимо) | Должен | Должен | Должен | Следует |
c) Инструменты администрирования оценки (если они используются) | Следует | Следует | Следует | Следует |
d) Администраторы оценки (если применимо) | Может | Следует | Следует | Следует |
В этом разделе отчета об оценке подробно описывается каждый шаг при выполнении оценки удобства использования. В этом разделе описывается, что и как сделано. В нем определяется тип оценки, определенные экспериментальные манипуляции, а также инструкции для участников.
Этот элемент описывает тип выполненной оценки и экспериментальную схему оценки, план назначения экспериментальных условий участникам, включая определенные экспериментальные манипуляции, если это применимо.
Примечание 1 - Экспериментальные манипуляции могут включать в себя:
- случайное распределение;
- уравновешивание;
- другие функции управления.
Этот элемент описывает те переменные, которые обрабатываются оценщиком (независимые переменные).
Пример 1 - Различные уровни обучения, возраст участников, уровень шума, освещение, которые являются прототипом опыта участников.
Этот элемент используется для проверки или наблюдения.
Примечание 2 - Он может включать в себя:
- для проверки:
- принципы,
- методические рекомендации,
- установленные договоренности;
- для проверки или наблюдения за пользователями:
- требования пользователей.
Пример 2 - Указанным принципом, который должен подвергаться проверке, является "устойчивость к ошибкам".
Пример 3 - Указанный ориентир, подлежащий проверке, - это "обязательные поля ввода должны визуально отличаться от необязательных полей ввода".
Пример 4 - Указанное руководство по доступности, которое подлежит проверке, гласит: "Всякий раз, когда отображается информация о перемещении, мигании, прокрутке или автоматическом обновлении, программное обеспечение должно позволять пользователю приостанавливать или останавливать презентацию, за исключением простых индикаторов хода выполнения процесса".
Пример 5 - Указанное требование пользователя, подлежащее проверке, заключается в том, что "Пользователь должен иметь возможность сортировать полеты по продолжительности".
Пример 6 - Указанное соглашение по дизайну, которое подлежит проверке, заключается в том, что "Кнопка редактирования всегда находится в правом верхнем углу формы".
Этот элемент описывает меры, в отношении которых данные были записаны для каждого комплекса условий.
Пример 7 - Количество участников, которые совершают ошибки при выполнении задачи.
Этот элемент описывает, что составляет критерий или меру.
Пример 8 - Что представляет собой ошибку использования участника: "Неправильный навигационный выбор".
Этот элемент описывает допустимые взаимодействия между лицами, принимающими участие в оценке.
Примечание 3 - Он может включать в себя:
- количество и роли тестирующего персонала и участников, которые будут взаимодействовать во время сеанса оценки;
- количество и роли участников, и как они будут взаимодействовать друг с другом во время сеанса оценки.
Этот элемент определяет любых других лиц, которые, как ожидается, будут присутствовать во время оценки, если это применимо.
Этот элемент описывает общие инструкции, данные участникам оценки.
Примечание 4 - Он может включать в себя:
- фактические инструкции, данные участникам (здесь или в приложении);
- инструкции о том, как участники должны взаимодействовать с любыми другими присутствующими лицами, в том числе о том, как они должны обращаться за помощью и взаимодействовать с другими участниками, если это применимо.
Этот элемент описывает конкретные инструкции по задачам, включая временные рамки для выполнения задач, заданных участникам или оценщику(ам).
Примечание 5 - Он может включать в себя:
- краткую инструкцию по задаче;
- временные рамки для каждой задачи.
Этот элемент описывает последовательность организационных действий для проведения каждой сессии в рамках оценки от приема участников до их увольнения.
Примечание 6 - Он может включать в себя:
- шаги, осуществляемые для выполнения сеансов испытаний и записи данных;
- сведения о соглашениях о неразглашении, заполнении формы, разминке, подготовке к задаче и подведении итогов;
- сведения о том, получали ли участники какие-либо выплаты или иные компенсации;
- проверка того, что участники знали и понимали их права в качестве испытуемых.
В таблице 10 указаны требуемые и рекомендуемые элементы для каждого типа оценки.
Таблица 10
Тип оценки. Элементы содержимого, которые должны быть включены в отчет | Проверка | Наблюдения за пользователями | Опрос пользователей | |
Наблюдение за поведением пользователей | Измерение производительности и реакции пользователей | |||
a) Описание проекта оценки | Должен | Должен | Должен | Должен |
b) Независимые переменные (если применимо) | Нет данных | Должен | Должен | Должен |
c) Предопределенные критерии (для проверки или наблюдения) (в случае использования) | Должен | Должен | Нет данных | Нет данных |
d) Меры, используемые при оценке (если применимо) | Нет данных | Может | Должен | Должен |
e) Оперативные определения критериев или мер (если применимо) | Должен | Должен | Должен | Должен |
f) Взаимодействие между лицами, принимающими участие в каждой сессии оценки (если применимо) | Нет данных | Должен | Должен | Следует |
g) Другие лица, присутствующие при оценках (если применимо) | Нет данных | Следует | Следует | Следует |
h) Общие инструкции, данные участникам | Нет данных | Должен | Должен | Должен |
i) Конкретные инструкции по задачам (если применимо) | Следует | Должен | Должен | Нет данных |
j) Последовательность действий для проведения оценки | Нет данных | Следует | Следует | Может |
В этом разделе отчета описываются элементы процедуры, описывающие данные, собираемые во время оценки.
a) Дефекты удобства использования с точки зрения отклонений от предопределенных критериев (если используются критерии).
Этот элемент определяет то, что отклонения от заданных критериев (см. 5.2.5.1) будут собраны во время оценки.
Примечание 1 - Отклонения включают в себя все свойства взаимодействия с объектом оценки, которые отклоняются от критериев и, как ожидается, вызовут проблемы удобства использования.
Пример 1 - Диалоговое окно, в котором нет кнопки "Отмена".
Пример 2 - В контексте использования, при наличии требования пользователя, эти критические элементы управления легко идентифицируются (критерий), ни один пользователь не нашел кнопку аварийного отключения (отклонение).
Этот элемент идентифицирует все типы наблюдаемого поведения пользователя, которые должны быть собраны.
Эти данные могут быть использованы для определения результатов удобства использования во взаимодействии с объектом оценки.
Примечание 2 - Данные о наблюдениях за пользователями могут включать в себя ситуации, в которых:
- пользователи не знают, как выполнить задачу;
- возникают ошибки использования;
- пользователи сообщают о разочарованиях;
- пользователи участвуют в позитивном поведении;
- пользователи проявляют дискомфорт;
- существует свидетельство того, что одно или несколько определенных требований пользователя выполнены (или не выполнены).
Этот элемент определяет все типы данных о производительности, относящихся к эффективности и результативности, которые должны быть собраны.
Данные о производительности - это конкретный случай данных наблюдений, где числовые значения получены с акцентом на измерение.
Примечание 3 - Измерения данных о производительности могут включать в себя:
- точность и полноту результатов задачи (эффективность) (если применимо);
- завершение задания;
- время, затраченное на выполнение задачи;
- ошибки использования и частоту их возникновения;
- количество щелчков мыши, касаний или жестов;
- количество нажатий на клавишу;
- отслеживание движения глаз;
- данные о поведении (например, эмоциональный уровень, уровень беспокойства, внимания);
- физиологические данные (например, пульс, артериальное давление).
Этот элемент определяет тип(ы) качественных данных, сообщенных пользователями, которые должны быть собраны, а также инструмент работы с данными, который будет использоваться.
Качественные данные, сообщенные пользователями, представляют собой заявления, сделанные пользователями по их опыту, приобретенному в отношении объекта оценки.
Примечание 4 - Опросник является типичным инструментом сбора данных, сообщаемых пользователями. В опроснике, применяемом для сбора качественных данных, используются открытые вопросы.
Примечание 5 - Качественные данные, сообщенные пользователями, могут включать в себя:
- проблемы;
- положительный опыт;
- как пользователи используют объект оценки;
- ожидания;
- нежелательные явления;
- предложения.
Примечание 6 - Проблемы, сообщаемые пользователями, могут сопровождаться субъективными оценками степени опасности.
Этот элемент определяет тип(ы) количественных данных, сообщенных пользователями, которые должны быть собраны, а также инструмент работы с данными, который будет использоваться для сбора.
Количественные данные, сообщенные пользователями, - это опыт, рассчитанный на заданный масштаб.
Примечание 7 - Опросник является типичным инструментом сбора данных, сообщаемых пользователями. В опроснике, применяемом для сбора количественных данных, используются закрытые вопросы, как правило, с соответствующей рейтинговой шкалой.
Примечание 8 - Количественные данные, сообщенные пользователями, могут включать в себя субъективные оценки объекта оценки с точки зрения:
- удовлетворения;
- комфорта;
- надежности;
- отношения;
- обращения;
- усилия;
- воспринимаемой эффективности;
- воспринимаемой результативности.
В таблице 11 указаны требуемые и рекомендуемые элементы для каждого типа оценки.
Таблица 11
Тип оценки. Элементы содержимого, которые должны быть включены в отчет | Проверка | Наблюдения за пользователями | Опрос пользователей | |
Наблюдение за поведением пользователей | Измерение производительности и реакции пользователей | |||
a) Дефекты удобства использования с точки зрения отклонений от предопределенных критериев (если используются критерии) | Должен | Нет данных | Нет данных | Нет данных |
b) Наблюдаемое поведение пользователя | Нет данных | Должен | Следует | Нет данных |
c) Наблюдаемые данные о производительности | Нет данных | Может | Должен | Нет данных |
d) Качественные данные, сообщаемые пользователями | Нет данных | Может | Может | Должен |
e) Количественные данные, сообщаемые пользователями | Нет данных | Нет данных | Нет данных | Должен |
В этом разделе отчета об оценке удобства использования описываются собранные данные и применяется статистическая или аналитическая обработка данных. Сообщается о достаточной детализации для обоснования выводов. В этом разделе представлены результаты, обсуждение результатов, а также последствия или следствия результатов.
Этот элемент описывает, каким образом были проанализированы наблюдаемые, измеряемые или собираемые данные.
Этот элемент описывает различия между данными, которые планировалось собрать, и данными, которые были фактически собраны, если это применимо.
Этот элемент описывает часть собранных данных, которая фактически использовалась для анализа.
Пример 1 - Как обрабатывались недостающие данные. Как обрабатывались данные в отношении исключения для резко отклоняющихся значений.
Этот элемент описывает сопоставление между данными, которые были собраны, и значениями, используемыми в последующем анализе.
Пример 2 - Как классифицированы ошибки использования. Как фактические возрасты сопоставляются с возрастными диапазонами. Как ошибки, связанные с использованием, сопоставляются с набором значений.
Этот элемент идентифицирует метод, используемый для генерации сводок необработанных данных.
Пример 3 - Какое измерение центральной тенденции использовалось (например, среднее или режимное). Как измерялось изменение (например, стандартное отклонение или диапазон).
Пример 4 - Систематическая характеристика открытых ответов.
Этот элемент определяет и описывает статистический анализ, используемый для анализа данных, включая статистическую процедуру.
Пример 5 - Как сравнивались группы (например, t-тест, F-тест).
Для данных, которые рассчитываются как средства, вычисляют стандартное отклонение и стандартную ошибку среднего значения.
В таблице 12 указаны требуемые элементы для каждого типа оценки.
Таблица 12
Тип оценки. Элементы содержимого, которые должны быть включены в отчет | Проверка | Наблюдения за пользователями | Опрос пользователей | |
Наблюдение за поведением пользователей | Измерение производительности и реакции пользователей | |||
a) Подход, используемый для анализа наблюдаемых, измеряемых или собираемых данных | Должен | Должен | Должен | Должен |
b) Различия в планируемых и собранных данных (если применимо) | Должен | Должен | Должен | Должен |
c) Часть данных, используемых в анализе (если применимо) | Должен | Должен | Должен | Должен |
d) Оценка данных (если используется) | Нет данных | Должен | Должен | Должен |
e) Сокращение данных | Нет данных | Должен | Должен | Должен |
f) Статистический анализ (в случае использования) | Нет данных | Должен | Должен | Должен |
В этом разделе отчета об оценке представлены данные, собранные на основе анализа данных. Отдельные оценки или необработанные данные в отчет не включаются. Для данных, которые представлены как средства, включают стандартное отклонение и стандартную ошибку ("доверительный интервал"), см. 5.2.6.1. Таблицы и графики могут использоваться для краткого представления сложных результатов. Как таблицы, так и различные графические форматы эффективны при кратком описании данных об удобстве использования. Гистограммы полезны для описания субъективных данных, например, полученных из шкал Ликерта. Разнообразие графиков можно эффективно использовать для сопоставления экспертных тестовых сроков для объекта оценки по сравнению со средним временем выполнения операции участником. При необходимости детали интерпретации описываются в "выводах и рекомендациях".
Обобщение результатов:
a) Дефекты удобства использования с точки зрения отклонения свойств объекта оценки от установленных критериев.
Этот элемент суммирует недостатки удобства использования с точки зрения отклонений свойств объекта оценки от принципов, руководящих принципов и установленных договоренностей или определенных требований пользователя.
Примечание 1 - Для представления результатов можно использовать сопоставление отклонений свойств объекта оценки от указанных критериев.
b) Потенциальные проблемы удобства использования, которые могут возникнуть из-за выявленных дефектов удобства использования.
Этот элемент суммирует потенциальные проблемы удобства использования (и связанные с ними обоснования для прогнозирования), которые являются результатом выявленных дефектов удобства использования, т.е. отклонения свойств объекта оценки от принципов, руководящих принципов и установленных договоренностей или определенных требований пользователя.
Этот элемент суммирует результаты удобства использования, определенные во время наблюдений.
Этот элемент суммирует собранные данные измерений, которые характеризуют результаты производительности для каждой задачи или группы задач.
Примечание 2 - Данные о производительности могут аккумулироваться при наблюдении за поведением пользователей. Они включают в себя:
- точность и полноту результатов задачи (эффективность);
- скорость завершения задачи;
- время выполнения задачи;
- результативность;
- ошибки использования и частоту возникновения;
- количество оказаний помощи;
- количество щелчков мыши, касаний или жестов;
- количество нажатий на клавишу;
- расстояние, пройденное на экране с помощью указательного устройства (например, мыши);
- отслеживание движения глаз;
- психологические данные (например, эмоциональный уровень, уровень беспокойства, внимания);
- физиологические данные (например, пульс, артериальное давление).
Этот элемент суммирует проблемы, мнения и впечатления пользователей.
Примечание 3 - Пользователи могут сообщать о проблемах, мнениях и впечатлениях спонтанно во время наблюдения.
Этот элемент суммирует измеренный уровень удовлетворенности или восприятия пользователя.
В таблице 13 указаны требуемые и рекомендуемые элементы для каждого типа оценки.
Таблица 13
Тип оценки. Элементы содержимого, которые должны быть включены в отчет | Проверка | Наблюдения за пользователями | Опрос пользователей | |
Наблюдение за поведением пользователей | Измерение производительности и реакции пользователей | |||
a) Дефекты удобства использования с точки зрения отклонений свойств объекта оценки от предопределенных критериев (если используются критерии) | Должен | Может | Может | Может |
b) Потенциальные проблемы удобства использования, которые могут возникнуть из-за выявленных дефектов удобства использования | Должен | Нет данных | Нет данных | Нет данных |
c) Результаты удобства использования, определенные во время наблюдений | Нет данных | Должен | Следует | Нет данных |
d) Данные о производительности на основе измерений | Нет данных | Может | Должен | Нет данных |
e) Проблемы, мнения и впечатления, сообщаемые пользователями | Нет данных | Следует | Может | Должен |
f) Измеренный уровень удовлетворенности или восприятия пользователя | Нет данных | Нет данных | Следует | Следует |
В этом разделе отчета об оценке использования содержится интерпретация результатов и рекомендаций, которые помогают определить вопросы, которые будут подробно рассмотрены.
Примечание - В некоторых случаях включены только ключевые интерпретации и рекомендации.
Этот элемент предоставляет выводы, основанные на интерпретации результатов.
Этот элемент предоставляет набор рекомендаций для улучшения объекта оценки на основе результатов оценки и их интерпретации.
В таблице 14 указаны требуемые и рекомендуемые элементы для каждого типа оценки.
Таблица 14
Тип оценки. Элементы содержимого, которые должны быть включены в отчет | Проверка | Наблюдения за пользователями | Опрос пользователей | |
Наблюдение за поведением пользователей | Измерение производительности и реакции пользователей | |||
a) Интерпретация результатов | Следует | Следует | Следует | Следует |
b) Рекомендации | Следует | Следует | Следует | Следует |
5.2.8 Дополнительное содержимое для оценки соответствия (как часть отчета об оценке удобства использования)
В этом разделе отчета об оценке удобства использования содержится оценка соответствия. Отчеты об оценке удобства использования для оценки соответствия включают в себя дополнительные элементы содержимого.
Этот элемент описывает схему оценки соответствия (название, версия).
Примечание - Схемы оценки соответствия могут существовать на международном, региональном, национальном или субнациональном уровнях.
Этот элемент описывает используемые критерии соответствия.
Этот элемент предоставляет декларацию, в которой описывается, были ли выполнены все критерии соответствия.
d) Доказательства, показывающие, почему критерии соответствия не были выполнены (выявленные несоответствия).
Этот элемент предоставляет результаты, которые показывают, почему определенные критерии соответствия не были выполнены (выявленные несоответствия).
В таблице 15 указаны требуемые элементы для каждого типа оценки.
Таблица 15
(в случае использования)
Тип оценки. Элементы содержимого, которые должны быть включены в отчет | Проверка | Наблюдения за пользователями | Опрос пользователей | |
Наблюдение за поведением пользователей | Измерение производительности и реакции пользователей | |||
a) Схема оценки соответствия (в случае использования) | Должен | Должен | Должен | Должен |
b) Критерии соответствия | Должен | Должен | Должен | Должен |
c) Заявление о том, были ли соблюдены все критерии соответствия | Должен | Должен | Должен | Должен |
d) Доказательства, показывающие, почему критерии соответствия не были выполнены (выявленные несоответствия) | Должен | Должен | Должен | Должен |
(обязательное)
ДЛЯ КАЖДОГО ТИПА ОЦЕНКИ
Таблица A.1
для каждого типа оценки
Тип оценки. Элементы содержимого, которые должны быть включены в отчет | Проверка | Наблюдения за пользователями | Опрос пользователей | |
Наблюдение за поведением пользователей | Измерение производительности и реакции пользователей | |||
5.2.1 Резюме | ||||
a) наименование и описание объекта оценки | Должен | Должен | Должен | Должен |
b) резюме метода(ов) и процедуры | Должен | Должен | Должен | Должен |
c) резюме результатов, включая основные выводы, соответствующие выводы и рекомендации (если применимо) | Должен | Должен | Должен | Должен |
5.2.2 Описание объекта оценки | ||||
a) Официальное наименование и номер выпуска или версии | Должен | Должен | Должен | Должен |
b) Части объекта, которые были оценены (если применимо) | Должен | Должен | Должен | Должен |
c) Группы пользователей, для которых предназначен объект | Следует | Следует | Следует | Следует |
d) Краткое описание объекта и его назначение | Следует | Следует | Следует | Следует |
e) Предполагаемый контекст использования | Следует | Следует | Следует | Следует |
f) Предварительное резюме по отчету об оценке удобства использования (если применимо) | Следует | Следует | Следует | Следует |
g) Ожидаемое воздействие объекта | Может | Может | Может | Может |
h) Цитаты для исследования рынка для объекта | Может | Может | Может | Может |
5.2.3 Цель оценки | ||||
a) Описание цели | Должен | Должен | Должен | Должен |
b) Оцененные функции и компоненты (если применимо) | Должен | Должен | Должен | Должен |
c) Причины только для оценки подмножества объекта (если применимо) | Должен | Должен | Должен | Должен |
5.2.4 Метод | ||||
5.2.4.1 Общая информация | ||||
a) Используемый(е) тип(ы) оценки | Должен | Должен | Должен | Должен |
b) Достаточная информация для репликации процедуры оценки, используемой в ходе оценки | Должен | Должен | Должен | Должен |
5.2.4.2 Оценщики/участники | ||||
a) Общее количество оценщиков/участников | Должен | Должен | Должен | Должен |
b) Сегментация участников испытания или оценщиков/инспекторов (в случае наличия более одного сегмента) | Должен | Должен | Должен | Должен |
c) Основные характеристики участников испытания или пользователей, рассмотренных для проверки | Должен | Должен | Должен | Должен |
d) Различия между выборкой и контингентом пользователей (если применимо) | Нет данных | Должен | Должен | Должен |
e) Таблица участников по характеристикам | Нет данных | Должен | Должен | Должен |
5.2.4.3 Задачи (если они используются при оценке) | ||||
a) Задачи, используемые для оценки | Должен | Должен | Должен | Должен |
b) Сценарии для каждой задачи | Должен | Должен | Должен | Должен |
c) Критерии отбора задач | Должен | Должен | Должен | Должен |
d) Источник выбранных задач | Должен | Должен | Должен | Должен |
e) Данные о заданиях для участников и/или инспекторов (если применимо) | Должен | Должен | Должен | Должен |
f) Критерии для завершения задачи или оставления задачи | Нет данных | Может | Должен | Нет данных |
5.2.4.4 Среда оценки | ||||
a) Физическая среда и объекты | Нет данных | Должен | Должен | Может |
b) Техническая среда (если применимо) | Должен | Должен | Должен | Следует |
c) Инструменты администрирования оценки (в случае использования) | Следует | Следует | Следует | Следует |
d) Администраторы оценки (если применимо) | Может | Следует | Следует | Следует |
5.2.5 Процедура | ||||
5.2.5.1 Проект оценки | ||||
a) Описание проекта оценки | Должен | Должен | Должен | Должен |
b) Независимые переменные (если применимо) | Нет данных | Должен | Должен | Должен |
c) Предопределенные критерии (для проверки или наблюдения) (в случае использования) | Должен | Должен | Нет данных | Нет данных |
d) Меры, используемые при оценке (если применимо) | Нет данных | Может | Должен | Должен |
e) Оперативные определения критериев/мер (если применимо) | Должен | Должен | Должен | Должен |
f) Взаимодействие между лицами, принимающими участие в каждой сессии оценки (если применимо) | Нет данных | Должен | Должен | Следует |
g) Другие лица, присутствующие при оценках (если применимо) | Нет данных | Следует | Следует | Следует |
h) Общие инструкции, данные участникам | Нет данных | Должен | Должен | Должен |
i) Конкретные инструкции по задачам (если применимо) | Следует | Должен | Должен | Нет данных |
j) Последовательность действий для проведения оценки | Нет данных | Следует | Следует | Может |
5.2.5.2 Данные, подлежащие сбору | ||||
a) Дефекты удобства использования с точки зрения отклонений от предопределенных критериев (если используются критерии) | Должен | Нет данных | Нет данных | Нет данных |
b) Наблюдаемое поведение пользователя | Нет данных | Должен | Следует | Нет данных |
c) Наблюдаемые данные о производительности | Нет данных | Может | Должен | Нет данных |
d) Качественные данные, сообщаемые пользователями | Нет данных | Может | Может | Должен |
e) Количественные данные, сообщаемые пользователями | Нет данных | Нет данных | Нет данных | Должен |
5.2.6 Результаты | ||||
5.2.6.1 Анализ данных | ||||
a) Подход, используемый для анализа наблюдаемых, измеряемых или собираемых данных | Должен | Должен | Должен | Должен |
b) Различия в планируемых и собранных данных (если применимо) | Должен | Должен | Должен | Должен |
c) Часть данных, используемых в анализе (если применимо) | Должен | Должен | Должен | Должен |
d) Оценка данных (если используется) | Нет данных | Должен | Должен | Должен |
e) Сокращение данных | Нет данных | Должен | Должен | Должен |
f) Статистический анализ (в случае использования) | Нет данных | Должен | Должен | Должен |
5.2.6.2 Представление результатов | ||||
a) Дефекты удобства использования с точки зрения отклонений свойств объекта оценки от предопределенных критериев (если используются критерии) | Должен | Может | Может | Может |
b) Потенциальные проблемы удобства использования, которые могут возникнуть из-за выявленных дефектов удобства использования | Должен | Нет данных | Нет данных | Нет данных |
c) Результаты удобства использования, определенные во время наблюдений | Нет данных | Должен | Следует | Нет данных |
d) Данные о производительности на основе измерений | Нет данных | Может | Должен | Нет данных |
e) Проблемы, мнения и впечатления сообщаемые пользователями | Нет данных | Следует | Может | Должен |
f) Измеренный уровень удовлетворенности или восприятия пользователей | Нет данных | Нет данных | Следует | Следует |
5.2.7 Интерпретация результатов и рекомендаций | ||||
a) Интерпретация результатов | Следует | Следует | Следует | Следует |
b) Рекомендации | Следует | Следует | Следует | Следует |
5.2.8 Дополнительное содержимое для оценки соответствия (в случае использования) | ||||
a) Схема оценки соответствия (в случае использования) | Должен | Должен | Должен | Должен |
b) Критерии соответствия | Должен | Должен | Должен | Должен |
c) Заявление о том, были ли соблюдены все критерии соответствия | Должен | Должен | Должен | Должен |
d) Доказательства, показывающие, почему критерии соответствия не были выполнены (выявленные несоответствия) | Должен | Должен | Должен | Должен |
(справочное)
ПРИМЕР ОТЧЕТА ОБ ИСПЫТАНИИ УДОБСТВА ИСПОЛЬЗОВАНИЯ
B.1 Общая информация
В настоящем приложении приведен пример отчета об оценке.
Поскольку порядок, в котором должны располагаться разделы и элементы в отчете об оценке, не предписан, этот пример демонстрирует, что нет необходимости следовать порядку, в котором элементы содержимого были представлены в настоящем стандарте. Однако в отчет необходимо включить все необходимые элементы для соответствия. В отчете об оценке также показано, что группировка самих элементов содержимого может быть определена автором отчета (например, объединение информации, такой как методы и процедуры, в один раздел отчета об оценке). Все заголовки, представленные в настоящем стандарте, были включены в отчет, хотя они не содержат подробной информации или в некоторых случаях включают повторение материала. Нет необходимости использовать все рекомендуемые заголовки в каждом отчете об оценке.
Оценки часто содержат более одного типа оценки, как в данном примере оценки (например, наблюдения за пользователями и последующий опрос пользователей). Элементы содержимого для каждого раздела отчета об оценке определяются типом(ами) проведенной оценки. В результате, в данном примере отчета об оценке содержатся элементы содержимого, как для наблюдения за пользователями, так и последующего опроса пользователей. "Опрос пользователей" в этом примере использует словесные комментарии, сделанные участниками при завершении каждого испытания в качестве основы для оценки. Данные, результаты и рекомендации обоих типов оценки представлены вместе в соответствующих разделах отчета.
В этом примере использованы сноски, определяющие соответствующие таблицы в настоящем стандарте, которые применяются к данному разделу, и демонстрируют, что в примере отчета содержатся все необходимые элементы для соответствия.
Это приложение было адаптировано из отчета об оценке, представленного UXQB - Международной квалификационной коллегией по вопросам удобства использования и пользовательского опыта. Названия веб-сайтов и другая определяющая информация (например, рисунки и скриншоты) были изменены или устранены для анонимности.
Примечание - Этот пример не является полным отчетом. Он не включает в себя все результаты или цифры, которые упомянуты в примере.
B.2 Отчет об испытании удобства использования веб-сайта rentmytruck
B.2.1 Резюме <1>
--------------------------------
<1> Соответствует таблице 3 в отношении наблюдения за поведением пользователей и опросом пользователей.
Текущая версия www.rentmytruck.com была проверена на удобство использования в марте 2011 года пятью членами целевой группы. Оценка была основана на наблюдении за поведением пользователей и комментариях участников после выполнения семи тестовых задач. Участники ответили на множество вопросов о себе в конце теста. Метод испытания - не редактируемое удаленное испытание удобства использования, где типичные пользователи (участники испытания) выполняли задачи, пока их действия и то, что они сказали, записывались. Экран и аудиозапись сессий испытаний были проанализированы специалистами по удобству использования после проведения испытания.
Цель состояла в том, чтобы определить достоинства и недостатки удобств использования веб-сайта rentmytruck. В этом отчете описываются результаты испытания и рекомендации.
Основные положительные результаты в отношении удобства использования для www.rentmytruck.com:
- Кнопка "Назад" всегда работает без проблем.
Участники испытания всегда получали то, что ожидали, когда они нажимали кнопку "Назад" в своем браузере.
На некоторых сопоставимых веб-сайтах кнопка "Назад" не всегда работает согласно ожиданиям пользователей.
- Веб-сайт сохраняет содержимое корзины.
Все товары всегда оставались в корзине участников. На некоторых сопоставимых веб-сайтах существует тайм-аут, который очищает корзину и просит участников начать все заново. Если даже на указанном веб-сайте существует ограничение по времени, ни один из наших участников испытания его не обнаружил.
Основные области, над которыми необходимо работать, для www.rentmytruck.com:
- Пользователи могут арендовать грузовые автомобили без оплаты страхования повреждения.
Несколько участников арендовали грузовой автомобиль, не увидев страницы об оплате страхования повреждения. Аренда по умолчанию включала отсутствие страхования повреждения, и веб-сайт не просил их сделать выбор.
- Не отображаются налоги, сборы и общая стоимость.
Участники хотели узнать полную стоимость аренды. Веб-сайт показывает только то, что пользователи должны заплатить в магазине, за исключением налогов и сборов. Участники были недовольны тем, что не смогли увидеть общую стоимость в корзине. Они были еще более недовольны, когда узнали, что они не могут увидеть общую цену на странице подтверждения заказа.
B.3 Результаты <1>
--------------------------------
<1> Соответствует таблицам 13 и 14 в отношении наблюдения за поведением пользователей и опросом пользователей.
B.3.1 Общая информация
B.3.1.1 Положительные результаты удобства использования
- Кнопка "Назад" всегда работает без проблем.
Участники испытания всегда получали то, что ожидали, когда они нажимали кнопку "Назад". На некоторых сопоставимых веб-сайтах кнопка "Назад" не всегда работает согласно ожиданиям пользователей.
- Веб-сайт сохраняет содержимое корзины.
Все товары всегда оставались в корзине участников. На некоторых сопоставимых веб-сайтах существует тайм-аут, который очищает корзину и просит участников начать все заново. Если даже на указанном веб-сайте существует ограничение по времени, ни один из наших участников испытания с ним не столкнулся.
B.3.1.2 Проблемы удобства использования
- В информационном разделе сайта, посвященному часто задаваемым вопросам, используется сленг без объяснений.
В информационном разделе сайта, посвященному часто задаваемым вопросам, используется сленг без объяснений: примеры терминов, которые путали участников испытания, например, отказ от страхового покрытия ущерба, медицинское страхование жизни, страхование ответственности. Комментарии пользователей включают в себя:
"Было бы неплохо, если бы здесь было немного больше информации, чтобы я мог разобраться в этом".
[В информационном разделе сайта, посвященному часто задаваемым вопросам,] должное пояснение отсутствует".
Рекомендации:
- Необходимо сделать термины, которые трудно понять, интерактивными. Когда пользователи нажимают на эти термины на экране, то на нем показывается всплывающее окно, которое объясняет смысл с помощью общеизвестных терминов и примеров.
B.3.2 Аренда грузового автомобиля
B.3.2.1 Положительные результаты удобства использования
- Участники испытания легко поняли, как цена на грузовой автомобиль зависит от его размера.
См. пример на рисунке 1 (не включен в приложение).
B.3.2.2 Проблемы удобства использования
- Общая стоимость не показывается на странице подтверждения заказа.
Участники испытания были недовольны тем, что не смогли увидеть общую стоимость в корзине. Они были еще более недовольны, когда узнали, что они даже не могут увидеть общую цену на странице подтверждения заказа. См. рисунок 3 (не включен в приложение). Комментарии пользователей включают в себя:
"Сегодня сбор составляет 30,45 долларов. Откуда он взялся? Было бы неплохо, если бы они дали мне знать, какие сборы включены сюда".
"Где моя окончательная цена?"
Рекомендации:
- В корзине и на странице оформления заказа необходимо указать текущие сборы, а также общую стоимость заказа, включая плату за аренду грузового автомобиля.
- Следует указать цены как с учетом налогов, так и без них. Если нет места для обоих цен, необходимо исключить цены без налогов.
- Следует запросить у пользователя ожидаемую дату окончания аренды, включенную в предложение. Чтобы вычислить общую стоимость аренды, следует использовать дату окончания аренды.
- Следует сделать систему подсчета итоговой или промежуточной цены на веб-сайте полностью понятной. Если недостаточно места для полной информации, следует добавить ссылку для разъяснения рядом с итоговой или промежуточной ценой. По этой ссылке необходимо указать полную информацию.
B.3.3 Страхование
B.3.3.1 Положительные результаты удобства использования
- ...
B.3.3.2 Проблемы удобства использования
- ...
B.4 Описание объекта оценки <1>
--------------------------------
<1> Соответствует таблице 4 в отношении наблюдения за поведением пользователей и опросом пользователей.
Сайт, который подвергался оценке, www.rentmytruck.com был доступен пользователям в марте 2011 года. Домашняя страница веб-сайта во время испытания показана на рисунке 11 (не включен в настоящее приложение).
Целевой группой веб-сайта являются лица, которые имеют действующие водительские права и которые намерены арендовать грузовой автомобиль для местного или междугороднего передвижения.
Веб-сайт также продает и арендует материалы и инструменты для грузовых автомобилей. Он также обеспечивает место для хранения.
Участникам испытания было предложено воздержаться от размещения заказов. Помимо этого, ограничения веб-сайт был полностью в их распоряжении.
Веб-сайт предназначен для использования в типичной офисной или домашней среде рабочего стола.
B.5 Цель оценки <2>
--------------------------------
<2> Соответствует таблице 5 в отношении наблюдения за поведением пользователей и опросом пользователей.
Цель состояла в том, чтобы определить достоинства и недостатки удобства использования веб-сайта rentmytruck.
B.6 Метод оценки
B.6.1 Обзор метода оценки <3>
--------------------------------
<3> Соответствует таблицам 6 и 7 в отношении наблюдения за поведением пользователей и опросом пользователей.
B.6.1.1 Общая информация
Оценка удобства использования была сосредоточена на наблюдении за поведением пользователей. Это испытание удобства использования было проведено как не редактируемое удаленное испытание удобства использования компанией, предоставляющей "услугу по удаленному испытанию удобства использования". Эта компания специализируется на не редактируемых испытаниях удобства использования с пользователями, набираемыми с их пользовательской базы. В не редактируемом испытании удобства использования за пользователями не ведется наблюдение в режиме реального времени, пока они выполняют задачи. Вместо этого их взаимодействие с веб-сайтом и их словесные комментарии записываются для последующего анализа.
Пять пользователей выполнили семь заданий на веб-сайте в ходе отдельных сессий испытаний. В конце каждого сеанса испытаний они ответили на ряд определенных вопросов о себе.
Впоследствии видео- и аудиозаписи были проанализированы тремя независимыми исследователями удобства использования. Каждый из них определил проблемы и сильные стороны удобства использования, а также основные недостатки удобства использования. Затем они рассмотрели отдельные результаты и согласовали обобщенный набор результатов удобства использования.
B.6.1.2 Методическая основа
В этом испытании удобства использования осуществлялось наблюдение за поведением пользователей, о чем свидетельствует запись данных с экрана. Это позволило выявить успешное выполнение задач вместе с проблемами, возникающими при их выполнении. Кроме того, в качестве основы для "опроса пользователей" использовался признанный метод "мышления вслух". Этот метод описан, например, Думасом и Редишем (1999) "Практическое руководство по испытанию удобства использования" и Хартсоном и Пулой (2012) "Книга об оценке взаимодействия пользователей с приложением".
B.6.1.3 Сессии испытаний
Оценка основана на анализе записей данных с экрана в рамках пяти не редактируемых сессий испытаний www.rentmytruck.com, проведенных в конце марта 2011 года с помощью "услуг удаленного испытания удобства использования", а также анализа аудиозаписей комментариев пользователей.
Каждая сессия испытаний длилась от 13 минут до 23 минут. Общее время каждой сессии испытаний, включая ответы на вопросы, составляло менее 30 минут.
B.6.1.4 Целевая группа для системы
Целевой группой веб-сайта являются лица, которые имеют действительные водительские права и которые хотят арендовать грузовой автомобиль для местного или междугороднего перемещения. Целевая группа включает значительную часть взрослого англоязычного населения США. Ожидается, что целевая группа будет иметь некоторые знания о компьютерах и Интернете, но им не обязательно быть профессионалами в области компьютеров.
Таблица B.1
Результаты испытания удобства использования для каждого
участника испытания
Участник | Пол | Возраст | Занятие | Навыки работы с компьютером |
М | 24 | Миссионер | Средние | |
М | 52 | Управляющий небольшого предприятия | Средние | |
Ж | 62 | Пенсионер. Ранее - продюсер телевизионных новостей, а затем лицензированный помощник юриста | Средние | |
Ж | 36 | Домохозяйка | Средние | |
М | 31 | Продажи и маркетинг | Средние |
B.6.1.5 Набор пользователей
Все участники испытания были наняты компанией, предоставляющей "услуги по удаленному испытанию удобства использования", которая специализируется на автоматическом испытании удобства использования. Были представлены оба пола. Участники испытаний должны были иметь действительные водительские права и рассматривать возможность аренды грузового автомобиля. В остальном, на набор участников не накладывались никакие ограничения.
B.6.2 Сценарий для испытания удобства использования <1>
--------------------------------
<1> Соответствует таблицам 8 и 10 в отношении наблюдения за поведением пользователей и опросом пользователей.
B.6.2.1 Инструктирование
Компания, предоставляющая "услуги по удаленному испытанию удобства использования", не публикует инструкции для участников испытания перед сеансом испытания удобства использования.
B.6.2.2 Общие инструкции, данные пользователям
Каждому пользователю были даны онлайн инструкции для каждой из семи задач. Их попросили выполнить задачу с условием устно описать любые проблемы, которые они заметят.
B.6.2.3 Задачи испытания
Задачи испытания были определены для проверки наиболее часто встречающихся задач на веб-сайте на основе статистики сайта. Задачи были рассмотрены специалистом по работе с пользователями, работающим на rentmytruck, и несколькими независимыми профессионалами в области удобства использования. Удобства использования тестовых заданий и инструкций для участников испытания в автоматическом испытании были испытаны дважды. После этого тестовые задачи и инструкции были улучшены на основе обратной связи.
Для всех сессий был использован следующий набор задач. Задачи выполнялись в том же порядке каждым участником:
Сценарий. Ваши друзья Майк и Анна собираются переехать из Питтсбурга, штат Пенсильвания в Денвер, штат Колорадо. У них есть квартира в Питтсбурге, состоящая из гостиной, спальни, кухни и ванной комнаты. Они хотят найти самый дешевый сервис для переезда в Колорадо. Они ожидают, что переедут с помощью нескольких друзей.
Они планируют выехать 14 апреля и ожидают, что поездка займет три дня.
Пары планируют вернуться в Питтсбург через два года, поэтому они хотят арендовать место для хранения в Питтсбурге вещей, которые не будут им нужны в Денвере.
Задача 1. Паре нужен грузовой автомобиль, который подходит для всей мебели и вещей в их трехкомнатной квартире. Пожалуйста, просчитайте общую сумму, которую пара должна будет заплатить за грузовой автомобиль.
Примечание - Они выезжают 14 апреля с XXX1 Роад в Питтсбурге, PA 15217 и едут на XXX2 Стрит в Денвере, CO 80218.
Ожидаемый ответ. Согласно rentmytruck, требуется грузовой автомобиль длиной 14 футов. Цена грузовика составляет 16165 долларов США плюс стоимость страхования в размере 196 долларов США, плюс экологический сбор в размере 5 долларов США. Налоги не включены. Ставка налога, похоже, не доступна на веб-сайте.
Задача 2. Прежде чем двигаться дальше, вы хотите проверить, нужны ли Майку и Анне специальные водительские права для вождения грузового автомобиля по всей стране. Где вы найдете эту информацию?
Ожидаемый ответ. Согласно информационному разделу сайта, посвященному часто задаваемым вопросам, "Нужны ли мне специальные водительские права?", стандартных водительских прав достаточно.
Задача 3. Они также нуждаются в помещении для хранения их вещей в Питтсбурге, в котором может поместиться 10 выдвижных коробок (18 x 18 x 16 дюймов) и большой холодильник. Рассчитайте стоимость хранения в месяц.
Ожидаемый ответ. Цена хранения в XXX Self Storage, 1-й этаж, 5 футов x 5 футов x 8 футов в течение 24 месяцев, составляет 59 долларов США в месяц.
Ожидаемый ответ: [...]
Ожидаемый ответ: [...]
Ожидаемый ответ: [...]
Ожидаемый ответ: [...]
B.6.2.4 Завершение задачи
Каждая задача считалась завершенной, как только каждый из участников испытания переходил к следующей задаче. (Поскольку модератор не присутствовал, было невозможно помочь участникам, если они застряли или пришли к неправильному ответу.)
B.6.2.5 Вопросы после сессии
После каждой сессии испытаний из участников испытания ответил на несколько вопросов, в том числе следующие:
- Вы мужчина или женщина?
- Сколько вам лет?
- Вы когда-нибудь арендовали грузовой автомобиль у этой компании?
- Где вы живете (город, штат)?
- Кем вы работаете?
- Как бы вы оценили свои знания компьютера?
- Вы проходили испытание дома или на рабочем месте или в другом месте (если в другом месте, укажите)?
- Какой тип устройства вы использовали, настольный компьютер или ноутбук (производитель и модель)?
- Какой браузер вы использовали (включая версию)?
B.7 Выводы по каждому участнику испытания <1>
--------------------------------
<1> Соответствует таблице 12 в отношении наблюдения за поведением пользователей и опросом пользователей.
Для каждого участника испытания в таблице B.2 приведен анализ наблюдаемой производительности участника испытания по каждой задаче.
Задачи оценивались следующим образом.
- Задача была решена правильно без проблем; оценка - 1.
- Возникли проблемы, которые задерживали участника испытания при выполнении задачи; оценка - 2.
- Участник испытания столкнулся со значительными проблемами, но в итоге ему удалось правильно выполнить задачу; оценка - 3.
- Участник испытания не смог выполнить задачу или пришел к результату, который значительно отклонился от правильного результата; оценка - 4.
Таблица B.2
Участник | |||||
Задача 1. См. примечания. Цена аренды грузового автомобиля от Питтсбурга до Денвера | 3 | 1 | 4 | 3 | 3 |
Проверка необходимости наличия специальных водительских прав | 1 | 1 | 1 | 1 | 1 |
Задача 3. См. примечания. Стоимость помещения для хранения вещей | 1 | 3 | 3 | 3 | 3 |
Номер телефона ближайшего офиса rentmytruck | 1 | 1 | 1 | 1 | 2 |
Задача 5. См. примечания. Аренда грузового автомобиля и покупка средств для переезда | 4 | 4 | 4 | 4 | 4 |
Задача 6. См. примечания. Ответственность за затраты на ремонт | 4 | 4 | 2 | 1 | 4 |
Найти ближайший офис rentmytruck | 1 | 1 | 4 | 2 | 1 |
Примечания к выводам
Проблема в задаче 1. См. следующие выводы в разделе 1:
- недостаточная помощь при выборе правильного размера грузового автомобиля;
- неточная стоимость при наличии информации о пробеге;
- не отображаются налоги и сборы;
- не показывается общая стоимость; сайт показывает только ту сумму, которую пользователь следует заплатить в магазине.
Проблема в задаче 3. См. следующие выводы в разделе 1:
- не предлагается никакая помощь в выборе правильного размера места хранения.
Проблема в задаче 5. См. следующие выводы в разделе 1:
- адекватное страхование ответственности не распространяется на все виды передвижений;
- пользователи могут арендовать грузовые автомобили без оплаты страхования.
Проблема в задаче 6. См. следующие выводы в разделе 1:
- неясно, распространяется ли страхование на вандализм;
- неясно, существует ли залог.
[1] | ISO 9241 series, | Ergonomics of human-system interaction |
[2] | ISO 26800:2011 | Ergonomics - General approach, principles and concepts |
[3] | ISO/IEC/IEEE 15288:2015 | Systems and software engineering - System life cycle processes |
[4] | ISO/IEC/IEEE 15289:2011 <1> | Systems and software engineering - Content of life-cycle information items (documentation) |
[5] | ISO/IEC 17000:2004 | Conformity assessment - Vocabulary and general principles |
[6] | ISO/IEC/IEEE 24765:2010 | Systems and software engineering - Vocabulary |
[7] | ISO/IEC 25000:2014 | Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Guide to SQuaRE |
[8] | ISO/IEC 25010:2011 | Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models |
[9] | ISO/IEC 25040:2011 | Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Evaluation process |
[10] | ISO/IEC 25063:2014 | Systems and software engineering - Systems and software product Quality Requirements and Evaluation (SQuaRE) - Common Industry Format (CIF) for usability: Context of use description |
[11] | ISO/IEC 25064:2013 | Systems and software engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Common Industry Format (CIF) for usability: User needs report |
[12] | ISO/IEC 25065 | Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Common Industry Format (CIF) for Usability - User Requirements Specification |
[13] | ISO/IEC 33020:2015 | Information technology - Process assessment - Process measurement framework for assessment of process capability |
[14] | ISO TS 18152:2010 | Ergonomics of human-system interaction - Specification for the process assessment of human-system issues |
[15] | ISO TR 18529:2000 | Ergonomics - Ergonomics of human-system interaction - Human-centred lifecycle process descriptions |
[16] | ISO/IEC TR 11580:2007 | Information technology - Framework for describing user interface objects, actions and attributes |
[17] | ISO/IEC TR 24774:2010 | Systems and software engineering - Life cycle management - Guidelines for process description |
[18] | ISO/IEC TR 25060:2010 | Systems and software engineering - Systems and software product Quality Requirements and Evaluation (SQuaRE) - Common Industry Format (CIF) for usability: General framework for usability-related information |
[19] | IEC 62366-1:2015 | Medical devices - Part 1: Application of usability engineering to medical devices |
--------------------------------
УДК 004:006.354 | ОКС 35.080 |
Ключевые слова: системная и программная инженерия, требования и оценка качества систем и программного обеспечения (SQuaRE), Общий отраслевой формат (CIF), отчет об оценке | |
Вернуться в "Каталог нормативных документов"
Источник информации: https://internet-law.ru/documents/prod/gost-r_gosudarstvennyj-standart/27/gost_55976.html
На правах рекламы:
|
© Антон Серго, 1998-2026.
|
Разработка сайта |
|