"ГОСТ Р 58606-2019/ISO/IEC/IEEE 15939:2017. Национальный стандарт Российской Федерации. Системная и программная инженерия. Процесс измерения"
(утв. и введен в действие Приказом Росстандарта от 18.10.2019 N 1028-ст)

1 ПОДГОТОВЛЕН Акционерным обществом "Всероссийский научно-исследовательский институт сертификации" (АО "ВНИИС") и Обществом с ограниченной ответственностью "Информационно-аналитический вычислительный центр" (ООО ИАВЦ) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 022 "Информационные технологии"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 октября 2019 г. N 1028-ст.

4 Настоящий стандарт идентичен международному стандарту ISO/IEC/IEEE 15939:2017 "Системная и программная инженерия. Процесс измерения" (ISO/IEC/IEEE 15939:2017 "Systems and software engineering - Measurement process", IDT).

ISO/IEC/IEEE 15939 разработан подкомитетом ПК 7 "Системная и программная инженерия" Совместного технического комитета СТК 1 "Информационные технологии" Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК) в сотрудничестве с Комитетом по стандартизации программных продуктов и систем Информационного общества IEEE в рамках соглашения о сотрудничестве в области развития партнерских стандартов между ИСО и IEEE.

5 ВВЕДЕН ВПЕРВЫЕ

6 Некоторые положения международного стандарта, указанного в пункте 4, могут являться объектом патентных прав. ИСО и МЭК не несут ответственности за идентификацию подобных патентных прав

Измерение поддерживает управление и улучшение процессов и продукции. Измерение является основным инструментом для управления действиями в жизненном цикле систем и программных средств, для оценки выполнимости планов проекта и мониторинга выполнения действий в соответствии с планами. Оценка системы и программных средств является одной из главных дисциплин в оценке качества продукции и возможностей организационных процессов. При заключении двусторонних соглашений необходимо учитывать основания для спецификации, управления и критериев приемки.

Постоянное совершенствование требует изменений внутри организации. Оценка изменений требует измерения. Измерение само по себе не инициирует изменения. Измерение должно приводить к действию, а не использоваться исключительно для накопления данных. Измерение должно иметь четко определенную цель.

Настоящий стандарт определяет процесс измерения, применимый к дисциплинам системной и программной инженерии и управлению. Процесс описан с помощью модели, определяющей действия процесса измерения. Эти действия требуется адекватно задать - какая информация требуется для измерений, как проводятся измерения и анализ результатов, как определить, что результаты анализов являются достоверными. Процесс измерения является гибким, приспосабливаемым и адаптируемым к потребностям различных пользователей.

Несмотря на то, что процесс измерения, определенный в настоящем стандарте, написан для области применения, связанной с системами и программными средствами, он может быть использован в других областях.

Целью настоящего стандарта является описание действий и задач, направленных на выявление, определение, выбор, применение и улучшение измерений в рамках какого-либо проекта или организационной структуры, проводящей измерения. В настоящем стандарте также определены термины по измерениям, обычно используемые для области применения, связанной с системами и программными средствами.

Настоящий стандарт не предоставляет перечня показателей, а также не предоставляет рекомендуемого набора показателей для применения в проектах. В стандарте определен процесс, который поддерживает определение набора показателей, обращенных к специальным информационным потребностям.

Настоящий стандарт предназначен для использования поставщиками и приобретающей стороной. К поставщикам относятся: сотрудники в компаниях, осуществляющие управление, функции технического контроля и управления качеством при разработке систем и программных средств, сопровождения, интеграции; организации, осуществляющие поддержку продукции. К приобретающей стороне относятся: сотрудники в компаниях, осуществляющие управление, функции технического контроля и управления качеством при закупках; организации-пользователи.

Нижеследующие примеры демонстрируют, как настоящий стандарт может быть использован:

- поставщиком при реализации процесса измерения для рассмотрения проектных или организационных информационных требований;

- покупателем (или агентом третьей стороны) для оценки соответствия процесса измерения поставщика настоящему стандарту;

- приобретающей стороной (или агентом третьей стороны) для реализации процесса измерения для рассмотрения проектных или организационных информационных требований по управлению, связанных с приобретением;

- в контракте между приобретающей стороной и поставщиком, когда метод определения информации по измерениям процесса и продукции подлежит замене.

Настоящий стандарт устанавливает общий процесс и основы измерения систем и программных средств. Он определяет процесс и соответствующую терминологию с точки зрения инженерии. Процесс может быть применен в приложении к проектам и продуктам везде по жизненному циклу. Процесс измерения может быть применен в целях планирования, управления, оценки и принятия решения на всех стадиях жизненного цикла систем и программных средств.

Настоящий стандарт обеспечивает действия, которые поддерживают определение, контроль и улучшения процесса измерения, используемого в пределах организации или проекта.

Настоящий стандарт не рекомендует и не предписывает организационную модель для проведения измерений. Пользователь настоящего стандарта самостоятельно решает, например, необходима ли в организации какая-то отдельная функция измерения и нужно ли эту функцию измерения встраивать в отдельные проекты или во все проекты, базирующиеся на текущей организационной структуре, культуре и сложившихся ограничениях.

Настоящий стандарт не предписывает специального набора показателей, методов, моделей или методик. Пользователи настоящего стандарта несут ответственность за выбор ряда показателей для проекта и использование этих показателей применительно к процессам, продуктам и другим сущностям жизненного цикла. Стороны также ответственны за выбор и применение соответствующих методов, моделей, инструментальных средств и методик.

Настоящий стандарт не предписывает конкретного названия, формата, явного содержания или записывающих носителей информационных объектов для их производства. Настоящий стандарт не подразумевает, что документы готовятся или оформляются определенным способом. Эти решения остаются за пользователем стандарта. ISO/IEC/IEEE 15289 описывает содержание для информационных объектов процесса жизненного цикла (для документации).

Процесс измерения предполагается встраивать должным образом в организационную систему качества. В настоящем стандарте подробно рассматриваются не все аспекты внутренних аудитов и отчетности о несоблюдении требований, поскольку предполагается, что они относятся к области системы качества. Настоящий стандарт не противоречит уже действующим организационным политикам, стандартам или процедурам. В случае возникновения противоречий их следует разрешать, а любые переопределяющие условия следует указывать в письменной форме как исключение по применению настоящего стандарта.

В настоящем стандарте нормативные ссылки отсутствуют.

В настоящем стандарте применены следующие термины с соответствующими определениями.

ISO, IEC и IEEE поддерживают терминологические базы данных для использования их в стандартизации по следующим адресам:

- IEC Electropedia: доступ /template/go.php?url=https://www.electropedia.org/;

- ISO, онлайн сервис: доступ /template/go.php?url=https://www.iso.org/obp;

- Онлайн словарь стандартов IEEE: доступ /template/go.php?url=https://ieeexplore.ieee.org/xpls/dictionary.jsp.

Примечание - Определения других терминов можно найти в ISO/IEC/IEEE 24765, доступно на www.computer.org/sevocab.

3.1

3.2 атрибут (attribute): Свойство или характеристика сущности, которая может быть количественно или качественно различима человеком или автоматизированным средством.

3.3 основной показатель (base measure): Показатель, определенный в терминах атрибута и метода для его количественного определения.

Примечания

1 Основной показатель функционально не зависит от других показателей.

2 Базируется на определении "основной величины" в международном словаре терминов по метрологии "Основные и общие понятия и соответствующие термины", 2012.

3.4 данные (data): Подборка значений, присвоенных основным показателям, производным показателям или индикаторам.

3.5 поставщик данных (data provider): Физическое лицо или организация, которая является источником данных.

3.6 хранилище данных (data store): Организованная и постоянная база данных и информации, позволяющая осуществлять поиск.

3.7 критерии принятия решения (decision criteria): Пороговые значения, цели, правила или образцы, используемые для определения необходимости действий или дальнейшего изучения, или для описания уровня доверия в данном результате.

3.8 производный показатель (derived measure): Показатель, определяемый как функция двух или более значений основных показателей.

Примечание - Адаптирован из определения "производная величина" в международном словаре терминов по метрологии "Основные и общие понятия и соответствующие термины", 2012.

3.9 сущность (entity): Объект, который характеризуется измерением его атрибутов.

Примечание - Сущностью может быть процесс, продукт, проект или ресурс.

3.10 индикатор (indicator): Показатель, обеспечивающий оценку или оценивание заданных атрибутов, полученных из модели относительно определенных информационных потребностей.

3.11 значение индикатора (indicator value): Числовой или категорированный результат, присвоенный индикатору.

3.12 информационная потребность (information need): Понимаемая необходимость для управления задачами, целями, рисками и проблемами.

3.13 информационный продукт (information product): Один или более индикаторов и их соответствующих интерпретаций, направленных на какую-то информационную потребность.

3.14 измеряемое понятие (measurable concept): Абстрактное соотношение между атрибутами сущности и информационными потребностями.

3.15 показатель (measure): Переменная, которой присваивается какое-то значение как конкретный результат измерения.

Примечание - Форма множественного числа "показатели" используется для ссылки на основные показатели, производные показатели и индикаторы.

3.16

3.17 измерение (measurement): Набор операций, предназначенных для определения значения показателя.

Примечание - Адаптирован из международного словаря терминов по метрологии "Основные и общие понятия и соответствующие термины", 2012.

3.18 аналитик, специалист по измерениям (measurement analyst): Физическое или юридическое лицо, которое ответственно за планирование, выполнение, оценку и совершенствование измерений.

3.19 опытная база измерений (measurement experience base): Хранилище, которое содержит оценки информационных продуктов и процесса измерений, а также некоторые уроки, извлеченные из процесса измерений.

3.20 функция измерения (measurement function): Алгоритм или вычислительная выкладка, выполняемые для комбинации двух или более основных показателей.

3.21 метод измерения (measurement method): Логическая последовательность операций, описанная в общих чертах и используемая в количественной оценке атрибута относительно заданной шкалы.

Примечания

1 Тип метода измерения зависит от природы операций, используемых для количественной оценки атрибута.

Различают 2 типа:

- субъективный: количественная оценка на основе человеческого суждения;

- объективный: количественная оценка на основе численных правил.

2 Базируется на определении "метода измерений" в международном словаре терминов по метрологии "Основные и общие понятия и соответствующие термины", 2012.

3.22

3.23 процесс измерения (measurement process): Процесс для установления, планирования, выполнения и оценки измерения в рамках всего проекта или организационной структуры измерения.

3.24 владелец процесса измерения (measurement process owner): Индивидуум или организация, ответственные за процесс измерения.

3.25 организатор измерения (measurement sponsor): Индивидуум или организация, которые санкционируют и поддерживают установление процесса измерения.

3.26 пользователь измерения (measurement user): Индивидуум или организация, которые используют информационные продукты измерения.

3.27 модель (model): Алгоритм или вычислительная выкладка, комбинирующие один или более основных или производных показателей с соответствующими критериями принятия решения.

3.28 обследование (observation): Вариант применения процедуры измерения для получения значения основного показателя.

3.29 оператор (operator): Сущность, осуществляющая функционирование системы.

3.30 организационная единица (organizational unit): Часть организации, которая является субъектом измерения.

3.31

3.32 продукт (product): Результат процесса.

Примечание - Базируется на определении "Результат" в ИСО 9001.

3.33

3.34 шкала (scale): Упорядоченный набор непрерывных или дискретных значений, или набор категорий, которым сопоставляется атрибут.

Примечания

1 Тип шкалы зависит от природы отношений между значениями на шкале. Обычно выделяют четыре типа шкалы:

- номинальная: значения измерения категорированные;

- порядковая: значения измерения упорядочены;

- интервальная: значения измерения находятся на равных расстояниях, соответствующих равным количественным значениям атрибута;

- относительная: значения измерения находятся на равных расстояниях, соответствующих равным количественным значениям атрибута, где показатель ноль не соответствует ни одному из атрибутов.

Это лишь некоторые примеры типов шкалы. Робертс [17] выделяет больше типов шкалы. Приложение A содержит некоторые примеры типов шкалы.

2 Базируется на определении термина "шкала (измерительного инструмента)" в международном словаре терминов по метрологии "Основные и общие понятия и соответствующие термины", 2012.

3.35

3.36

3.37

3.38

3.39

3.40

3.41 значение, эффект (value): Числовой или категорированный результат, присвоенный основному показателю, производному показателю или индикатору.

Требования содержатся в разделе 6. Существует два декларируемых способа соответствия условиям настоящего стандарта - это полное соответствие и приспособленное соответствие.

Существует два критерия полного соответствия. Выполнение любого из критериев достаточно для подтверждения соответствия, если этот критерий официально заявлен. Требование "полного соответствия задачам" декларирует, что все требования к действиям и задачам заявленного множества процессов выполняются. Альтернативное требование "полного соответствия результатам" декларирует, что все необходимые результаты заявленного множества процессов достигаются.

Организация ответственна за поддержание надлежащих доказательств соответствия нормативным требованиям в целях демонстрации соответствия.

Примечание - У процесса есть множество целей (описываемых "выходными результатами") и множество действий и задач, описывающих способ достижения целей. Пользователи, реализующие действия и задачи заявленного множества процессов, могут декларировать полное соответствие задачам. Однако у некоторых пользователей могут быть инновационные варианты процесса, позволяющие достигать целей (результатов) заявленного множества процессов, не реализуя всех действий и задач. Эти пользователи могут декларировать полное соответствие результатам. Два соответствия - и задачам, и результатам - не обязательно эквивалентны для специфических работ, действий и задач. Они могут потребовать в некоторых случаях более высокий уровень возможностей системы, нежели только достижение результатов.

В настоящем стандарте содержится множество действий и задач, которые составляют процесс измерения, удовлетворяющий определенные потребности организаций и проектов. Организация, приспосабливающая настоящий стандарт, может удалять неподходящее содержание, а также может добавлять новые действия и задачи.

Полное соответствие результатам достигается путем демонстрации того, что все результаты были достигнуты. В этой ситуации условия для действий и задач - это более руководящие указания, нежели требования, независимо от формы глагола, которая используется в условиях.

Полное соответствие задачам достигается путем демонстрации того, что все требования к действиям и задачам были выполнены. В этой ситуации условия для результатов - это более руководящие указания, нежели требования, независимо от формы глагола, которая используется в условии.

Если настоящий стандарт приспособлен согласно 4.2, в отношении него заявляется о соответствии в результате приспосабливания. Приспособленное соответствие достигается демонстрацией того, что приспособленные результаты были достигнуты, а приспособленные действия и задачи были выполнены.

В данном разделе представлен процесс измерения. Цель состоит в информировании пользователей таким образом, чтобы они могли применять процесс измерения в соответствующем контексте.

Настоящий стандарт определяет необходимые действия и задачи для осуществления процесса измерения. Действие представляет собой множество связанных задач, способствующих достижению цели и получению выходных результатов процесса измерения (см. 6.1 и 6.2). В задаче должен быть строго прописан сегмент работы. Каждое действие состоит из одной или нескольких задач. Стандарт не предназначен для определения хода выполнения задач при осуществлении действия.

Характеристики действий процесса измерения, определенные в стандарте, являются такими же, как и в ISO/IEC/IEEE 15288 и ISO/IEC/IEEE 12207. Это означает, что другие аспекты, такие как входные и выходные критерии каждого действия, не определяются настоящим стандартом.

Примечания

1 Процесс измерения поддерживает требование к измерениям, приведенным в подразделе 8.2 ИСО 9001.

2 Стандарт обеспечивает разработку процесса измерения на основе ISO/IEC/IEEE 15288 и ISO/IEC/IEEE 12207. С помощью дополнительных действий и задач достигается получение дополнительных возможностей. К соответствующим действиям и задачам добавляется один дополнительный результат (обязательство утверждено и поддерживается). Этот результат рассмотрен в ISO/IEC/IEEE 15288 и ISO/IEC/IEEE 12207 на организационном уровне.

На рисунке 1 показано, что процесс измерения состоит из четырех действий. Действия выполняются в определенном порядке в итеративном цикле, обеспечивая непрерывную обратную связь и улучшение процесса измерения. Модель процесса измерения на рисунке 1 представляет собой адаптированный цикл "Планируй - Делай - Проверяй - Действуй", который обычно используется для повышения качества. В пределах действий выполнение задач также является итеративным.

"Технические процессы и процессы управления" организационной единицы или проекта не входят в область применения настоящего стандарта, хотя они являются важными внешними воздействиями для действий измерений, которые включены в настоящий стандарт.

К основному процессу измерения относятся два действия: подготовка и выполнение процесса измерения. Действия включены в процесс измерения в ISO/IEC/IEEE 15288 и ISO/IEC/IEEE 12207 и касаются пользователя измерения. Другие два действия, связанные с установлением и поддержанием обязательств по проведению измерений и оценкой измерений, являются обеспечивающими и предоставляют обратную связь. Последние два действия касаются владельца процесса измерения. Их включают во множество процессов жизненного цикла как действия в процессе планирования проекта и в процессе гарантии качества. На организационном уровне процедура осуществляется процессом управления моделью жизненного цикла, который оценивает и улучшает процессы организации.

На рисунке 1 показано, как основной процесс измерения управляется с помощью информационных потребностей организации. Для каждой информационной потребности основной процесс измерения производит информационный продукт, который отвечает информационным потребностям. Информационный продукт передается организации как основание для принятия решения. Связь между показателями и информационной потребностью описана в информационной модели измерения в приложении A. В этом приложении также приведены некоторые примеры.

Выполнение нормативных действий и задач, описанных в настоящем стандарте, по крайней мере, соответствует требованиям уровня 1 возможностей в ИСО/МЭК 33020. Перечисленные в настоящем стандарте руководящие указания обеспечивают основы для реализации процесса измерения в направлении более высокого уровня возможностей.

Описанный в настоящем стандарте процесс определяет действия по оценке в соответствии с рисунком 1. Необходимо обратить внимание, что оценка и обратная связь являются существенными компонентами процесса измерения и должны привести к улучшениям показателей и самого процесса измерения. Оценка может быть произведена как простым, так и специальным способом, когда возможности на низком уровне, или же способ может быть количественным со сложными статистическими методами для оценки качества процесса измерения и продукции, когда возможности высокие. Показатели следует оценивать с позиции добавленного эффекта, который они дают организации, и в первую очередь действенного эффекта, когда может быть определена выгода.

"Опытная база измерений" включена в общий цикл. Она предназначена для охвата информационных продуктов в прошедших итерациях цикла, предыдущих оценок информационных продуктов и оценок предыдущих итераций процесса измерения. В данный раздел следует включать потенциально полезные для организационной единицы информационные продукты. "Опытная база измерений" не подвергается никакой оценке о ее природе или технологии, важно лишь непрерывное хранение. Артефакты (например, информационные продукты, исторические данные, а также некоторые уроки, извлеченные из процесса измерений) хранятся в "Опытной базе измерений" и предназначены для использования в будущем при последующем проведении процесса измерения.

Так как модель процесса циклична, последующие итерации могут обновлять продукты и методы измерения. В настоящем стандарте отсутствует информация о необходимости изменений и доработок продуктов и методов измерения при каждой последующей итерации процесса. В тексте фигурирует соглашение, что одна из реализаций процесса измерения принимается как первичная (т.е. с первой итерации). Во время последующих итераций текст следует интерпретировать как обновленный или измененный в соответствии с существующей практикой.

В настоящем стандарте перечислены следующие обычные функциональные понятия: заинтересованная сторона, организатор измерения, пользователь измерения, аналитик по измерениям, поставщик данных и владелец процесса измерения. Они описаны в разделе 4.

Во время осуществления процесса измерения производится много рабочих продуктов. Они описаны в приложении B и соответствуют задачам, при решении которых они производятся.

Стандарт включает множество действий и задач. Задачи иногда классифицируются как задачи низшего уровня. Они описаны в том порядке, в котором, как правило, и выполняются. Однако при переходе от одного действия или задачи к предыдущей или последующей могут возникать итерации. Тот порядок, в котором они описаны, не всегда соответствует порядку их реализации на практике. Для реализации каждой задачи определено одно или несколько нормативных требований. С целью облегчения понимания нормативных требований и реализации их на практике существуют специальные справочные руководящие указания. Руководящие указания в тексте выделены курсивом.

В приложениях к задачам идут справочные данные, однако, они не являются исчерпывающими, а представлены только в качестве примеров.

При проведении процесса измерения в соответствии с настоящим стандартом организационная единица должна выполнить нижеследующие действия. Из технических процессов и процессов управления процесс измерения определяет "Требования для измерения".

В рамках проекта должны быть реализованы следующие действия и задачи в соответствии с политикой и процедурами организации относительно процесса измерения.

Примечания

1 Настоящий стандарт способствует разработке процесса измерения согласно ISO/IEC/IEEE 15288 и ISO/IEC/IEEE 12207. Он предоставляет подробное описание комплекса действий и задач, которые приведены в ISO/IEC/IEEE 15288 и ISO/IEC/IEEE 12207. В остальной части настоящего стандарта содержатся ссылки на ISO/IEC/IEEE 15288, так как нумерация пункта остается одинаковой в обоих стандартах.

2 Раздел 9 ИСО 9001 определяет требования системы менеджмента качества для измерения и мониторинга процессов и продуктов.

В ISO/IEC/IEEE 15288 установлены обязательства по измерениям, они поддерживаются как часть процессов планирования, оценки и контроля проекта.

6.3.1.1 Утверждайте требования для измерения

6.3.1.1.1 Определяйте область применения измерений

6.3.1.1.2 Устанавливайте обязанности руководства

6.3.1.1.3 Доводите обязательства до организационной единицы

6.3.1.2 Назначайте ресурсы

6.3.1.2.1 Определяйте ответственность за измерения

6.3.1.2.2 Обеспечивайте ресурсы для планирования, выполнения и оценки измерений

6.3.2.3.1 Определяйте информационные потребности

6.3.2.3.2 Располагайте определенные информационные потребности по приоритетам

6.3.2.3.3 Выбирайте информацию, которая должна быть учтена

6.3.2.3.4 Отчитывайтесь и информируйте о выбранных информационных потребностях

6.3.2.4.1 Определяйте возможные варианты показателей для соответствия выбранным информационным потребностям

6.3.2.4.2 Выбирайте показатели из возможных вариантов

6.3.2.4.3 Определяйте выбранные показатели

6.3.2.5.1 Определяйте процедуры для сбора данных, хранения, доступа и верификации

6.3.2.5.2 Определяйте процедуры анализа данных и отчетности об информационных продуктах

6.3.2.5.3 Определяйте процедуры управления конфигурацией

6.3.2.6.1 Определяйте критерии для оценки информационных продуктов

6.3.2.6.2 Определяйте критерии для оценки процесса измерения

6.3.2.8 Анализируйте, утверждайте и обеспечивайте ресурсы для задач измерения

6.3.2.8.1 Анализируйте и утверждайте планирование измерения

6.3.2.8.2 Обеспечивайте ресурсы для реализации и оценки задач измерений

6.3.2.9 Приобретайте и развертывайте поддерживающие технологии

6.3.2.9.1 Оценивайте и выбирайте приемлемые поддерживающие технологии

6.3.2.9.2 Приобретайте и развертывайте поддерживающие технологии

Эти задачи предназначены для выполнения измерений в соответствии с задачами планирования, описанными в 6.3.2. Примеры информации о планировании измерения описаны в приложении F.

Во время осуществления этих действий используют информационные продукты и результаты оценки из "Опытной базы измерений".

6.3.3.1.1 Объединяйте генерацию и сбор данных в соответствующие процессы

6.3.3.1.2 Объединяйте анализ данных и отчетность в соответствующие процессы

6.3.3.1.3 Информируйте поставщиков и заинтересованные стороны о процедурах по данным

6.3.3.2.1 Собирайте данные

6.3.3.2.2 Храните собранные данные, включая контекстную информацию

6.3.3.2.3 Верифицируйте собранные данные

6.3.3.3.1 Анализируйте собранные данные

6.3.3.3.2 Разрабатывайте информационные объекты

6.3.3.3.3 Анализируйте информационные объекты

6.3.3.4.1 Регистрируйте результаты

6.3.3.4.2 Информируйте пользователей измерений

6.3.4.1 Оценивайте информационные продукты и процесс измерения

6.3.4.1.1 Оценивайте информационные продукты в соответствии с задаваемыми критериями для оценки

6.3.4.1.2 Оценивайте процесс измерения в соответствии с задаваемыми критериями для оценки

6.3.4.1.3 Храните уроки, извлеченные из процесса измерений, в "Опытной базе измерений"

6.3.4.2 Определяйте потенциальные улучшения

6.3.4.2.1 Определяйте потенциальные улучшения информационных продуктов

6.3.4.2.2 Определяйте потенциальные улучшения измерений

6.3.4.2.3 Информируйте о потенциальных улучшениях

Информационная модель измерения является структурой, которая связывает информационные потребности с соответствующими сущностями и интересующими атрибутами. Сущность включает процессы, продукты, проекты и ресурсы. Информационная модель измерения описывает, как соответствующие атрибуты описываются количественно и преобразуются в показатели и индикаторы, представляющие собой основу для принятия решения.

Выбор или определение соответствующих показателей для рассмотрения информационной потребности начинается с идеи, согласно которой измеримые атрибуты связываются с информационной потребностью с определением их соотношений. Специалист по планированию измерений определяет структуру, которая связывает эти атрибуты с задаваемой информационной потребностью. Эта информационная модель измерения (см. рисунок A.1) определяет основные термины и понятия. Информационная модель измерения помогает специалисту по планированию измерений определить то, что требуется во время планирования измерения, выполнения и оценки измерений.

Рисунок A.1 иллюстрирует отношения между основными компонентами информационной модели измерения. Модель определяет три типа показателей: основные показатели, производные показатели и индикаторы. Информационное наполнение показателей увеличивается по мере приближения их в модели к информационной потребности. В разделе A.3 представлены примеры создания конкретной модели, которые относятся к определенным информационным потребностям. Отдельные компоненты этой общей информационной модели описаны ниже.

Сущностью является объект (например, процесс, продукт, проект или ресурс), характеризующийся измерением его атрибутов. Типичные объекты инженерии могут быть классифицированы как продукты (например, документ эскизного проекта, сеть, исходный код и контрольные тесты), процессы (например, процесс эскизного проектирования, процесс тестирования и процесс анализа требований), проекты и ресурсы (например, специалисты по системной инженерии, специалисты по программной инженерии, программисты и тестировщики). Сущность может обладать одним или несколькими свойствами, которые представляют интерес для удовлетворения информационных потребностей. На практике одна сущность может быть отнесена к одной или нескольким из перечисленных категорий.

Атрибутом служит свойство или характеристика сущности - такая, которая может быть различима количественно или качественно человеком или автоматизированным средством. Сущность может обладать большим количеством атрибутов, однако, только некоторые из них могут представлять интерес для измерения. Первым шагом в определении конкретного варианта информационной модели измерения является выбор атрибутов, отвечающих информационным потребностям пользователя измерения. Данный атрибут может быть включен в многочисленные показатели измерения, поддерживающие различные информационные потребности.

Показатель определяется в терминах атрибута и метода для количественного определения. (Показатель - переменная, которая обладает значением.) Основной показатель функционально независим от других показателей. Основной показатель отражает информацию одного атрибута. Сбор данных включает присвоение значений для основных показателей. Определение ожидаемого диапазона или типа значения основного показателя помогает верификации качества собираемых данных.

A.2.3.1 Метод измерения

Метод измерения представляет собой логическую последовательность операций, описанную в общих чертах и используемую в количественной оценке атрибута относительно заданной шкалы. Операции могут включать такие действия, как подсчет случаев или наблюдение за временем. Тот же самый метод может быть применен к нескольким атрибутам. Тем не менее, каждая уникальная комбинация атрибута и метода создает другой основной показатель. Некоторые методы измерения могут быть реализованы несколькими способами. Процедура измерения описывает конкретную реализацию метода измерения в рамках данного организационного контекста.

A.2.3.1.1 Тип метода измерения

Тип метода измерения зависит от природы операций, используемых для количественной оценки атрибута.

Различают 2 типа:

- субъективный: количественная оценка на основе человеческого суждения;

- объективный: количественная оценка на основе численных правил. Эти правила могут быть реализованы как человеком, так и автоматизированным средством.

A.2.3.1.2 Шкала

Шкала представляет собой упорядоченный набор непрерывных или дискретных значений, или набор категорий, которым сопоставляется атрибут. Метод измерения сопоставляет величину измеряемого атрибута со значением на шкале. Единица измерения часто связана со шкалой.

A.2.3.1.2.1 Тип шкалы

Тип шкалы зависит от природы отношений между значениями на шкале. Обычно выделяют четыре типа шкалы:

- номинальная: значения измерения категорированные;

- порядковая: значения измерения упорядочены;

- интервальная: значения измерения находятся на равных расстояниях, соответствующих равным количественным значениям атрибута;

- относительная: значения измерения находятся на равных расстояниях, соответствующих равным количественным значениям атрибута, где показатель ноль не соответствует ни одному из атрибутов.

Примечание - Это лишь некоторые примеры типов шкалы. Робертс [17] выделяет большее количество типов шкалы.

Метод измерения обычно влияет на тип шкалы, который может быть надежно использован с заданным атрибутом. Например, субъективные методы измерения обычно поддерживают только порядковые или номинальные шкалы.

A.2.3.1.2.2 Единица измерения

Специальная величина, определенная и принятая на основе соглашения, с которой сравниваются другие величины того же вида в порядке выражения их значимости относительно этой величины. Можно сравнивать только показатели, выраженные в одинаковых единицах измерения. Примеры: час и метр.

Производный показатель - это показатель, который определен как функция двух или более значений основных показателей. Производные показатели собирают информацию о нескольких атрибутах или одном и том же атрибуте из нескольких сущностей. Простые преобразования основных показателей (например, взятия квадратного корня как основного показателя) не дают дополнительной информации, и, таким образом, не создают производных показателей. Нормализация данных часто подразумевает преобразование основных показателей в производные, которые могут быть использованы для сравнения различных сущностей.

A.2.4.1 Функция измерения

К функции относятся алгоритм или вычислительная выкладка, выполняемые для комбинации двух или более основных показателей. Шкала и единица измерения производного показателя зависят от шкал и объектов измерения основных показателей, на основе которых функция составлена, а также как они объединены этой функцией.

Индикатор - это показатель, который обеспечивает оценку или оценивание заданных атрибутов, полученных из модели относительно определенных информационных потребностей. Индикаторы служат основанием для анализа и принятия решений. Их следует предоставлять пользователям измерения. Измерение всегда основано на несовершенной информации, поэтому определение количественной оценки неопределенности, точности или важности индикаторов является существенным в представлении фактического значения индикатора.

A.2.5.1 Модель

Алгоритм или вычислительная выкладка, комбинирующие один или более основных или производных показателей с соответствующими критериями принятия решения. Это основано на понимании или предположении о возможных отношениях между составляющими показателями или их поведением на временной оси. Модели производят оценки или оценивания, которые относятся к определенной информационной потребности. Шкала и метод измерения влияют на выбор методов анализа и моделей, используемых для создания индикаторов.

A.2.5.1.1 Критерии принятия решения

Критерии принятия решения представляют собой пороговые значения, цели, правила или образцы, используемые для определения необходимости действий или дальнейшего изучения, или для описания уровня доверия в данном результате. Критерии принятия решения помогают интерпретировать результаты измерений. Критерии принятия решения могут быть рассчитаны или основаны на умозрительном понимании ожидаемого поведения. Критерии принятия решения могут быть созданы с использованием исторических данных, планов, алгоритмов или вычислены как статистические пределы при управлении или как статистические доверительные границы.

Измеряемое понятие представляет собой абстрактное соотношение между атрибутами сущности и информационными потребностями. Например, информационная потребность может выражаться в необходимости сравнить результативность при разработке группы проектов на основе целевого показателя. Измеряемым понятием в этом случае выступает "коэффициент результативности разработки". При оценке понятия может потребоваться измерение системы или программных продуктов, а также количество используемого ресурса для создания продуктов (в зависимости от выбранной модели результативности). Дополнительными примерами измеряемых понятий являются качество, риск, эффективность функционирования, возможности, завершенность и ценность для заказчика.

В следующих подразделах представлены примеры информационной модели измерения, которые направлены на определенные информационные потребности. Эти примеры не предназначены к использованию в качестве рекомендаций по лучшим методам измерения, скорее это является демонстрацией применимости информационной модели измерения в различных распространенных ситуациях.

Лицо, принимающее решения в этом примере (рисунок A.2), должно выбрать конкретный уровень результативности в качестве основы для планирования проекта. Измеримым понятием является связь результативности с затраченными усилиями и количеством выполненных требований. Таким образом, усилия и потребности являются измеримыми сущностями проблемы. Этот пример предполагает, что результативность оценивается на основе прошлой результативности. Таким образом, данные для основных показателей (см. нумерованные записи в таблице ниже) необходимо собрать и вычислить производный показатель для каждого проекта в хранилище данных.

Независимо от того, как образуется показатель результативности, естественная неопределенность в инженерии означает, что имеет место существенная вероятность того, что предполагаемая результативность определенно не будет достигнута. Оценка результативности на основе исторических данных позволяет вычислить пределы доверия, которые помогают оценить, насколько фактические результаты будут близки с оцененными показателями.

Лицо, принимающее решение в этом примере (рисунок A.3), должно оценить качество технического проекта по мере его проработки. Измеримое понятие характеризуется тем, что качество проекта связано с количеством произведенных во время проработки продуктов и количеством выявленных при этом дефектов (недостатков). Таким образом, произведенные документы (как продукты) технического проекта и перечень дефектов (недостатков) являются измеримыми сущностями проблемы. Качество произведенной документации может быть улучшено с помощью вычисления частоты появления дефектов (недостатков). Таким образом собираются данные для основных показателей (см. нумерованные записи в таблице ниже) и вычисляется производный показатель для каждого выходного документа, как это представлено.

Так как мы не ожидаем получить одинаковую частоту появления дефектов (недостатков) для каждого выходного документа, мы можем вычислить условные границы при контроле для определения, насколько частота дефектообразования в выходном документе отличается от среднего значения с тем, чтобы найти путь к решению проблемы.

Лицо, принимающее решения в этом примере (рисунок A.4), должно оценить, является ли приемлемой степень продвижения проекта. Измеримое понятие характеризуется тем, что продвижение проекта связано с объемами запланированной и завершенной работы. Таким образом, планируемые рабочие сущности (системные элементы) являются измеримыми сущностями проблемы. В этом примере предполагается, что назначенный поставщик ежемесячно сообщает о состоянии (степени готовности) каждого элемента системы. Таким образом, данные для основных показателей (см. нумерованные записи в таблице на рис. A.4) необходимо собрать и вычислить производный показатель для каждой рабочей сущности плана.

Поскольку состояние элементов системы является субъективной оценкой, в качестве критерия для принятия решения используется простой числовой порог, а не статистические границы.

Это приложение содержит распределение между информационными объектами и отчетами, приведенными в настоящем стандарте, и действиями или задачами, которые их производят (рисунок B.1). Обратите внимание, что в приложении содержатся только окончательные варианты информационных объектов и отчетов, т.е. не все промежуточные информационные объекты и отчеты, которые могут создаваться во время выполнения действий и задач.

Настоящий стандарт не предназначен для предписания наименований, форматов или конкретного содержания информационных объектов и отчетов. Стандарт не содержит информации, как следует составлять, объединять или хранить информационные объекты и отчеты. Эти решения остаются на усмотрение пользователя настоящего стандарта.

Для рассмотрения информационной потребности может быть выбрано множество различных комбинаций основных показателей, производных показателей и индикаторов. При выборе из альтернативных вариантов учитываются следующие критерии:

- значимость распределенных по приоритетам информационных потребностей;

- осуществимость сбора данных в организационную единицу;

- возможность для персонала собирать и управлять данными;

- легкость сбора данных;

- степень несанкционированного доступа и нарушений в действиях персонала;

- готовность соответствующих инструментальных средств;

- конфиденциальность;

- потенциальная устойчивость поставщика (поставщиков) данных;

- количество потенциально подходящих индикаторов, поддерживаемых конкретным основным показателем;

- увеличение или сокращение требований к хранению;

- легкость интерпретаций со стороны пользователей измерений и аналитиков по измерениям;

- число пользователей или потребителей информационных продуктов, использующих конкретный индикатор;

- личное предпочтение (например, у людей иногда есть свой "любимый показатель");

- применимость стадии жизненного цикла;

- доказательства (внутренние или внешние для организационной единицы) соответствию цели или информационной потребности и ее полезности;

- чувствительность к контексту (например, в некоторых показателях глубина наследования для объектно-ориентированных классов не показывает изменений, потому что наследование используется недостаточно; такой показатель не сможет продемонстрировать интересующего поведения в некоторых условиях).

Следует оценить затраты на сбор, управление и анализ данных на всех уровнях. Затраты включают в себя:

- затраты на использование показателей: с каждым показателем связаны затраты на сбор данных, автоматизацию для расчета значений показателей (по возможности), анализ данных, интерпретацию результатов анализа и связь по информационным продуктам;

- затраты на изменение процесса: комплекс показателей может предполагать изменение процесса разработки, например, из-за необходимости получения новых данных;

- затраты на изменение организационной структуры: комплекс показателей может предполагать изменение организационной структуры;

- затраты на специальное оборудование: возможно, потребуется найти, оценить, приобрести, адаптировать или разработать системные, аппаратные или программные инструментальные средства для реализации показателей;

- затраты на обучение: организация управления/контроля качеством или вся команда разработчиков могут обучаться использованию показателей и процедурам сбора данных. Если реализация показателей вызывает изменения в процессе разработки, изменения должны быть доведены до сведения персонала.

Примечание - Данный раздел разработан на основе IEEE 1061.

Эффективность каждого измерительного подхода, используемого в процессе измерения, должна быть оценена с использованием заранее определенных критериев. Ниже приведены примеры таких критериев (не исчерпывающие множества возможных). Некоторые критерии специфичны для основных показателей, производных показателей или индикаторов. Некоторые из этих критериев были адаптированы ИСО/МЭК TR 25023 для оценки показателей продукта. Нижеследующие критерии не обязательно являются независимыми друг от друга. В некоторых случаях критерии могут быть использованы для количественной оценки, но в иных ситуациях качественная оценка может быть вполне уместной. Эти критерии становятся еще более важными, когда информационные продукты являются частью договорного соглашения.

Использование рассматривается как степень, с которой информационные продукты, произведенные в процессе измерения, фактически применяются для принятия решений в управленческих или технических процессах, поддерживаемых измерениями.

Например, информационные продукты не используются, если часть анализа была выполнена на основе данных измерения, при этом модель для принятия решения была создана лишь для определения необходимости повторной проверки, а координатор редко использует модель решения для проведения повторной проверки.

Большинство критериев, описанных ниже, оказывают влияние на использование информационных продуктов.

Доверие рассматривается как степень, с которой потребители информационного продукта (измерения) имеют доверие к базовым показателям, производным показателям, индикаторам и интерпретациям, включенным в информационный продукт.

Доверие повышается, когда принимаются процедуры для предотвращения неправильного использования или искажения данных (например, для прослеживаемости всех элементов данных).

Более высокое доверие может быть достигнуто с помощью гарантий того, что аналитики компетентны и объективны, они воспринимаются как компетентные и объективные, и пользователи измерений вовлечены в процесс измерения (например, через регулярные сессии обратной связи).

Доказательства соответствия назначению рассматриваются как степень, с которой информационный продукт может быть продемонстрирован, чтобы считаться эффективным для определенной информационной потребности.

Интерпретация индикаторов должна принимать во внимание контекст, в условиях которого выполняется измерение. Не все показатели работают хорошо во всех ситуациях. При различных обстоятельствах может быть легко или трудно собирать данные основных показателей в условиях, когда влияние оказывается и на внедрение информационного продукта. Доверие к соответствию назначению информационного продукта возрастает при формировании доказательств эффективности в тех или иных условиях.

Соответствие назначению включает в себя:

- степень, с которой показатель измеряет то, что подлежит измерению;

- показатели, используемые в прогностическом смысле, которые должны иметь демонстрируемые возможности прогнозировать то, для чего они предназначены.

Если информационный продукт обеспечивает всестороннюю соответствующую обратную связь по результатам заданной информационной потребности, то данный информационный продукт может быть оценен как соответствующий своему назначению.

Понимаемость рассматривается как легкость понимания индикаторов и интерпретаций конкретным пользователем измерения.

Если информационный продукт трудно понять, то вероятнее всего, им не будут пользоваться. Это может быть вызвано жаргонами в интерпретации или представлением индикаторов такими способами, которые не доступны для пользователя. Объем может быть существенным препятствием для понимаемости, так как длинные отчеты читают менее тщательно.

Приемлемость рассматривается как степень того, насколько удовлетворительна модель, на основе которой рассчитывается индикатор (например, распределение данных, шкалы измерения, единицы измерения, объем выборки).

Статистические методы часто основываются на допущениях в исходных данных для них. Даже простые численные методы обычно зависят от определения показателей, которые измеряются. Определения необходимо внести в документы и утвердить.

Точность рассматривается как степень, в соответствии с которой процедура, реализующая основные показатели, соответствует применяемому методу измерения. Точная процедура приводит к результатам, подобным истинному значению основного показателя (или предполагаемым).

Процедуры измерения реализуют методы измерения для основных показателей. Эти процедуры могут привести к отличным результатам, по сравнению с тем, что предполагается, из-за возникновения таких проблем, как, например, системная ошибка в процедуре, случайная погрешность основного метода измерения, не соответствующая выполнению процедуры.

Фактически процедуры, выполняемые человеком, или автоматизированный расчет основного показателя могут приводить к отличиям от определения показателя. Например, инструментальные средства статистического анализа могут рассчитывать алгоритм другим способом по сравнению с тем способом, который был первоначально описан в источнике. Несоответствия также могут произойти из-за неоднозначных определений методов измерения, шкал, единиц измерения и т.д. Даже при надлежащем подходе процедуры измерения могут применять противоречиво, что приведет к потере данных или введению ошибочных данных.

Субъективные методы зависят от личностной интерпретации данных. Например, формулировка пунктов анкеты может заставить респондентов сомневаться в правильности ответа и даже в его объективности. Четкие и краткие инструкции помогают увеличить точность опросов.

Точность может быть улучшена, например, в результате того, что:

- объем недостающих данных находится в пределах заданных пороговых границ;

- количество отмеченных расхождений при вводе данных находится в пределах заданных пороговых границ;

- количество упущенных возможностей измерения находится в пределах заданных пороговых границ (например, количество проверок, по результатам которых не были предоставлены собранные данные);

- удается избежать ошибок при осуществлении выбора (например, опрашивают не только удовлетворенных пользователей для проведения оценки удовлетворенности пользователей или оценивают только успешные проекты для определения результативности в целом);

- хорошо определяются все основные показатели, и эти определения доводятся до поставщиков данных.

- если показатели определяются несоответствующим образом, это может привести к неточным данным. Повторяемость и воспроизводимость основного метода измерения (см. ниже) могут также ограничивать точность, достигаемую в процедуре измерения.

Повторяемость рассматривается как степень, при которой повторное использование основного показателя в аналогичной организационной единице после проведения схожего метода измерения при одинаковых условиях (например, инструментальные средства, персонал, выполняющий измерение) приводит к результатам, которые считаются идентичными. Субъективные методы измерения имеют тенденцию испытывать более низкую повторяемость, чем объективные методы. Случайная ошибка измерения снижает степень повторяемости.

Воспроизводимость рассматривается как степень, при которой повторное использование основного показателя в аналогичной организационной единице после проведения схожего метода измерения при различных условиях (например, инструментальных средств, персонала, выполняющего измерения), приводит к результатам, которые считаются идентичными. Субъективные методы измерения имеют тенденцию испытывать более низкую воспроизводимость, чем объективные методы. Случайная ошибка измерения снижает степень воспроизводимости.

Качество процесса может быть проанализировано с помощью оценки его возможностей (как описано в ИСО/МЭК 33002) или путем измерения и оценки его выполнения. Хотя настоящий стандарт в целом может использоваться в качестве эталонной модели для оценки возможностей процесса измерения, в данном приложении рассматривается только оценка выполнения процесса измерения.

Ниже приведено некоторое множество примерных критериев, которые могут быть использованы для оценки выполнения процесса измерения. В некоторых случаях критерии могут быть использованы для количественной оценки, но в иных ситуациях качественная оценка может быть вполне уместной.

Нижеследующие критерии могут рассматриваться как потенциальные информационные потребности владельца процесса измерения. Этот процесс измерения, описанный в настоящем стандарте, может применяться для производства информационных продуктов, которые обращены к информационным потребностям, определенным владельцем процесса измерения.

Процесс измерения должен обеспечить своевременное поступление информационных продуктов для поддержания потребности пользователя измерения. Соответствующий выбор времени зависит от графика организационного или технического процесса, осуществляющего поддержку.

Выполнение процесса измерения не должно стоить больше, чем ценность информации, которая предоставляется. Чем более эффективен сам процесс, тем ниже его стоимость и лучше показатели по критерию эффективность - стоимость.

Процесс измерения должен минимизировать поступление ошибочных данных и результатов, устраняя возникающие дефекты (недостатки) настолько быстро, насколько это возможно.

Следует обеспечивать удовлетворенность пользователей информационных продуктов от их качества (см. приложение D), а также от выполнения процесса измерения при оценке своевременности, эффективности и устранении дефектов (недостатков). На удовлетворенность могут повлиять конкретные ожидания пользователя по уровню обеспечиваемого качества и выполнения процесса измерения.

Следует обеспечивать соответствие выполнения измерения разработанным планам и процедурам в описаниях намеченного процесса измерения. Данный процесс может быть оценен по результатам аудита управления качеством или оценки возможностей процесса.

6.3.2 определил основные задачи процесса измерения, которые следует запланировать. Результаты запланированных действий и любых других действий по планированию могут быть собраны в план проведения измерения.

В план проведения измерения могут быть включены нижеперечисленные примерные элементы:

- характеристика организационной единицы;

- цели бизнеса и проекта;

- приоритетные информационные потребности и их связи с целями бизнеса, организационными и регуляторными целями, целями проекта и продукции;

- определение показателей и их связь с информационными потребностями;

- обязанности по сбору данных и обязанности источников данных;

- график для сбора данных (например, в конце каждой проверки, ежемесячно);

- инструментальные средства и процедуры для сбора данных (например, инструкции по использованию статического анализатора);

- хранилище данных;

- требования для верификации данных;

- процедуры ввода и верификации данных;

- план анализа данных, включая частоту анализа и отчетность;

- необходимые организационные и процессные изменения для реализации плана измерения;

- критерии для оценки информационных продуктов;

- критерии для оценки процесса измерения;

- ограничения по конфиденциальности данных и информационных продуктов, требования по действиям/мерам для обеспечения конфиденциальности;

- график и обязанности по реализации плана измерения, включая широкую реализацию экспериментальных проектов и организационных объектов;

- процедуры управления конфигурацией данных, опытная база измерений и определения данных.

Нижеприведенные объекты составляют множество общих критериев для отчетности об информационных объектах:

- ограничения результатов и любых иных квалификаций (например, ограничения сроков действия сделанных выводов);

- дата или период сбора данных;

- названия и версии инструментальных средств для выполнения статистического анализа;

- количество наблюдений, на основе которых сделаны выводы;

- используемая процедура выборки;

- используемые допущения, лежащие в основе методов анализа, и полученные результаты любого анализа чувствительности, выполняемого для проверки на устойчивость к возникновению нарушения допущений;

- точность, с которой функционируют агрегаты (например, на уровне среднего или взвешенного среднего);

- единицы наблюдения, по которым сделаны выводы (например, контрольный комплект, объект конфигурации);

- как действовать в случаях с недостающими данными и отклонениями, при необходимости;

- как действовать в случаях с резко выделяющимися значениями во время анализа данных, при необходимости;

- как комбинировать данные по множествам различных наборов данных, при необходимости;

- для любых статистических тестов, являются ли они одно- или двухсторонними;

- для любых статистических тестов, использующих допустимые уровни (количество допустимых ошибок);

- для любых статистических тестов, как высчитываются значения вероятностей (вероятности получения ожидаемого результата или более отклоняющегося результата);

- как высчитываются интервалы доверия, при необходимости;

- используемые статистические методы (включая ограничения).

Несоблюдение вышеуказанных критериев затрудняет корректную их интерпретацию потребителем информационных продуктов и доверие к сделанным выводам. Обратите внимание, что для конкретных методов анализа данных могут оказаться необходимыми дополнительные требования к отчетности. Также обратите внимание, что некоторые из этих отчетов могут быть включены в приложения к аналитическим отчетам, если они не совсем уместны для основных потребителей. Может потребоваться приспособление уровня анализа к уровню конкретного заказчика или пользователя.