"ГОСТ Р ИСО/МЭК 33003-2017. Национальный стандарт Российской Федерации. Информационные технологии. Оценка процесса. Требования к системам измерения процесса"
(утв. и введен в действие Приказом Росстандарта от 26.05.2017 N 446-ст)

1 ПОДГОТОВЛЕН Обществом с ограниченной ответственностью "Информационно-аналитический вычислительный центр" (ООО ИАВЦ) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 22 "Информационные технологии"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 26 мая 2017 г. N 446-ст

4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК 33003:2015 "Информационная технология. Оценка процесса. Требования к структурам измерения процесса" (ISO/IEC 33003:2015 "Information technology - Process assessment - Requirements for process measurement frameworks", IDT).

ИСО/МЭК 33003 разработан подкомитетом ПК 7 "Системная и программная инженерия" совместного технического комитета СТК 1 "Информационные технологии" Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении ДА

5 ВВЕДЕН ВПЕРВЫЕ

6 ПЕРЕИЗДАНИЕ. Январь 2019 г.

7 Некоторые положения международного стандарта, указанного в пункте 4, могут являться объектом патентных прав. ИСО и МЭК не несут ответственности за идентификацию подобных патентных прав

В настоящем стандарте установлены требования, предъявляемые к системам измерения процесса с поддержкой возможности оценивать качественные свойства процесса, начиная с построения концепции до практического подтверждения. В системах измерения процесса в результате анализа качественных свойств процесса создаются составные измерения (например, уровни возможностей процесса в виде порядковой шкалы в ИСО/МЭК 33020). Среди примеров качественных свойств процесса, которые представляют собой параметры (теоретические концепции), можно назвать возможности процесса, защищенность процесса, скорость процесса и безопасность процесса. Основные пользователи настоящего стандарта - разработчики систем измерения процесса и моделей оценки процесса. Соответствие требованиям настоящего стандарта означает, что в ходе разработки системы измерения процесса будут создаваться надежные методы, обеспечивающие качественные составные измерения.

ИСО/МЭК 33003 относится к множеству международных стандартов, обеспечивающих содержательную и последовательную основу для оценки характеристик качества процесса, основанных на объективных данных реализации процессов. Основы оценки охватывают процессы, используемые при разработке, сопровождении и эксплуатации систем в области информационных технологий, а также применяемые при проектировании, передаче, поставке и улучшении услуг. В целом в этих международных стандартах рассматриваются характеристики качества процесса любого типа. Результаты оценки могут использоваться для улучшения процесса или определения и управления рисками, связанными с применением процессов.

В настоящем стандарте установлены требования к разработке систем измерения процесса, приведенных в ИСО/МЭК 33020. Эти требования могут быть использованы для определения моделей оценки процесса в соответствии с ИСО/МЭК 33004, а также для оценки процесса в соответствии с ИСО/МЭК 33002. Общее построение и содержание данного семейства стандартов приведено в ИСО/МЭК 33001.

Некоторые международные стандарты семейства ИСО/МЭК 330XX по оценке процесса предназначены для замены и расширения частей серии стандартов ИСО/МЭК 15504. Детальные отличия семейства стандартов ИСО/МЭК 330XX от серии стандартов ИСО/МЭК 15504 приведены в ИСО/МЭК 33001 (см. приложение A).

В настоящем стандарте установлены требования к системам измерения, используемым для оценки процесса. Требования настоящего стандарта формируют структуру, которая представляет собой:

a) требования к системам измерения процесса при его оценке;

b) требования к проверке систем измерения процесса, используемого для оценки процесса;

c) требования, применимые к любой системе измерения процесса при получении составных измерений в различных областях.

Настоящий стандарт применим при разработке систем измерения любых качественных свойств процессов в разных областях.

Схема технологий, используемых в настоящем стандарте, приведена в приложении A. Пояснения к спецификациям конструкции приведены в приложении B. Обзор методов статистической проверки приведен в приложении C. Описание некоторых методов и ссылок, которые можно использовать в реализации требований к системам измерения процесса, приведено в приложении D. Эти приложения должны быть использованы в качестве инструкции по созданию систем измерения процесса, которые будут разрабатываться в рамках семейства стандартов.

Примечание - В ИСО/МЭК 33020 приведена система измерения процесса для оценки его возможностей в соответствии с требованиями настоящего стандарта.

В настоящем стандарте применены следующие нормативные ссылки. Для датированных ссылок используют только указанные издания. Для недатированных - последние издания с учетом внесенных в них изменений.

ISO/IEC 15939:2007 <*>, Systems and software engineering - Measurement process (Системная и программная инженерия. Процесс измерения)

--------------------------------

<*> Заменен на ISO/IEC/IEEE 15939:2017.

ISO/IEC 33001:2015, Information technology - Process assessment - Concepts and terminology (Информационные технологии. Оценка процесса. Понятия и терминология)

В настоящем стандарте применены термины, определенные в ИСО/МЭК 33001, ИСО/МЭК 15939, а также следующие термины и определения:

3.1 комплексный метод (aggregation method): Метод, совмещающий набор значений измерений для создания составного значения.

Примечание - Комплексные методы основаны на компенсационных и некомпенсационных моделях.

3.2 компенсационная модель (compensatory model): MCDM-модель, в которой составное измерение включает в себя условия с собственным весом, и где критерии (также см. условия свойств) с высоким значением могут компенсировать критерии с низким значением пропорционально весу каждого из них.

Примечание - Компенсационная модель предполагает, что совершенствование более важных мер (с более высоким весовым коэффициентом) с большей вероятностью повысит или улучшит общее составное значение, нежели совершенствование менее важных мер. Эта модель предполагает, что вес (уровень влияния) критериев остается тем же вне зависимости от измеренного уровня критерия.

3.3 составное измерение (composite measure): Переменная, получаемая из набора операций составных измерений конструкции, определенная в соответствии со спецификацией конструкции (информативной или формирующей); эта спецификация описывает способ, каким представляющая нужную конструкцию скрытая переменная связана с соответствующими измерениями.

3.4 составное значение (composite value): Значение составного измерения.

Примечание - Составное значение может находиться на порядковой шкале, шкале интервалов или отношений.

3.5 конструкция (construct): Параметры (абстрактная идея, изображение, основная тема или предмет), которые необходимо измерить в ходе оценки процесса.

Примечания

1 В системах измерения процесса конструкции (этот термин относится также к скрытым конструкциям) представляют собой теоретические концепции, такие как качественные и количественные свойства процесса.

2 Присваиваемое конструкции значение называется теоретическим определением, которое должно разъяснять ее значение, а также указывает на ее точные размеры (фасеты).

3.6 размерность (dimension): Отдельные компоненты, входящие в многомерную конструкцию.

3.7 формирующая конструкция (formative construct): Конструкция, созданная на базе измерений путем наблюдения при взаимодействии конструкции и соответствующих измерений.

Примечание - Конструкция представляет собой последовательность измерений, каждое из которых является определяющим фактором конструкции.

3.8 скрытая переменная (latent variable): Переменная, представляющая собой одномерную конструкцию.

Примечание - Для каждой размерности конструкции должна присутствовать отдельная скрытая переменная, а для каждой скрытой переменной должно проводиться по меньшей мере одно измерение.

3.9 MCDM - принятие решений с учетом множества критериев или принятие решений с учетом множества параметров (MCDM - Multiple Criteria Decision Making or Multi-Attribute Decision Making): Принятие решений о предпочтениях (например, оценка, расстановка приоритетов и выбор) из имеющихся альтернатив, описываемых множеством критериев.

Примечания

1 Критерий в MCDM соответствует измерению.

2 MCDM с одной альтернативой аналогично разработке комплексного измерения.

3.10 модель измерения (measurement model): Скрытое или явное отношение между скрытой переменной и ее (многокомпонентными) измерениями.

Примечание - Отношения между информативной (формирующей) конструкцией и ее измерением (измерениями) называют информативной (формирующей) моделью измерения.

3.11 многомерная конструкция (multidimensional construct): Конструкция, состоящая из определенного числа одномерных конструкций.

Примечание - Каждое измерение многомерной конструкции называется одномерным и представлено одной скрытой переменной. У каждой размерности может быть несколько измерений. Многомерная конструкция, например значение возможностей, определяемое как общий фактор свойств соответствующего процесса, отличается от случая, когда возможности определяют как сумму свойств процесса. Первый случай представляет собой информативную многомерную конструкцию, а второй - формирующую. Многомерная конструкция может включать в себя неопределенное число уровней.

3.12 некомпенсационная модель (non-compensatory model): MCDM-модель, не допускающая взаимную компенсацию критериев пропорционально их весу.

Примечание - Строго положительные или отрицательные условия непропорционально влияют на общее составное значение, несмотря на то, что весовой коэффициент остается тем же. Существуют разные некомпенсационные модели в зависимости от политики оценки, цели составного измерения и (или) шкалы измерения.

3.13 информативная конструкция (reflective construct): Конструкция, которая в отношениях "конструкция - измерения" рассматривается как объект измерений.

Примечание - Информативная конструкция является ключевым фактором вариативности ее измерений.

3.14

3.15 одномерность (unidimensionality): Наличие одной характерной особенности или конструкции, подразумевающей набор измерений.

В настоящем разделе установлены требования к разработке систем измерения процесса. Цель инструкций, содержащихся в настоящем стандарте, состоит в том, чтобы обеспечить лучшее понимание этих требований. Отношения между некоторыми элементами, описанными в настоящем разделе, приведены на рисунке A.1 (приложение A).

Примечание - Инструкции по обеспечению соответствия данным требованиям, включая примеры и методы, будут приведены в руководстве по созданию систем измерения процесса, разрабатываемых в рамках данного семейства стандартов.

a) Система измерений должна определять и характеризовать качественное свойство отдельного процесса.

b) Качественное свойство процесса в системе измерения следует определять на базе многомерной конструкции.

c) Качественное свойство процесса в системе измерения следует определять как набор количественных свойств процесса.

d) Каждое качественное свойство процесса должно определяться своим набором количественных свойств процесса.

e) Каждое свойство процесса, которое не может быть измерено непосредственно, следует считать конструкцией.

f) Свойства процесса в системе измерения процесса необходимо определять как информативные или формирующие.

g) Система измерений должна фиксировать политики и допущения, определяющие ее использование и применение.

Построение концепции состоит из ее определения и разъяснения. Концепция представляет собой идею или образ, который объединяет в одном термине интересующие феномены (например, характерные особенности, особенности поведения). Список характерных особенностей охватывается обобщающим признаком. Большинство качественных свойств процесса (например, его возможности) не поддаются наблюдению, представляя собой теоретические концепции, именуемые конструкциями.

Комплексные измерения (например, уровня возможностей процесса), используемые в системах измерения процессов, должны определяться на основе модели, состоящей из свойств процесса. Система измерений может быть структурирована в набор уровней, достижение которых предполагается управлением процессом.

Если свойство процесса не поддается непосредственному измерению, его можно определить как конструкцию. Набор свойств процесса должен быть определен для любой конструкции, которая может быть информативной или формирующей.

Участие экспертов и заинтересованных лиц может повысить обоснованность качественного свойства процесса и количественных свойств; аспекты обоснованности приведены в приложении C, раздел C3.

Многомерную конструкцию можно изобразить в виде схемы путей, включая набор измерений и их взаимоотношений. Использование схемы путей делает более понятной сферу применения модели и ее структур.

a) В определении конструкции должно содержаться определение значения качественного и количественного свойств процесса в системе измерения процесса.

b) Определение конструкции должно прояснять спецификацию качественного и количественного свойств процесса в качестве измерений.

c) Определение конструкции должно предоставлять инструкции по практическому применению качественного и количественного свойств процесса.

d) Определение конструкции должно определять шкалы составных измерений, таких как качественные (например, серии порядковых значений, таких как уровень возможностей) или количественные.

e) По меньшей мере одно из свойств процесса должно включать в себя достижение определенной цели процесса и результата процесса; это называется свойством результативности процесса.

Качественные и количественные свойства процесса должны описывать интуитивное понимание их представления, их интерпретация может быть разной в зависимости от точки зрения и квалификации оценщика. Поэтому для разъяснения и предоставления значения конструкции оценщику необходимо определить конкретный состав конструкции для измеряемого процесса. В этом состоит процедура определения конструкции.

Уточнение конструкции предполагает, что, например, определение показателя качества процесса, как превосходящей по классу, полностью охватывает свойства процесса на базе спецификации конструкции, а определенные свойства процесса, как имеющие более низкий класс, представляют собой его точные размеры. Скрытую переменную можно присвоить одномерной конструкции модели. Статистические методы, относящиеся к размерности, приведены в приложении C, раздел C.1.

a) Все свойства процесса следует определять в соответствии со спецификацией их конструкции.

b) Соответствие свойствам процесса должно быть подтверждено объективными свидетельствами.

Если свойство процесса поддается непосредственной оценке с помощью формальных методов оценки, методов автоматической отчетности, опросов (включая анкеты и интервью), наблюдений или иных эмпирических способов, то речь идет о базовом измерении, которое функционально не зависит от других измерений. Если свойство процесса измеряют вместе с несколькими подконструкциями или измерениями, оно может рассматриваться как конструкция. Для измерения конструкции рекомендуется проводить четыре или более базовых измерений, а также выполнить набор статистических тестов (включая проверку модели и спецификации конструкции) в информативной спецификации.

Примечание - Индикаторы оценки, используемые для присвоения оценок свойствам процесса, приведены в ИСО/МЭК 33004, пункт 6.3.4.

Спецификации конструкции качественного свойства процесса и связанные с ним количественные свойства следует проверять путем практического использования и логического обоснования.

Существует два типа спецификаций конструкций, которые описывают то, как скрытая переменная представляет связь конструкции со своими измерениями (т.е. отношения между одномерной конструкцией и ее измерениями): информативная и формирующая модели измерений. Качественные и количественные свойства процесса можно рассматривать как определяющие факторы или индексы, создаваемые наблюдаемыми измерениями. Первый тип называют информативными (эффективными) конструкциями или информативными моделями измерений, а второй - формирующими (обусловленными) моделями.

Цель информативной модели измерения состоит в измерении отдельного свойства путем проведения нескольких измерений, в то время как в рамках формирующей модели осуществляют попытку обобщить несколько свойств в одном составном значении. Данные спецификации изображены на рисунке B.1 приложения B.

Правила принятия решений при проверке спецификации информативной или формирующей конструкций приведены в таблице 1. Эти правила можно применять к качественным свойствам процесса и его соответствующим характеристикам. Данные правила можно проанализировать путем статистической проверки спецификации конструкции. Подробное описание спецификации конструкции приведено в приложении B.

В некоторых случаях связи, изображенные на рисунке B.1 приложения B, могут иметь более высокий уровень, т.е. концептуальные определения конструкций часто указаны на более абстрактном уровне, куда иногда входит несколько информативных и (или) формирующих измерений первого уровня. Модели более высокого уровня должны иметь теоретическое определение в информативной модели измерения. Проверку определения проводят путем проведения статистического анализа.

a) Оценки должны быть присвоены свойствам процесса.

b) Шкалы измерений, т.е. номинальная, порядковая, шкала интервалов, связей, должны быть определены для свойств процесса.

c) Должен быть определен метод измерения, с помощью которого проводится объективное присвоение значения каждому свойству процесса.

В ходе некоторых оценок могут создаваться рейтинги качественных или количественных свойств процесса для отдельных оцениваемых образцов процесса. С другой стороны, в некоторых оценках, дающих общую картину без присвоения рейтингов, может рассматриваться набор образцов процесса в одном контексте с процессом. Рейтинг свойств процесса может быть основан на формальных оценках, автоматической отчетности, наблюдениях или иных эмпирических способах оценки. В связи с этим шкала для рейтинга базовых измерений должна соответствовать модульности оценки. Бывают случаи, когда рейтинги в автоматической отчетности и наблюдениях были выставлены на основе восприятия, а не объективных свидетельств. К шкале рейтингов для качественных и количественных свойств процесса должны применяться логические обоснования в соответствии со спецификацией конструкции (см. 4.3).

Хорошо организованная документированная процедура оценки свойств процесса обеспечит надежные результаты измерений. Подход к оценке свойств процесса должен быть определен документированной процедурой оценки и может зависеть от класса оценки с учетом ее целей. Таким образом, для данной цели документированная процедура оценки определяет процесс назначения, планирования, проведения и анализа оценки согласно интегрированной схеме оценки. При наличии соответствующей договоренности в организации документированная процедура оценки может быть утверждена после проверки ее соответствия целям проведения измерений.

При обобщении должно быть определено составное значение или рейтинг путем совмещения набора значений, полученных при измерении.

a) Следует указать все обобщения, необходимые в рамках системы измерений.

b) Необходимо указать методы обобщения.

c) Методы обобщения должны быть проверены статистически.

d) В методах обобщения должны использоваться единообразные шкалы измерений.

e) Методы обобщения должны соответствовать линиям поведения и допущениям системы измерения.

f) Методы обобщения должны соответствовать спецификациям конструкции.

Шкалу составного измерения для качественного и количественного свойств процесса следует устанавливать в соответствии со спецификацией конструкции. Количество необходимых обобщений зависит от структуры многомерной конструкции качественного свойства процесса, приведенной в 4.1. В первую очередь в качестве точки обобщения можно считать иерархический порядок конструкций, например качественные и количественные свойства процесса. Уровень каждого качественного свойства процесса на шкале определяется в условиях соответствия набору количественных свойств процесса.

MCDM с одной альтернативой также можно считать методом обобщения для получения значения комплексного измерения. Основой для метода обобщения может быть компенсационная или некомпенсационная модель, в зависимости от спецификации конструкции, политики оценки, цели составного измерения и (или) шкалы измерения. Формирующую модель без ошибок в измерениях можно рассматривать как MCDM компенсационного типа, обобщающую различные аспекты или измерения в одно комплексное значение.

В качестве примера обобщения можно привести комбинацию набора рейтингов свойств процесса для уровня возможностей процесса, исходя из формирующей спецификации. В многомерной конструкции, такой как качественное или количественные свойства процесса, обобщение следует использовать для определения уровня возможностей процесса по набору рейтингов его свойств. Кроме этого, если рейтинг свойств процесса выполняется для каждого из нескольких образцов, необходимо представить методы обобщения.

Шкала рейтингов качественного свойства процесса или его количественных свойств представляет уровень соответствия данным свойствам. Порядковую шкалу можно получить путем преобразования шкалы интервалов или отношений. В результате появятся опорные точки для рейтинга. Например шкалу рейтингов можно применить для выражения степени соответствия свойства процесса его образцу в определенном организационном контексте либо для выражения свойства процесса в нескольких его образцах в рамках определенного организационного подразделения.

Единообразие шкалы измерений предполагает, что преобразование нижнего уровня, начиная с более высокого уровня измерения до более низкого, возможно при соблюдении следующих условий: (i) шкала отношений может быть преобразована в шкалу интервалов, порядковую или номинальную шкалу, (ii) шкала интервалов может быть преобразована в порядковую или номинальную шкалу и (iii) порядковая шкала может быть преобразована в номинальную шкалу. При этом обратное преобразование не допускается.

Составное значение информативной конструкции можно рассчитать путем усреднения или суммирования значений измерений, если удовлетворяются соответствующие условия. Эти методы можно также применить к обобщению подконструкций с целью получить составное значение конструкции более высокого уровня в многомерной конструкции.

Следует проверить наличие посторонних значений, а значения измерений с большими искажениями необходимо преобразовывать по мере необходимости. Посторонние значения можно удалить из обобщенной конструкции. Если в измерениях содержатся разные диапазоны значений, перед действиями с данными необходимо привести их к единой системе измерений. Соответствующий метод приведения необходимо использовать в отношении как теоретической базы, так и свойств данных.

Целью анализа чувствительности является проверка устойчивости комплексного значения. Типы и методы анализа чувствительности зависят от метода присвоения оценок и обобщения в системах измерения процесса.

a) Анализ чувствительности должен быть проведен для шкал измерений свойств процесса.

b) Анализ чувствительности должен быть проведен для методов обобщения.

c) Анализ чувствительности должен быть проведен для весовых коэффициентов (в зависимости от ситуации).

Устойчивость составного значения оценивают путем анализа неопределенности или анализа чувствительности. В ходе анализа неопределенности проверяют степень неопределенности входящих факторов, например распространение значений по структуре составного измерения и их воздействие на составное значение. В ходе анализа чувствительности проверяют степень влияния каждого отдельного источника неопределенности на конечное расхождение. Анализ чувствительности может быть проведен на базе свойств процесса.

Включение весовых коэффициентов в составное измерение, например в большинство компенсационных моделей, требует проведения анализа чувствительности для весовых коэффициентов, где должен быть указан метод ранжирования веса. Весовые коэффициенты не требуются для некомпенсационных MCDM-моделей.

a) Планирование степени достоверности и действительности систем измерения процесса должно быть осуществлено на начальном этапе стандартизации. В эти планы входят мероприятия, проводимые после процесса стандартизации.

b) Требования к достоверности и пригодности систем измерения процесса должны соответствовать спецификации конструкции.

c) Согласованность (также называемая равнозначностью) как мера достоверности должна быть проанализирована в приложении к свойствам процесса, если речь идет об информативной модели.

d) Области действия должны быть проверены для качественного и количественных свойств процесса в системе измерения процесса.

e) Спецификация конструкции должна быть проверена эмпирически для качественного свойства процесса и его измерений в системе измерения процесса.

f) Внешние факторы (например, цели, критерии и (или) степень соответствия) в системе измерения процесса должны быть задокументированы для последующего анализа пригодности в ходе разработки.

Качество свойств процесса проверяют эмпирическими методами, такими как оценка достоверности (особенно если речь идет об информативном измерении) и тесты на пригодность. Системы измерения процесса устанавливают собственные требования к достоверности и пригодности, а также способы подтверждения этих требований. Статистическое подтверждение требований, приведенных в настоящем разделе, должно быть зафиксировано в отдельном документе или приложении к описанию системы измерения процесса.

Общее определение достоверности измерения представляет собой отклонение текущего значения (скрытая переменная) дисперсии от значения общей дисперсии, деленное на значение общей дисперсии измерения. Достоверность относится к степени воспроизводимости (стабильности) и согласованности (равнозначности) измерения в контексте его способности к сбору скрытых переменных. Воспроизводимость предполагает, что повторные оценки (в два разных момента времени в отношении одного процесса с применением аналогичного или альтернативного методов тем же оценщиком) должны давать результаты, которые можно считать идентичными. Согласованность (равнозначность) относится в большей степени к множественным измерениям конструкции в отдельный момент времени, где каждое измерение считается отдельным, но равнозначным согласно фундаментальной концепции. Краткое описание статистических методов оценки достоверности приведено в приложении C, раздел C.2.

Удовлетворительная степень достоверности зависит от того, как используются результаты оценки, полученные системой оценки процесса. Например в примененных настройках, в которых в отношении составного значения принимаются важные решения, в качестве приемлемого рекомендуется высокое значение согласованности (например, 0,9).

В информативных конструкциях одномерность является необходимым условием для анализа достоверности и применимости конструкции.

Качество свойств процесса следует проверять эмпирическими методами, такими как оценка достоверности (если речь идет об информативном измерении) и тесты на пригодность. Проверка достоверности системы измерения процесса - это процедура, которая определяет, имеются ли объективные свидетельства того, что измеряемые качественные или количественные характеристики соответствуют свойствам процесса, а также, что они являются пригодными для измерения по прямому назначению. Некоторые методы проверки могут применяться в ходе стандартной процедуры разработки согласно разделу 4. При этом в данном разделе рассмотрен статистический анализ полученных результатов, в рамках которого систему измерения процесса проверяют в ходе пробных испытаний и (или) после опубликования.

Если качественные или количественные свойства процессов в системе измерения процесса неправильно используют, измеряют или подтверждают статистически, то любое комплексное измерение можно считать недостаточно достоверным или ненадлежащим. Такие качественные или количественные свойства процессов в системе измерения процесса должны быть связаны с его статистической проверкой, несмотря на то, что статистические тесты не являются целью настоящего стандарта. Проблемы обоснованности должны быть рассмотрены при проведении оценки процесса. Проводимые тесты обоснованности зависят от спецификаций конструкции.

Данные внешних измерений следует собирать на объективной или субъективной основе и использовать для проверки предсказательной обоснованности. Описание обоснованности конструкций в краткой форме приведено в приложении C, раздел C.3.

Спецификации конструкций (также называемые моделями спецификаций) могут быть подвергнуты статистическому тестированию с целью определения, являются ли отношения между качественным свойством процесса и его количественными свойствами формирующими или информативными. При необходимости можно провести изучение путем моделирования. Все обобщения должны соответствовать логике спецификации конструкции.

Примечание - Подтверждающий тетрадный анализ, рассматриваемый в приложении B, раздел B.3, может быть использован для статистического тестирования спецификаций конструкции.

Соответствие требованиям настоящего стандарта может быть подтверждено следующими способами:

- собственным заявлением (первой стороной);

- второй стороной (потребителем, заказчиком);

- третьей стороной (независимыми оценщиками).

Подтверждающая сторона должна получить объективные свидетельства того, что система измерения процесса соответствует требованиям, установленным в разделе 4. Объективные свидетельства предоставляют для демонстрации целостности и согласованности системы измерения процесса.

Карта терминов, определенных в разделе 3, с указанием требований и инструкций согласно разделу 4, представлена на рисунке A.1 (стрелками показано направление чтения). Качественное свойство процесса разъясняется, описывается и организуется при помощи многомерной конструкции, состоящей из набора одномерных конструкций. Каждая из одномерных конструкций присваивает значение соответствующему феномену. Идентификация и разъяснение конструкции проводятся за счет построения концепции. Конструкция воплощается в ее определении.

Качественное свойство процесса используют на практике в качестве информативного или формирующего набора количественных свойств процесса. Правила принятия решения представляют собой инструкции по определению свойств процесса. Если свойства процесса определяют как информативные измерения, факторный анализ может помочь определить набор одномерных конструкций. С другой стороны, формирующие свойства процесса могут рассматривать каждое свойство процесса как измерение. Каждое измерение свойства процесса может быть представлено скрытой переменной. С помощью тестов спецификации конструкции можно эмпирически оценить свойства процесса и определить, являются они информативными или формирующими. Рейтинг, полученный в ходе оценки, должен быть присвоен каждому из свойств процесса.

Рейтинги, присвоенные свойствам процесса, обобщают для получения составного измерения, результатом которого является значение (числового или порядкового уровня). Метод обобщения представляет собой разновидность MCDM-модели (компенсационной или некомпенсационной). Выбранный метод обобщения может изменяться под воздействием спецификаций конструкции (т.е. информативной или формирующей), политики оценки (например, компенсационной или некомпенсационной), цели составного измерения и (или) шкалы измерения.

Анализ чувствительности может быть проведен для шкал измерения свойств процесса, методов обобщения и весовых коэффициентов (в зависимости от ситуации). Качественные и количественные свойства процесса должны быть проверены с применением эмпирических методов, таких как оценка достоверности и тесты на пригодность.

В настоящем приложении приведено описание трех моделей, которые можно использовать для разработки составных значений (например, уровня качества процесса) путем обобщения значений измерения (например, набора рейтингов свойств процесса). Две спецификации в качестве поясняющего материала представлены на рисунке B.1.

Обозначения, приведенные на рисунке B.1:

- - загрузочный параметр, указывающий на соотношение между конструкцией и измерением x;

- - ошибочное условие;

- - загрузочный параметр измерения x;

- - возмущающее условие.

Направление причинных связей имеет важные последствия для свойств процесса в его контексте. Если качественное свойство процесса считается информативным, цель действий должна состоять в получении естественных преимуществ, отраженных в свойствах процесса. Вмешательства, исключительной целью которых являются отдельные свойства процесса, могут отвлекать ресурсы от более важных действий. Вмешательства в формирующей конструкции должны быть направлены в определенные области, связанные со свойствами процесса, которые представляют собой качественные свойства процесса. В этом случае улучшение одного свойства процесса не предполагает улучшения прочих измерений. Правила принятия решений для спецификации конструкций в обобщенной форме приведены в таблице 1.

Согласно рисунку B.1a) конструкция теоретически обозначена как абстрактная концепция, которая может быть оценена с применением косвенных составных измерений. Конструкции можно рассматривать как причины измерений. Измерения отражают или проявляют степень изменения конструкции, а вариации конструкции приводят к разным результатам измерений. Смещение в конструкции приводит к смещению всех измерений в том же направлении, поскольку измерения отражают ту же основополагающую конструкцию. Таким образом, осуществляется тесная взаимосвязь между двумя измерениями.

Более того, поскольку измерения имеют идентичное или схожее содержание и предполагается их использование в качестве выборки однородной концептуальной области, надежные измерения являются взаимозаменяемыми, а исключение одного измерения не должно изменять концептуальную область конструкции. При измерении психологических конструкций, таких как черты характера и позиции, рекомендуется использовать измерения информативного типа.

Отношения между конструкцией и ее измерениями представлены в виде уравнения, где каждое измерение зависит от скрытой переменной следующим образом

где x_i - информативное измерение i, зависящее от скрытой переменной ;

- коэффициент, представляющий собой ожидаемое воздействие изменения одной единицы в x_i;

- случайное ошибочное условие представляет собой ошибку измерения.

Правила принятия решений для информативной конструкции приведены в таблице 1.

В формирующей конструкции, представленной на рисунке B.1b), значения измерений рассматриваются как причины конструкции, а конструкция представляет собой составную переменную, сформированную или привнесенную комбинацией ее измерений. Измерения характеризуют набор четко очерченных причин, которые не являются взаимозаменяемыми. Каждое измерение фиксирует определенный аспект области применения конструкции. Таким образом пропуск какого-либо измерения может изменять концептуальную область конструкции, т.е. при этом может иметь место недостаточная обоснованность контента. Поскольку измерения представляют собой разные фасеты области применения конструкции, они не должны быть слишком взаимосвязаны. Сильные взаимосвязи между формирующими изменениями могут воздействовать на стабильность коэффициентов измерения и затруднить выделение конкретного воздействия отдельных мер на конструкцию. Входящие в конструкцию измерения мероприятий или функций обычно считают формирующими конструкциями.

Формирующая конструкция может быть представлена следующим образом

где - конструкция, оцениваемая ее формирующим измерением x_i;

- коэффициент, указывающий на влияние измерения x_i на скрытую переменную ;

- возмущающее условие, указывающее на эффект пропущенных измерений в модели на переменную .

Правила принятия решений для формирующей конструкции приведены в таблице 1.

Формирующая конструкция может быть представлена без ошибочного условия, указанного на рисунке B.1b), т.е. возмущающее условие предположительно равно нулю. Далее конструкция работает как MCDM-процесс и указывает на комплексное измерение, определяемое комбинацией набора измерений xs, которым присвоены весовые коэффициенты по степени важности или приоритету таких измерений. Взаимоотношения можно представить следующим образом

где C - составное измерение xs с весовыми коэффициентами.

В данном уравнении, если известны все условия , C является не скрытым, а составным значением. Процедура подтверждения комплексного измерения перекрывает формирующую модель, описанную выше. В настоящем стандарте приведены все различия между формирующей конструкцией и комплексным измерением, если это необходимо.

При наличии данных, полученных в результате использования системы измерения процесса, может быть проведен статистический анализ для подтверждения соответствия применимым требованиям, как это описано в разделе 5. В настоящем приложении приведены примеры статистических методов определения соответствия требованиям раздела 5.

Статистическое тестирование размерности следует применять только для информативных спецификаций. Оценку методом факторного анализа (EFA) и ее подтверждение (CFA) можно использовать для определения количества измерений, которые определяют набор измерений и тестируют одномерность каждого измерения согласно [1], [2].

EFA следует использовать для исследования размерности измерительного инструмента путем поиска наименьшего числа доступных для интерпретации факторов, которые необходимы для объяснения взаимосвязей в наборе измерений. Оценка EFA не определяет структуру линейных взаимоотношений между наблюдаемыми переменными и факторами. В EFA структура факторной модели или основополагающая теория неизвестны. Данные используют для идентификации количества факторов и качества измерений. Таким образом, EFA можно рассматривать как метод, способствующий построению теории. Это действительно только для информативных моделей измерений.

CFA непосредственно относится к моделям измерений, т.е. к отношениям между наблюдаемыми измерениями и скрытыми переменными или факторами. В CFA анализ должен определять количество основополагающих факторов на базе теории. CFA обеспечивает оценку эффекта метода и проверку стабильности или вариативности факторной модели стечением времени. Более того, CFA следует проводить до спецификации структурной модели уравнения.

Оценку достоверности и пригодности конструкций применяют только в отношении информативных спецификаций. Существуют различные методы оценки достоверности, такие как повторение теста, альтернативная форма, метод расщепления и внутренняя совместимость (для оценки достоверности следует применять математический аппарат теории надежности) согласно [6]. Эти четыре метода обычно относятся к категориям воспроизводимости (стабильности) и согласованности (равнозначности) в рамках базовых стратегий, используемых для оценки пригодности. Воспроизводимость (стабильность) предполагает, что повторные оценки (в два разных момента времени в отношении одного процесса с применением аналогичного или альтернативного метода тем же оценщиком) должны давать результаты, которые можно считать как идентичными согласно [36]. Оценку следует проводить с использованием методов повторения тестов и альтернативной формы. Согласованность (равнозначность) относится в большей степени к множественным измерениям конструкции в отдельный момент времени, где каждое измерение считается отдельным, но равнозначным согласно фундаментальной концепции. Для измерения такой согласованности следует использовать методы расщепления и внутренней совместимости.

Если оценщикам предоставлены одинаковые свидетельства, как правило им должны быть присвоены аналогичные оценки. Однако на практике оценки являются достаточно субъективными, что делает очень маловероятным полную согласованность оценок во всех случаях. Согласованность оценок (иногда называемая внешней достоверностью оценок) зависит от степени, в которой оценки одного процесса с использованием одних стандартов двумя разными группами оценщиков дают одинаковые результаты. В качестве меры достоверности оценок процессов используют коэффициент Каппа Коэна по [14]. Однако вследствие присущего ему парадокса в оценке процесса предполагается использование индекса наблюдаемого соглашения по [41].

Пригодность конструкции отражает степень точности ее работы при практическом использовании. В настоящем разделе приведены такие факторы пригодности, как внешние признаки, содержимое, предсказательная обоснованность, параллельность, сходимость и дискриминативность. Эти факторы обоснованности могут быть применены к информативным моделям измерений. Такие факторы обоснованности, как поверхность и содержимое, применимы также к формирующим моделям.

Внешние признаки пригодности относятся к измерениям на базе практического применения. С их помощью определяют точность переноса конструкции. В частности, определяется, насколько точно проводимые измерения охватывают нужные темы, а также то, насколько результаты измерений отражают мнение экспертов. Внешние признаки пригодности подразумевают критический обзор измерений после их разработки.

Внешние признаки пригодности проверяю, например, при определении качественных характеристик процесса, свойств процесса, результатов, практических методов и соответствий.

Репрезентативность пригодности определяет, насколько такие измерения как практическое использование описывают конструкцию, обозначаемую скрытой переменной. Репрезентативность пригодности зависит от степени, в которой инструмент измерения отражает определенную область контента с учетом количества и охвата отдельных его измерений. В теоретическом определении конструкции должны быть указаны область и измерения концепции. Для целей определения репрезентативности в ходе проектирования и разработки системы измерения процесса должны точно соблюдаться установленные процедуры.

Для целей определения пригодности критериев сравнивают измерение с какой-либо стандартной переменной, с которой оно было бы связано в случае валидности. Прогнозируемая пригодность рассматривает последующие критерии Y, которые коррелируют с соответствующими измерениями X. Чем выше корреляция между X (например, уровнем) и Y (например, результативностью), тем выше пригодность измерения поданному критерию. Коэффициент пригодности может варьироваться в зависимости от критерия и степени связанной с ним ошибки, даже если характеристики измерения остаются теми же.

Оценку параллельной пригодности проводят путем корреляции измерения с критерием в конкретный момент времени. Разницу между сравнительной и прогнозируемой пригодностью определяют в момент времени, в который проводят оба измерения.

Для целей прогнозируемой или сравнительной пригодности уровень соответствия качественной характеристике процесса должен быть связан с внешним (внешними) измерением (измерениями) согласно 5.1 d). Для примера в качестве теста следует задать вопрос: "Повышает ли увеличение уровня возможностей способность выдерживать утвержденный график?".

Уточненная пригодность отражает степень идентичности результатов, обеспечиваемых различными методами измерений. Каждое отдельное измерение можно рассматривать как отдельный метод оценки одной конструкции. Проводят анализ ответа на вопрос: "Присутствует ли значительная связь между информативными измерениями с соответствующей конструкцией?"

Сравнительная пригодность оценивает степень отличия конструкции и ее измерений от какой-либо другой конструкции и ее измерений. Для обоснованного измерения вариативность должна отражать только ту разницу, которая относится к соответствующей этому измерению скрытой переменной, а не к другим скрытым переменным. Сравнительная пригодность представляет собой набор конструкций, которые оценивают после установления сравнительной пригодности отдельных конструкций. В качестве примера можно привести вопрос о том, в какой степени порядковая шкала уровня возможностей представляет собой отдельную конструкцию.

Подтверждающий тетрадный анализ (CTA) используют для спецификации статистически тестируемой конструкции (информативные или формирующие спецификации). Термин "подтверждающий" предполагает, что модель указана заранее. Термин "тетрадный" относится к разнице между результатом одной пары ковариаций и результатом другой пары согласно [3]. CTA следует использовать для тех моделей, которые не были полностью идентифицированы или вложены и которые не могут быть тестированы обычным способом. Более того, для CTA не требуется числовая минимизация, что дает возможность избежать связанных с ним проблем обобщенности, присущих другим подходам к оценке. CTA может быть проведен с помощью процедуры CTA-SAS согласно [35], [44].

В настоящем приложении приведен обзор методов реализации требований к системам измерения процесса. Неполный список методов представлен в таблице. Фазы процесса определяют шаги разработки системы измерения процесса.