"ГОСТ Р ИСО/МЭК 20741-2019. Национальный стандарт Российской Федерации. Системная и программная инженерия. Руководство для оценки и выбора инструментальных средств программной инженерии"
(утв. и введен в действие Приказом Росстандарта от 18.10.2019 N 1031-ст)

1 ПОДГОТОВЛЕН Акционерным обществом "Всероссийский научно-исследовательский институт сертификации" (АО "ВНИИС") и Обществом с ограниченной ответственностью "Информационно-аналитический вычислительный центр" (ООО ИАВЦ) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 022 "Информационные технологии"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 октября 2019 г. N 1031-ст

4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК 20741:2017 "Системная и программная инженерия. Руководство для оценки и выбора инструментальных средств программной инженерии" (ISO/IEC 20741:2017 "Systems and software engineering - Guideline for the evaluation and selection of software engineering tools", IDT).

ИСО/МЭК 20741 разработан подкомитетом ПК 7 "Проектирование систем и программного обеспечения" Совместного технического комитета СТК 1 "Информационные технологии" Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК)

5 ВВЕДЕН ВПЕРВЫЕ

6 Некоторые положения международного стандарта, указанного в пункте 4, могут являться объектом патентных прав. ИСО и МЭК не несут ответственности за идентификацию подобных патентных прав

В области системной и программной инженерии инструментальные средства программной инженерии представляют собой основную часть вспомогательных технологий, используемых для разработки и обслуживания информационно-технологических систем. Выбор инструментальных средств осуществляется с тщательным учетом как технических, так и управленческих требований.

Целью процесса оценки является получение количественных и сопоставимых результатов по всем альтернативным кандидатам. Окончательный выбор может быть основан на этих результатах. Чтобы быть полезными и принятыми, процессы оценки и выбора инструментальных средств должны помогать как их пользователям, так и поставщикам. Чем более объективными, повторяемыми и беспристрастными являются процессы оценки и выбора, тем более широко они применяются. Информация и руководство, изложенные в настоящем стандарте, призваны привести к более экономичному выбору инструментальных средств и единообразию в описании функций и свойств инструментальных средств программной инженерии.

Для оценки и выбора инструментальных средств программной инженерии необходим набор процессов, поддерживающих процедуру оценки и выбора, перечень возможностей, обеспечивающих область применения функциональных требований, а также перечень характеристик, обеспечивающих область применения нефункциональных требований.

Как правило, оценка и выбор инструментальных средств выполняются в рамках конкретной, целевой области применения инструментальных средств по практическим соображениям для управления областью применения оценки и выбора. Примеры таких областей характеризуют инструментальные средства разработки требований и управления конфигурацией. Перечни возможностей зависят от области применения инструментальных средств, но перечень характеристик и набор процессов оценки и выбора являются более общими для всех областей применения инструментальных средств программной инженерии.

Настоящий стандарт определяет набор процессов и перечень характеристик, которые могут применяться в любых областях применения инструментальных средств программной инженерии. Настоящий стандарт может использоваться вместе с любым стандартом, который определяет перечень возможностей для области применения инструментальных средств.

Так, опубликованы международные стандарты, определяющие перечни возможностей для конкретных областей применения инструментальных средств, такие как ИСО/МЭК 30130 - для инструментальных средств тестирования программных средств, ИСО/МЭК ТО 24766 - для инструментальных средств разработки требований и ИСО/МЭК ТО 18018 - для инструментальных средств управления конфигурацией. Перечни возможностей для других областей программной инженерии могут быть разработаны в виде серии стандартов в соответствии с их приоритетностью.

В настоящем стандарте предполагается, что область применения инструментальных средств определяется перед началом оценки и выбора. Рекомендуется, чтобы решение было основано на ИСО/МЭК 15940, в котором определены услуги программной инженерии для каждой области применения инструментальных средств.

В настоящем стандарте принята общая модель характеристик и подхарактеристик качества программного продукта, которая определена в ИСО/МЭК 25010, и даны дополнительные указания по применению модели, когда программный продукт является инструментальным средством разработки программного обеспечения. Настоящий стандарт также соответствует модели оценки программного продукта, определенной в ИСО/МЭК 25041.

В настоящем стандарте представлены руководящие указания для оценки и выбора инструментальных средств программной инженерии (далее по тексту - инструментальных средств), частично или полностью охватывающие жизненный цикл программной инженерии.

В настоящем стандарте определены процессы и действия, которые должны быть использованы для оценки и выбора наиболее подходящих инструментальных средств из нескольких приемлемых вариантов.

Для выбранных процессов установлены задачи и действия, применимые для оценки и выбора наиболее подходящих инструментальных средств из нескольких приемлемых вариантов.

В настоящем стандарте установлены процессы для оценки и выбора наиболее подходящих инструментальных средств из нескольких приемлемых вариантов.

Поскольку эти процессы являются общими, организации могут адаптировать эти процессы для удовлетворения своих потребностей. Процессы оценки и выбора инструментальных средств можно рассматривать в более широком контексте процесса внедрения технологий в организации.

Настоящий стандарт предоставляет следующее:

a) руководящие указания по определению организационных требований к инструментальным средствам;

b) руководящие указания по сопоставлению этих требований с характеристиками инструментальных средств, подлежащих оценке;

c) процесс выбора наиболее подходящих инструментальных средств из нескольких приемлемых, основанный на измерениях определенных характеристик.

Примечание 1 - Руководящие указания по сопоставлению этих требований с возможностями инструментальных средств не включены в настоящий стандарт, соответствующие положения содержатся в серии стандартов для каждой области приложения конкретных инструментальных средств.

Главными пользователями настоящего стандарта являются организации, имеющие намерения применять инструментальные средства для поддержания процессов жизненного цикла программных средств. Поставщики инструментальных средств также могут использовать настоящий стандарт для описания характеристик своих инструментальных средств программной инженерии.

Настоящий стандарт не применяется:

a) к основам программной инженерии, цель которых заключается в предоставлении механизмов интеграции данных, управления и представления;

b) инструментальным средствам общего назначения (например, текстовым процессорам, электронным таблицам), которые могут использоваться в программной инженерии, а также к средствам очень узкой области или специального назначения (например, компиляторам);

c) планированию внедрения инструментальных средств внутри организации.

Примечание 2 - Пользователь, применяющий настоящий стандарт, может выбрать наилучшее инструментальное средство, однако при этом не будет обладать гарантиями относительно его успешного внедрения.

Методы, определенные в настоящем стандарте, являются полезными не только при выборе инструментальных средств, но и для любого проекта, где вместо разработки нового программного обеспечения могут быть выбраны ГКП или ПООИК.

Соблюдение указаний, представленных в настоящем стандарте, заключается в выполнении действий и задач, которые свойственны определенным процессам оценки и выбора программных средств. Организации, использующие настоящий стандарт в целях торговли, могут указать минимальный набор процессов и связанных с ними действий и задач, подходящих для данного применения инструментальных средств.

В настоящем стандарте нормативные ссылки отсутствуют.

В настоящем стандарте применены следующие термины с соответствующими определениями.

ИСО и МЭК обеспечивают терминологические базы данных стандартизации, которые находятся по следующим ссылкам:

- Электропедия МЭК доступна на сайте: /template/go.php?url=https://www.electropedia.org/

- Платформа онлайн просмотра ИСО доступна на сайте: /template/go.php?url=https://iso.org/obp

3.1 неделимые подхарактеристики (atomic sub-characteristic): Самый низкий уровень подхарактеристик.

Примечание - Оценочные категории наивысшего уровня называются характеристиками. Характеристики обычно разделяются на подхарактеристики. На самом низком уровне, когда последующие деления являются невозможными, характеристики именуются неделимыми подхарактеристиками.

3.2 характеристика (characteristic): Свойство продукта, согласно которому он может быть описан и оценен.

Примечание - Характеристика может быть детализирована на многих уровнях подхарактеристик, которые касаются их способности удовлетворять сформулированным или подразумеваемым потребностям.

3.3

3.4

3.5

3.6 инструментальное средство программной инженерии (software engineering tool): Программный продукт, который помогает специалистам программной инженерии обеспечивать автоматизированную поддержку.

3.7 ранжирование (rating): Действие, направленное на установление значения измерения (оценки) соответствующему уровню ранжирования.

Примечания

1 Используется для определения уровня ранжирования программного средства согласно установленной характеристике качества.

2 Ранжирование и уровни ранжирования могут применяться к иным характеристикам, а не только к характеристикам качества.

3.8 уровень ранжирования (gratin level): Значение на порядковой шкале, которая используется для ранжирования по шкале измерения (оценки).

Примечания

1 Уровень ранжирования позволяет классифицировать (ранжировать) программное средство в соответствии со сформулированными или подразумеваемыми потребностями (см. 8.2).

2 Соответствующие уровни ранжирования могут относиться к разным точкам зрения на качество (например, с точки зрения "Пользователей", "Менеджеров" или "Разработчиков").

В настоящем стандарте использованы следующие сокращения:

СИ - стендовые испытания;

ГКП - готовый коммерческий продукт;

ПООИК - программное обеспечение с открытыми исходными кодами;

ГПИ - графический пользовательский интерфейс.

В настоящем стандарте определены как набор процессов, так и структурированное множество характеристик, используемых для технической оценки и окончательного выбора инструментального средства. Стандарт соответствует модели оценки программного продукта, которая приведена в ИСО/МЭК 25041.

Настоящий стандарт утверждает общую модель характеристик и подхарактеристик качества программного продукта, которая определена в ИСО/МЭК 25010, и применяет их к инструментальному средству программной инженерии; он обеспечивает учет специфики инструментальных средств, как описано в 10.2 - 10.4. Множество характеристик подразделяется далее на три группы: характеристики, связанные с функциональностью использования инструментальных средств, характеристики с общим качеством, а также характеристики, не связанные с качеством.

Примечание - Функциональные возможности инструментальных средств программной инженерии описаны в ряде стандартов для каждой области приложения.

Целью процесса технической оценки является предоставление количественных результатов, на которых основывается окончательный выбор. Измерение определяет количество (или другие данные ранжирования) для атрибутов сущностей. Главное действие заключается в получении результатов измерения для последующего использования при выборе инструментальных средств. Результаты окончательного выбора должны быть объективными, повторяемыми и беспристрастными. Решение указанных задач и достижение достоверности результатов зависят от ресурсов, которые использовались в процессе общей оценки и выбора. Пользователю настоящего стандарта предлагается решить эти проблемы на ранней стадии.

Данный подраздел иллюстрирует общее представление оценки и выбора инструментальных средств по настоящему стандарту, приведенное на рисунке 1. Оценка и выбор инструментальных средств включают в себя четыре основных процесса:

- процесс подготовки;

- процесс структурирования;

- процесс оценки;

- процесс выбора.

На схемах процессов, приведенных на рисунках 1 - 5, прямоугольник с округленными углами обозначает процесс/действие, обычный прямоугольник - результат процесса/действия, а пунктирный прямоугольник - план, предполагаемый каждым процессом без каких-либо ссылок. Кроме того, сплошная стрелка обозначает поток данных, а пунктирная стрелка показывает порядок выполнения перехода между процессами/действиями.

Основной процесс - это структурирование множества требований, помогающих в оценке подходящих инструментальных средств, на которых основываются решения по выбору. Характеристики инструментальных средств, определенные в 10.2 - 10.4, формируют основу для структурирования требований, а также играют главную роль во всем процессе.

В целом существует несколько положений по процессам, которые описаны в настоящем стандарте. Задача таких положений заключается в том, чтобы пользователь настоящего стандарта мог применить их таким образом, чтобы максимально увеличить успешность оценки и выбора инструментальных средств, а также минимизировать затраты и риски.

Настоящий стандарт не навязывает последовательности действий в процессах, описанных выше и в следующих пунктах. Организация должна выбрать соответствующие процессы и действия, необходимые для достижения целей оценки и выбора.

Организация решает, что применять, в какой последовательности и с какой степенью параллельности. Последовательность действий процессов следует документировать в плане проекта по оценке.

Как правило, организации, применяющие настоящий стандарт, стремятся, насколько это возможно, минимизировать затраты всего процесса оценки и выбора, сохраняя при этом уровень усилий, необходимый для выбора наиболее подходящих инструментальных средств для их использования. Эти цели могут быть достигнуты путем сведения к минимуму числа оцениваемых инструментальных средств, минимизации затрат на оценку конкретных инструментальных средств и обеспечения того, чтобы формальность процесса была приемлемой для организации.

Действия, направленные на сбор информации об инструментальных средствах, а также определение возможных вариантов инструментальных средств (см. раздел 9), позволяют пользователю настоящего стандарта эффективно сопоставлять имеющиеся инструментальные средства с потребностями организации и исключать из рассмотрения те средства, которые не удовлетворяют или навряд ли удовлетворят потребностям организации.

Организация может оказаться в состоянии, когда не находит какое-либо инструментальное средство, которое, как представляется, будет в достаточной степени удовлетворять ее потребностям. В таком случае следует пересмотреть заявленные потребности, и если окажется, что они адекватно отражают фактические потребности организации в совершенствовании технологии, то от стандартного процесса оценки и выбора можно будет отказаться. Аналогичным образом, если возможные инструментальные средства представляются несущественными с точки зрения удовлетворения потребностей организации, то уровень детализации и формальности последующих действий должен отражать фактор риска, и организация должна быть готова не выбирать инструментальное средство, если об этом свидетельствует процесс оценки, поскольку типовые затраты на внедрение нового инструмента в оперативное использование окажутся существенными.

Оценка возможных инструментальных средств должна быть выполнена заранее, а ее результаты должны быть пригодны для организации. Такая информация может использоваться для снижения затрат на оценку возможных инструментальных средств.

Примечание 1 - Предыдущие оценки, которые были выполнены на другой версии возможного инструментального средства-кандидата, еще могут оказаться полезными. Аналогичным образом, оценки, учитывающие различные организационные потребности, могут по-прежнему дать полезную информацию.

Настоящий стандарт рекомендует разработку нескольких планов и отчетов, а также их рассмотрение различными сотрудниками организации. Кроме того, необходимы действия для выполнения четырех описанных выше процессов.

Формат и уровень детализации информационных продуктов оставляются на усмотрение организации, как и уровень усилий, необходимых для выполнения действий.

Примечание 2 - Некоторые организации могут потребовать ограничить область применения, детализацию и формальность процессов для того, чтобы настоящий стандарт использовался в условиях существующих ограничений на ресурсы.

В ходе выполнения данного процесса определяются цели и критерии выбора инструментальных средств, а также план проекта по оценке и выбору инструментальных средств.

Определяется набор руководств по выбору инструментальных средств, разрабатывается план проекта. Общее представление процесса подготовки приведено на рисунке 2.

Результаты, полученные после успешного проведения процесса подготовки, включают в себя:

a) задачи для выбора инструментального средства;

b) перечень критериев выбора;

c) план проекта по оценке и выбору инструментальных средств.

Разработка множества реальных целей является первым обязательным действием. В ходе определения целей следует обосновать целесообразность приобретения (почему необходимо приобрести инструментальное средство), а также общую политику приобретения (какой тип инструментального средства приобрести и как это сделать).

Примечание - Действия, связанные с определением цели, которые включают в себя возможность установления критериев выбора, должны быть выполнены как часть других действий до начала официального процесса подготовки к оценке и выбору инструментальных средств.

Важно решить следующие задачи:

a) обосновать целесообразность приобретения:

1) проанализировать текущий процесс разработки программных средств организацией, определяя его завершенность и проблемные области;

2) проанализировать текущее состояние технологий инструментальных средств, а также проследить тенденции последующего использования таких технологий;

3) сравнить существующие практики организации с возможными будущими (при использовании инструментальных средств), а также определить сферы потенциальной выгоды;

b) определить цели и ожидания:

1) определить общие цели (например, повышение производительности, улучшение качества, совершенствование управления процессом);

2) определить ограничения, касающиеся выбора (например, затраты, графики, ресурсы);

3) выразить количественно и классифицировать ожидания (на основе целей);

c) установить общую политику приобретения:

1) определить ограничения на приобретение инструментального средства (например, затраты на внедрение средств, график внедрения и иные ресурсы);

2) разработать альтернативные подходы к внедрению/дополнению инструментальных средств (например, закупка, изменение существующего или разработка нового инструментального средства);

3) оценить возможность реализации разных альтернативных типов инструментальных средств с учетом готовности, технических соображений, эксплуатационных характеристик и ресурсов организации;

4) определить возможное влияние инструментальных средств на организацию, например на сферы, где для эффективного развертывания инструментального средства требуются повышение квалификации и обучение, определенные знания, руководства и техническая поддержка;

5) использовать цели и ожидания, представленные в настоящем стандарте, для того, чтобы управлять последующими действиями всего процесса и в конечном результате утвердить решение по выбору.

Критерии выбора должны быть установлены с учетом целей и ожиданий, разработанных выше.

a) Разделение целей высшего уровня на множество критериев для принятия решения относительно выбора (решение "пригоден-непригоден").

Критерии выбора должны быть объективными и количественными. Каждый критерий должен включать в себя определенный порог, на основе которого в процессе выбора делается главное решение о пригодности или непригодности инструментального средства.

b) Определение относительной значимости критериев выбора.

Примечание 1 - Относительная значимость критериев выбора используется для определения весов характеристик, подхарактеристик инструментального средства и/или возможностей для оценки.

c) Определение уровня детализации и природы выполняемых действий по оценке.

Примечание 2 - Действия по оценке охватывают методы, которые используются для сбора данных (например, ссылка, как с помощью заранее установленных критериев измеряются или собираются данные). Кроме того, такие действия могут основываться на субъективных наблюдениях.

d) Определение сценария оценки/выбора, который необходимо выполнить.

Примечание 3 - Сценарий оценки/выбора определяется как метод, такой, например, как оценка в небольшой команде реального проекта, оценка в экспериментальном пилотном проекте или оценка с помощью каталога инструментальных средств.

Опираясь на цели и критерии выбора, которые определяются для всего процесса оценки и выбора, необходимо создать план проекта и реализовать механизм его контроля. План проекта и механизм контроля должны быть разработаны в соответствии с принятыми в организации процессами планирования и контроля, которые должны содержать следующее:

a) формирование проектной группы с распределением обязанностей.

Умения экспертов влияют на результаты оценки, а также их применимость в пределах организации. Именно с таким подходом стоит выбирать персонал, который будет осуществлять оценку. Уровень умений экспертов будет являться фактором оценивания результатов оценки. Экспертная комиссия должна включать в себя представителей группы пользователей, которые используют инструментальное средство;

b) заранее установленное множество функциональных целей, полученных в результате декомпозиции целей высшего уровня.

Примечание - Например, цель "Не требуется установки инструментального средства для каждого клиента" разделяется на такие функциональные цели, как: "Необходимо работать с определенным веб-браузером" и "Серверная сторона инструментального средства и данные инструментального средства должны быть установлены на сервере собственной внутренней сети";

c) множество руководств выбора: взвешенные критерии выбора, определение уровня детализации и специальные свойства, а также сценарий оценки и выбора;

d) график действий и их задачи наряду с определением требований к ресурсам и затратам.

План проекта, стратегия оценки и затраты должны быть пропорциональны стоимости жизненного цикла и ожидаемой выгоды от оцениваемого инструментального средства;

e) средства мониторинга и контроля за выполнением плана;

f) план проекта и механизм контроля (при наличии) должны обновляться в процессе выполнения проекта.

Поскольку на этапе подготовки создается структура выбора и оценки, в процессе структурирования требования к инструментальному средству собираются от организации пользователя, а детали требований структурируются (см. рисунок 3).

Результаты, полученные после успешной реализации процесса структурирования, включают в себя:

a) организационную информацию;

b) требования к инструментальному средству;

c) структурированные требования к инструментальному средству.

7.3.1.1 Общее представление

В процессе определения требований необходимо собрать требования, касающиеся инструментального средства, которые далее следует объединить в его характеристики. В 10.2 указаны характеристики, относящиеся к функциональности инструментальных средств, в 10.3 - общие характеристики качества программных средств, в 10.4 - перечень характеристик, не связанных с качеством, а в ряде стандартов для каждой области применения определены специальные возможности инструментального средства.

7.3.1.2 Сбор организационной информации

Для того чтобы определить множество детальных требований, которым должно удовлетворять инструментальное средство, необходимо собрать информацию об организации, в том числе:

a) заинтересованность организации в полном финансировании и внедрении инструментального средства;

b) описание действующей среды программной инженерии внутри организации, в том числе данные, которые касаются имеющегося оборудования, операционного программного обеспечения, использования инструментальных средств и облачной среды (например, информация как услуга (IaaS), платформа как услуга (PaaS) или программное обеспечение как услуга (SaaS));

c) типы проектов разработки программных средств организацией, включая их размер, область применения;

d) характеристики и ограничения, касающиеся целевых систем, для которых разрабатываются программные средства;

e) специальное ожидаемое влияние на организацию и усовершенствования со стороны инструментального средства;

f) требования потенциальных и конечных пользователей инструментального средства;

g) применяемые организационные политики закупок;

h) информацию о политиках безопасности при принятии программных средств.

Данная информация является необходимой для того, чтобы обеспечить соответствующую функциональность инструментального средства (средств) внутри организации, а также выполнение организационных требований и требований будущих пользователей.

Примечание - Настоящая информация может быть собрана несколькими способами, включая опросы и ориентированные группы.

7.3.1.3 Идентификация требований

Требования пользователей инструментального средства должны относиться к вопросу, который касается того, что инструментальное средство должно обеспечивать и каково его воздействие на существующую среду. Для того чтобы сформировать перечень требований, необходимо решить следующие задачи:

a) проанализировать требования и найти уровень детализации, для которого требования должны быть определены и оценены;

b) оценить фактическую необходимость в инструментальных средствах, принимая во внимание те проекты, в которых данные средства должны быть использованы с самого начала;

c) определить предпочтительную методологию;

d) определить этапы жизненного цикла, которые необходимо поддерживать (например, планирование, анализ, проектирование);

e) определить необходимые возможности инструментального средства;

f) определить необходимые характеристики, которые касаются функциональности инструментального средства;

g) определить общие необходимые характеристики качества инструментального средства;

h) определить необходимые характеристики, которые не касаются качества инструментального средства;

i) проверить соответствие требований установленным ранее целям.

Примечания

1 Эти требования представляют общий перечень организационных требований. Существует возможность того, что ни одно инструментальное средство не удовлетворит всем требованиям. Однако некоторые инструментальные средства способны удовлетворить большую часть требований, оправдывая таким образом их использование организацией. А это, в свою очередь, поспособствует дальнейшему поиску инструментальных средств, которые удовлетворят оставшимся требованиям.

2 В процессе идентификации необходимых требований в ряде стандартов предлагается выделить возможности каждой области применения инструментального средства. При отсутствии соответствующих стандартов такие возможности должны быть определены в конкретном проекте оценки и выбора.

7.3.1.4 Структурирование требований

Должна быть определена практичность пользовательских потребностей, указанных в 10.2 - 10.4 и ряде стандартов, которые касаются области применения каждого инструментального средства, а также других требований, выдвигаемых организацией. Цель структурирования заключается в организации требований таким образом, чтобы выполнить оценку более эффективно. К задачам, требующим решения, относятся:

a) категоризация требований пользователя относительно понятий, указанных в 10.2 - 10.4 и ряде стандартов по каждой области применения инструментального средства, а также их декомпозицию на детальные спецификации;

b) выбор характеристик и функциональных возможностей, указанных в 10.2 - 10.4 и ряде стандартов по каждой области применения инструментального средства, которые необходимо оценить для определения того, насколько инструментальное средство удовлетворяет требованиям детальных спецификаций;

c) определение весов характеристик и/или возможностей.

Примечание - Веса применяются к рейтингам, определенным в ходе оценки в рамках процесса выбора, и отражают относительную важность соответствующего критерия выбора, определенного в процессе подготовки.

Присвоение весов является субъективной задачей, которая оказывает существенное влияние на результат всего процесса оценки и выбора. Присвоение весов должно отражать как фактические потребности организации, так и способность организации оценивать характеристики (см. приложение B).

В ИСО/МЭК 25051 установлены требования к качеству, применимые к инструментальным средствам, когда они рассматриваются как пакеты программного обеспечения, и с ними следует координироваться в рамках решения задачи структурирования требований. Это обеспечит дополнительные руководящие указания по подмножеству требований к качеству, приведенных в ИСО/МЭК 25010.

Общий поиск возможных инструментальных средств, которые необходимо оценить, проводится с учетом установленных требований и критериев выбора. Действия, направленные на сбор информации и определение возможных инструментальных средств, могут потребовать проведения нескольких циклов поиска, чтобы быстро и точно определить перспективные инструментальные средства для последующей оценки. В случае выявления наиболее перспективных инструментальных средств необходимо провести поиск дополнительной и более детальной информации, которая касается их потенциального приобретения. Эта дополнительная информация может помочь быстрому устранению многих инструментальных средств, позволяя сосредоточить внимание на оставшихся кандидатах. Информация, которую необходимо получить, включает в себя:

a) общую информацию о поставщике (например, историю бизнеса, возможную поддержку, планы и стратегии).

Примечание - Термин "поставщик" применяется к организации, которая поставляет коммерческие инструментальные средства, средства с открытым исходным кодом или облачные сервисы (например, PaaS и SaaS);

b) стратегию разработки конкретной продукции поставщика;

c) затраты на инструментальные средства (например, обслуживание, модификации, обучение персонала);

d) информацию об оборудовании и программном обеспечении, которые необходимы для поддержки инструментального средства;

e) информацию об оборудовании и программном обеспечении, которые необходимы для обеспечения применения приложения/продукции;

f) данные о проведении обучения персонала, которое требуется для эффективного использования инструментального средства;

g) информацию о функциональных возможностях инструментального средства;

h) данные о методологии инструментальных средств и поддержке жизненного цикла;

i) информацию о том, как инструментальное средство сопрягается с внешними системами;

j) количество пользователей, наличие групп пользователей, отзывы об инструментальном средстве;

k) механизм лицензирования средств (например, неисключительная лицензия с ограничениями, многопользовательские лицензии, многоплатформенные лицензии).

Когда определено множество возможных инструментальных средств, следует осуществить выбор окончательных подходящих инструментальных средств-кандидатов (которые будут оцениваться). Для этого решаются следующие задачи:

a) устанавливается множество первоочередных и критических требований, которые должны быть удовлетворены инструментальными средствами;

b) сравниваются функциональные требования пользователя с функциональными возможностями инструментального средства, поддерживающей методологией и системной средой;

c) сравниваются управленческие требования с затратами на инструментальное средство, предоставляемым обучением и поддержкой;

d) анализируется база пользователей инструментального средства, которую имеют поставщики, отзывы пользователей, данные о технической поддержке и истории бизнеса;

e) определяются инструментальные средства, удовлетворяющие достаточному числу высокоприоритетных или критических требований, которые затем становятся окончательными кандидатами для формальной оценки. Результаты, полученные в ходе выполнения предыдущих задач, служат обоснованием для перечня инструментальных средств-кандидатов.

Примечание - Задачи, описанные выше, представляют собой "выбор", позволяющий организации определить наиболее приемлемых кандидатов, учитывая требования организации или способности поставщика. Определение окончательных кандидатов может быть выполнено параллельно со сбором информации об инструментальных средствах или эти действия могут быть повторены. Цель состоит в том, чтобы снизить стоимость оценки, рассматривая только отобранный набор окончательных инструментальных средств-кандидатов в процессе оценки.

Инструментальные средства-кандидаты отбираются в процессе структурирования. Они оцениваются согласно плану оценки с последующим предоставлением результатов (см. рисунок 4). Процесс выбора осуществляется согласно настоящему отчету.

Результатами, полученными после успешной реализации процесса оценки, являются:

a) показатели и ранжирования для оценки;

b) отчет об оценке.

Для того чтобы определить необходимый уровень детализации перед началом процесса оценки, необходима завершающая подготовка. Принимая во внимание перечень инструментальных средств-кандидатов и структурированные требования, необходимо решить следующие задачи:

a) для каждой неделимой подхарактеристики и/или функциональной возможности определить или выбрать один либо несколько показателей, а также определить особенности их применения;

b) задать уровни ранжирования и определить средства, с помощью которых такие уровни формируются и рассчитываются.

Примечание 1 - Оцененному значению (например, средняя величина строки программы на модуль = 274) присваивается предельно допустимое значение (согласно четырем степеням: A, B, C и D). Определяются пути получения уровней ранжирования из измерений (оценок);

c) определить характеристики и/или возможности для оценки, установить, какие из них являются допустимыми, если учитывать ранее установленные уровни ранжирования и особенности использования продукта;

d) определить и составить список всех действий, которые выполняются в процессе оценки.

Примечание 2 - Действия включают в себя подготовку любых наборов данных, необходимых для выполнения оценки, а также получение документации на инструментальное средство. Такие действия являются примером оценки инструментального средства, обеспечения соответствующего обучения специфике использования и практического применения этого средства, фиксации информации о результатах применения инструментального средства и анализа этих результатов.

В некоторых случаях в ходе проведения оценки необходимо выполнить стендовые испытания (СИ). Рекомендуемый подход к СИ включает в себя:

- определение необходимых важных функций инструментального средства;

- определение тестового проекта или типовой программы, которые станут основой для СИ;

- разработку сценария СИ, определение исходных данных и ожидаемых результатов.

Для того чтобы сосредоточиться на действиях по оценке и обеспечить согласованность процесса оценки, следует разработать план оценки, который включает в себя указанную выше информацию.

8.3.2.1 Общее представление

Программное обеспечение оценивается по сравнению с каждой выбранной функциональной характеристикой и/или функциональной возможностью. Оценка - это процесс измерения, ранжирования и анализа.

8.3.2.2 Измерение

Измерения могут основываться на информации, которая получена в результате испытания инструментального средства, или информации, которая получена в ходе выполнения следующих типов задач:

a) изучения документации, предоставляемой поставщиком;

b) изучения исходного кода программы и другой продукции промежуточного назначения (по возможности);

c) опроса фактических пользователей программного обеспечения;

d) визуализации демонстрационной версии программного обеспечения и опроса лиц, демонстрирующих версию;

e) выполнения тестов;

f) применения тестовых проектов;

g) изучения результатов предыдущих оценок (тех, которые выполнялись внутри организации, третьими сторонами, или других видов оценки);

h) выполнения СИ с использованием инструментальных средств-кандидатов и анализ результатов.

Значения измерений могут быть двоичными, основанными на непрерывной шкале (поддающейся количественной оценке), или текстовыми. Существуют как объективные, так и субъективные характеристики.

Примечание - Объективными характеристиками являются характеристики, которые обеспечивают проведение независимого и повторяемого тестирования или измерения. Субъективные характеристики исключают проведение независимого и повторяемого тестирования или измерения (например, соответствие пользовательского интерфейса культуре пользователя).

В случае объективных характеристик оценка должна быть представлена повторяемой процедурой, которая бы позволила другому эксперту получить аналогичные результаты. В ходе проведения оценки (если используются тестовые сценарии) необходимо применять единый предварительно определенный и документально оформленный набор сценариев.

Для субъективных характеристик процедура оценки должна выполняться независимо разными специалистами, которые далее будут обсуждать и согласовывать результаты оценки.

Результаты оценки необходимо, по возможности, зафиксировать в количественной форме, а также предоставить их текстовое подтверждение (при необходимости).

8.3.2.3 Ранжирование

При выполнении задачи ранжирования каждое измеренное значение ранжируется согласно шкале значений, которая определена в плане оценки. Уровни ранжирования формируются непосредственно или вычисляются в соответствии с ранее определенными алгоритмами.

Примечание - Шкала оценок может пересматриваться в том случае, если в ходе оценки требования были пересмотрены.

8.3.2.4 Анализ

Анализ подхарактеристик, характеристик и/или функциональных возможностей выполняется с учетом результатов ранжирования и ранее установленных критериев анализа. Согласно рекомендациям по выбору и плану оценки, расчетные параметры должны быть интегрированы вплоть до верхнего уровня.

Конечные результаты оценки должны быть представлены в отчете об оценке. Один отчет об оценке может охватывать все инструментальные средства, которые были оценены. В качестве альтернативы может быть составлено несколько отчетов об оценке, каждый из которых представляет собой подмножество оцененных инструментальных средств.

Результаты оценки должны быть представлены в терминах наименьшего уровня декомпозиции субхарактеристики и/или возможности. Для каждой подхарактеристики и/или возможности значение измерения должно быть указано в терминах уровня оценки для этого показателя.

Основываясь на результатах самого низкого уровня, должна быть показана последующая интеграция с прояснением метода интеграции: любые используемые веса, агрегированные элементы и уровень, до которого выполняется интеграция. Результатом является профиль, описывающий результаты в терминах оценок для характеристик и/или возможностей, определенных в разделе 7, или в терминах оценок для подхарактеристик и/или возможностей, в зависимости от уровня интеграции.

Если в отчете представлена информация о многих инструментальных средствах, а результаты оценки сравнены с результатами других оценок, стоит обратить внимание на то, чтобы результаты оценки были представлены в едином формате, который облегчит сравнение (например, использование шаблонов). Объективные результаты должны содержать минимальный объем сопроводительного текста. Субъективные результаты должны быть подтверждены текстовой информацией, которая описывает конкретные причины анализа значений.

В процессе выбора определяется его метод и осуществляется выбор с обоснованием в отчете об оценке (см. рисунок 5). Пригодность выбранного инструментального средства проверяется на уровне цели и руководства.

Результатами, полученными после успешной реализации процесса выбора, являются:

a) алгоритм выбора;

b) решение по выбору.

Алгоритм выбора определяет, как перерабатываются и сравниваются с результатами ранжирования каждого инструментального средства-кандидата данные, полученные в процессе проведения разных оценок.

С учетом исходных целей и рекомендаций по выбору определяется множество критериев выбора, а также основы оценки этих критериев. Такое определение основывается на анализе оценок с последующей интеграцией, который описан в 8.3.3.

В случае когда критерии выбора и/или ранжирования являются неприемлемыми, их необходимо изменить.

Алгоритм дальнейшей интеграции результатов, сравнения инструментальных средств-кандидатов и вынесения решения определяется далее. Положения, касающиеся алгоритмов выбора, приведены в приложении A.

Алгоритм выбора использует результаты оценки в качестве исходных данных. Информация, касающаяся инструментальных средств-кандидатов, является выходным результатом. Результаты оценки каждого инструментального средства являются техническим выводом по каждой характеристике инструментального средства, который сформирован до уровня, указанного в алгоритме выбора (обычно уровень характеристики). Алгоритм выбора комбинирует результаты оценок для разных инструментальных средств, обеспечивает их сравнение для использования специалистами, принимающими решение.

В случае использования алгоритма выбора можно принять решение относительно приобретения инструментального средства или набора средств. Это управленческое решение основывается на дополнительных управленческих критериях, а также техническом сравнении средств, представленном выше.

В таком решении следует показать, что для последующего выбора представлены наиболее подходящие инструментальные средства-кандидаты. В качестве альтернативы анализ результатов оценки может свидетельствовать о необходимости получения дополнительной информации. В этом случае некоторые предыдущие действия могут быть повторены.

Решение о выборе должно содержать обоснование, суммирующее информацию и логику, которые привели к выбору.

Последним действием всего процесса оценки и выбора должна стать проверка (валидация) рекомендуемого выбора. Исходные цели и рекомендации по выбору должны быть изучены и сопоставлены с результатами оценки и другими данными, которые касаются рекомендуемого выбора. Проверку необходимо проводить, чтобы убедиться в том, что если рекомендации принимаются, то цели высшего уровня (или их большая часть) будут удовлетворены. Может оказаться, что подходящего инструментального средства нет. В таком случае, выбор должен быть сделан между разработкой нового средства, модификацией существующего (внутри или вне организации-пользователя) или прекращением проведения процесса оценки и выбора.

Оценка и ранжирование определяются в процессе структурирования с использованием характеристик и функциональных возможностей, упомянутых в данном разделе.

Потребности пользователя, которые управляют каким-либо процессом оценки и/или выбора, основаны на характеристиках и подхарактеристиках, приведенных ниже, и возможностях, описанных в любом специальном стандарте из заданной области, который определяет перечень возможностей для области инструментального средства. С учетом потребности пользователей оценки и сравнения должны производиться на основании широкого, общего и почти полного набора характеристик и/или возможностей. Требуются действия по структурированию для преобразования множества потребностей, первоначально определенных пользователем, в условия, указанные в настоящем разделе, а также в конкретном стандарте из заданной области применения инструментального средства.

Основные категории оценки высшего уровня называются характеристиками и/или возможностями. Каждая характеристика подразделяется на подхарактеристики. Подхарактеристики могут быть дополнительно подразделены на подхарактеристики более низшего уровня. Подхарактеристики низшего уровня называются неделимыми подхарактеристиками. Неделимые подхарактеристики, указанные в 10.2 - 10.4, определяются с точки зрения их атрибутов; каждой из них присваивается значение в процессе оценки на основе одного или нескольких значений (см. 8.2). Каждой возможности, определенной в последующей части данного стандарта, также присваивается значение в процессе оценки на основе одного или нескольких значений (см. 8.2).

Маловероятно, что какому-то пользователю настоящего стандарта потребуется использовать все приведенные ниже неделимые подхарактеристики; пользователи должны выбирать только те подхарактеристики, которые соответствуют требованиям их организации. Имеют место случаи, когда дополнительные потребности или характеристики, специфичные для конкретной оценки или выбора, должны быть добавлены к перечисленным ниже; в некотором смысле перечисленные ниже неделимые подхарактеристики могут рассматриваться в качестве ориентировочного списка, который следует дополнять по мере необходимости.

Подхарактеристикам значения присваиваются путем интеграции значений их компонентных подхарактеристик, взвешенных в соответствии с планом оценки. Данная задача интеграции продолжается до тех пор, пока не будут достигнуты уровни интеграции, предусмотренные в плане оценки. Затем алгоритм выбора используется для комбинации результатов оценки различных инструментальных средств для сравнения и принятия решения.

Следующие характеристики относятся к инструментальному средству с его средой и проектами, в которых оно используется для поддержки.

Перечень неделимых подхарактеристик, касающихся связи между инструментальным средством и средой его функционирования, приведен в таблице 1.

Множество неделимых подхарактеристик, имеющих отношение к способности инструментального средства к интеграции и обеспечению интероперабельности с другими элементами в своей среде функционирования, приведено в таблице 2. Оценка и выбор инструментальных средств выполняются в контексте среды программной инженерии, в которой используются инструментальные средства.

Примечание - Примеры других элементов среды включают в себя те элементы, которые приведены в аппаратной и программной среде вышеупомянутого инструментального средства.

Перечень неделимых подхарактеристик, касающихся связи между инструментальным средством и проектами, в которых они используются, включая среду их продуктов и характеристики этих продуктов, приведен в таблице 3.

Следующие характеристики описывают качество инструментального средства в соответствии с ИСО/МЭК 25010.

Примечание - Дальнейшие рекомендации по оценке подхарактеристик в данном разделе приведены в ИСО/МЭК 25051.

Функциональное соответствие - это степень, до которой продукт или система обеспечивают функции, соответствующие заявленным и подразумеваемым потребностям при использовании в определенных условиях. Неделимые подхарактеристики функционального соответствия приведены в таблице 4.

Уровень производительности - это производительность относительно суммы использованных при определенных условиях ресурсов. Неделимые подхарактеристики уровня производительности приведены в таблице 5.

Примечание - Ресурсы могут включать в себя другие программные продукты, конфигурацию программного и аппаратного обеспечения системы и материалы (например, бумагу для печати, носители).

Совместимость - это способность продукта, системы или компонента обмениваться информацией с другими продуктами, системами или компонентами и/или выполнять требуемые функции при совместном использовании одних и тех же аппаратных средств или программной среды. Неделимые подхарактеристики совместимости приведены в таблице 6.

Примечание - Адаптировано из ISO/IEC/IEEE 24765.

Удобство использования - это степень, в которой продукт или система могут быть использованы определенными пользователями для достижения конкретных целей с эффективностью, результативностью и удовлетворенностью в заданном контексте использования. Неделимые подхарактеристики практичности приведены в таблице 7.

Примечания

1 Адаптировано из ИСО 9241-210.

2 Удобство использования может быть задано или измерено как характеристика качества продукта в терминах ее подхарактеристик, либо задано, либо измерено непосредственно показателями, которые составляют подмножество качества при использовании.

Надежность - это степень выполнения системой, продуктом или компонентом определенных функций при указанных условиях в течение установленного периода времени. Неделимые подхарактеристики надежности приведены в таблице 8.

Примечания

1 Это определение адаптировано из ISO/IEC/IEEE 24765.

2 В программном обеспечении износы не происходят. Проблемы с надежностью возникают из-за недостатков в требованиях, при разработке и реализации или из-за изменений условий использования.

3 Характеристики функциональной надежности программного обеспечения включают в себя готовность и либо присущие ей, либо внешние влияющие факторы, такие как надежность и доступность (включая отказоустойчивость и восстанавливаемость), безопасность (включая обеспечение конфиденциальности и целостность), пригодность для обслуживания, долговечность и техническую поддержку.

Защищенность - это степень защищенности информации и данных, обеспечиваемая продуктом или системой путем ограничения доступа людей, других продуктов или систем к данным в соответствии с типами и уровнями авторизации. Неделимые подхарактеристики безопасности приведены в таблице 9.

Примечания

1 Защищенность применима также к данным при передаче в случаях, когда данные сохраняются непосредственно в продукте или системе или вне их.

2 Жизнестойкость (степень, в которой продукт или система продолжают выполнять свою миссию, предоставляя основные услуги своевременно, несмотря на присутствие атак) обеспечивается восстанавливаемостью.

3 Защищенность, иммунитет (степень устойчивости продукта или системы к атакам) обеспечивается целостностью.

4 Защищенность вносит свой вклад в доверие.

Сопровождаемость - это результативность и эффективность, с которыми продукт или система могут быть модифицированы предполагаемыми специалистами по обслуживанию. Неделимые подхарактеристики сопровождаемости приведены в таблице 10.

Примечания

1 Модификация может включать в себя исправления, улучшения или адаптацию программного обеспечения к изменениям в условиях использования, в требованиях и функциональных спецификациях. Модификации могут быть выполнены как специализированным техническим персоналом, так и рабочим или операционным персоналом и конечными пользователями.

2 Сопровождаемость включает в себя установку разного рода обновлений.

3 Сопровождаемость можно интерпретировать либо как присущее продукту или системе свойство, упрощающее процесс обслуживания, либо как качество при использовании, проверенное на практике специалистами по обслуживанию в целях поддержки продукта или системы.

Переносимость - это степень простоты эффективного и рационального переноса системы, продукта или компонента из одной среды (аппаратных средств, программного обеспечения, операционных условий или условий использования) в другую. Неделимые подхарактеристики переносимости приведены в таблице 11.

Примечания

1 Это определение адаптировано из ISO/IEC/IEEE 24765.

2 Переносимость можно интерпретировать либо как присущее продукту или системе свойство продукта или системы, упрощающее процесс переноса, либо как качество при использовании, предназначенное для переноса продукта или системы.

Следующие характеристики носят общий характер и касаются как самого инструментального средства, так и его разработчика и/или поставщика.

Перечень неделимых подхарактеристик, относящихся к процессу приобретения, необходимого в случае выбора инструментального средства для применения, приведен в таблице 12.

Перечень неделимых подхарактеристик, относящихся к доставке, установке и эксплуатации инструментального средства, приведен в таблице 13.

Перечень неделимых подхарактеристик, относящихся к способности поставщика обеспечить поддержку инструментальному средству, приведен в таблице 14.

Перечень неделимых подхарактеристик, относящихся к оценке или сертификации разработчика или продукта, приведен в таблице 15.

Важной частью процесса выбора является применение определенного алгоритма к результатам оценки. Алгоритмы, используемые организациями, значительно различаются. Процессы выбора основываются на некоторых присвоениях весов характеристикам и последующей интеграции полученных рейтинговых оценок с использованием некоторых алгоритмов.

Веса, присваиваемые подхарактеристикам и характеристикам, должны отражать фактические потребности организации. Если присвоение весов отражает мнение отдельных предпочтений некоторых лиц, а не фактические потребности организации, имеет место высокий риск того, что выбранное инструментальное средство не будет успешно освоено.

Для того чтобы оценка давала полезную информацию для процесса выбора, весовые коэффициенты должны отражать отличия между инструментальными средствами-кандидатами в тех случаях, когда эти средства существенно различаются в удовлетворении потребностей конкретной организации. Опыт показывает, что характеристики, которые трудно оценить организации (например, отсутствие доступа к данным, нехватка ресурсов), как правило, приводят к очень узкому диапазону оценок для инструментальных средств-кандидатов. Например, если организация не в состоянии критически оценить какую-либо характеристику, например надежность, кандидатам скорее всего присваиваются рейтинги в узком диапазоне (например, от 3,0 до 3,5 из 4). Чем выше вес, присвоенный такой характеристике, тем меньше разброс между взвешенными оценками и, следовательно, тем меньше процесс способен различать инструментальные средства.

Таким образом, пользователь настоящего стандарта должен присваивать наивысшее значение тем характеристикам, которые отражают фактические потребности организации и могут быть оценены с некоторой степенью детальности.

Существует несколько общих подходов к алгоритмам выбора.

- Организация может использовать алгоритм, который приводит к единому рейтингу для каждого потенциально возможного инструментального средства, а затем сравнивает рейтинги.

- Организация может устанавливать верхний и нижний пороги, в пределы которых попадает рейтинг инструментального средства.

- Организация может сделать выбор на основе профиля каждого инструментального средства и использования управленческого решения.

Ниже приведены примеры нескольких типичных подходов.

Обычно используемые алгоритмы включают в себя алгоритмы, основанные на затратах, алгоритмы на основе оценок и алгоритмы ранжирования. Ниже приведены рассуждения и примеры применения алгоритмов. У каждого подхода имеются свои преимущества и недостатки, никаких рекомендаций не приводится. Организации, желающие получить достоверную оценку и процесс выбора, должны применять алгоритм, обладающий достаточными ресурсами для реализации и подходящий для каждого конкретного случая.

Данные алгоритмы определяют некоторый минимально приемлемый уровень возможностей (основанный на потребностях) и определяют все инструментальные средства, обеспечивающие данную возможность. Затем приемлемые инструментальные средства оцениваются по стоимости. Предположительно рекомендуется использовать самое дешевое приемлемое инструментальное средство. Такой подход иногда регулируется инструкциями по закупкам организации.

Сторонники подхода, основанного на затратах, обычно ссылаются на простоту применения, очевидную равнодоступность (более объективно) и низкие конечные затраты по рекомендованному инструментальному средству. Противники данного подхода часто не согласны с тем, что точное определение реальных требований пользователей очень сложное и представляет собой серьезный риск. Другие замечания заключаются в том, что данный подход не чувствителен к плюсам и минусам рентабельности. То есть инструментальное средство с низкой стоимостью отвечает минимальным требованиям, но инструментальное средство, которое несколько дороже, может обеспечить значительно более высокий уровень производительности, превысив минимальные требования, что приведет к лучшим общим результатам в долгосрочной перспективе.

Организация решает, что она хочет предоставить своим разработчикам программного обеспечения детальное инструментальное средство проектирования, позволяющее своим пользователям вводить проектные данные, а затем создает словарь данных, определенные конкретные схемы и диаграммы и выполняет ряд проверок согласованности и полноты (все четко прописано). Инструментальное средство, которое нужно приобрести, работает в конкретной аппаратной/программной среде. Организация определяет все потенциально подходящие инструментальные средства, работающие в желаемой среде и гарантирующие предоставление необходимых возможностей. Она получает пробные копии потенциально инструментальных средств-кандидатов и назначает оценочный персонал для проверки того, что данные инструментальные средства действительно предоставляют требуемые продукты удовлетворительным образом. Затем вычисляются затраты каждого потенциально подходящего инструментального средства. Это организация рассматривает как "стоимость", включающую в себя цену покупки, пятилетнее обслуживание и обновление, документацию, первоначальную установку и обучение. В итоге приобретается инструментальное средство, обладающее самой низкой стоимостью.

Алгоритмы оценки и ранжирования очень похожи в том, что для каждого случая одно значение для каждого инструментального средства вычисляется путем умножения веса, заданного каждому пользователю, на некоторое число и добавления этих продуктов. В случае алгоритма, основанного на оценке, взвешенное число представляет собой оценку того, насколько хорошо инструментальное средство удовлетворяет потребности пользователя, в соответствии с некоторой предопределенной шкалой (например, 4 по шкале от 1 до 5). В случае рангового алгоритма взвешенное число представляет собой порядковый ранг того, насколько хорошо это инструментальное средство удовлетворяет потребности по сравнению с другими рассматриваемыми инструментальными средствами (например, второй является лучшим из пяти кандидатов). Основанные на оценке алгоритмы пытаются обеспечить абсолютную меру каждого оцененного инструментального средства, и сами инструментальные средства могут быть оценены индивидуально. Рекомендуется использовать инструментальное средство с самым высоким баллом. Ранговые алгоритмы пытаются обеспечить относительные меры многих инструментальных средств. Инструментальные средства не могут быть оценены индивидуально, и результат для данного средства зависит от набора конкурирующих оцениваемых инструментальных средств. Рекомендуется инструментальное средство с самым низким баллом.

При сравнении балльных и ранговых алгоритмов с алгоритмами, основанными на затратах, сторонники балльных и ранговых алгоритмов утверждают, что эти алгоритмы более чувствительны к потребностям пользователей инструментальных средств, а именно: оценки, как правило, менее функциональны и носят более качественный характер по своей природе и часто выполняются будущими пользователями. Они также утверждают, что эти подходы более чувствительны к диапазонам возможностей (по сравнению с минимальными возможностями) и поэтому поддаются анализу по критериям "затраты/выгоды" и повышения производительности.

Сторонники затратных подходов часто выступают против балльных и ранговых алгоритмов, утверждая, что оценки становятся гораздо более дорогими и субъективными. Они утверждают, что оценщики позволяют своим личным предубеждениям направлять присвоение оценок или рангов, утверждая, что оценщики сначала решают, какое средство выбрать (на основе субъективных характеристик), а затем назначают оценки или ранги, которые оправдывают их предыдущие решения. Они также утверждают, что большая часть дополнительной информации, обычно предоставляемой в оценках, основанных на баллах и рангах, является показной; на практике, когда веса применяются и значения от многих потребностей пользователей объединяются, результаты обычно очень близки, и различия в оценках, которые получены, несколько субъективны.

При сравнении алгоритмов на основе оценок с алгоритмами на основе рангов сторонники алгоритмов на основе оценок указывают, что алгоритмы на основе оценок обеспечивают "абсолютную" меру качества инструментального средства и независимы от других инструментальных средств, в частности от конкретного набора других кандидатов. Они определяют в качестве преимущества то, что анализы на основе оценок могут проводиться независимо друг от друга с использованием наиболее подходящего персонала, ресурсов и графиков. Сторонники ранговых подходов возражают, утверждая, что оценка инструментальных средств в вакууме бессмысленна и что, когда организация оценивает их с неизбежностью покупки, требуется прямое сравнение между инструментальными средствами и независимость не является преимуществом. Они также указывают на то, что, хотя для проведения оценок на основе рангов требуется один и тот же персонал, для оценки всех инструментальных средств-кандидатов различным специалистам по оценке очень трудно последовательно применять одни и те же оценочные характеристики. Оценка инструментального средства является функцией оценщиков, а не внутренним качеством инструментального средства.

Агентства по тестированию потребительских товаров часто предоставляют результаты в виде профиля каждого продукта-кандидата. В контексте инструментальных средств программной инженерии оцениваются характеристики, имеющие важное значение для пользователя, и результаты, вводимые в процесс выбора. Конкретное объединение этих частичных результатов не производится. Лицо, осуществляющее выбор, рассматривает профиль и делает выбор на основе суждения об относительной важности различных характеристик для организации.

Существует множество дополнительных алгоритмов выбора, разработанных в научной среде. Они могут применяться, когда это необходимо для организации. Эти алгоритмы особенно полезны, когда организация сталкивается с данными оценки, являющимися нечеткими или разреженными, и испытывает трудности с объединением точек зрения нескольких оценщиков и/или лиц, осуществляющих выбор; среди таких алгоритмов можно указать:

- алгоритм Борда (Блек, 1958 г.; Фишберн, 1973 г.) - сумма ранговых алгоритмов;

- алгоритм Кондорсе (Блек, 1958 г.; Фишберн, 1973 г.) - алгоритм парного сравнения;

- алгоритм Доджсона (Блек, 1958 г.; Фишберн, 1973 г.) - алгоритм измерения предпочтений;

- алгоритм Фишберна (Фишберн, 1973 г.) - алгоритм упорядочения предпочтений;

- лексикографический алгоритм - алгоритм сравнения критериев;

- метод анализа иерархий (Саати, 1980 г.) - структурный алгоритм.

Алгоритмы, рассмотренные выше, основаны на количественных оценках. Другим подходом является подход, основанный на качественном анализе, отсылающий к так называемой приземленной теории. Вместо того чтобы начинать с установления требований, подлежащих удовлетворению, и критериев, подлежащих определению, данный подход начинается с изучения опыта до настоящего времени, например с обсуждения с пользователями инструментальных средств их опыта использования технологий в программной инженерии в качестве отправной точки. В число важных источников входят:

- Глассер и Штраус "Открытие приземленной теории, стратегии качественного исследования", Олдин, Нью-Йорк, 1967 г.;

- Бабкоко, Янис А. мл. "К хранилищу корпоративных знаний", SYSLAB Отчет N 91-023, 1991 г.

Отчет об оценке должен содержать как минимум следующую информацию:

- название инструментального средства;

- номер версии инструментального средства;

- информацию о поставщике;

- конфигурацию хоста;

- тестовые элементы;

- предпосылки, при необходимости;

- часть(и) жизненного цикла, для которой предназначено инструментальное средство;

- тип программной модели, на которой основано инструментальное средство (например, водопадная модель, спиральная модель);

- описание среды инструментального средства (например, поддерживаемый язык(и) программирования, поддерживаемый метод, операционные системы, возможные конфигурации, конфигурация при оценке, минимальная конфигурация, совместимость с базой данных);

- программное обеспечение других поставщиков, необходимое для среды;

- функции инструментального средства;

- структуру ввода/вывода;

- информацию о потенциальных пользователях.

В отчете следует отразить конкретные действия и задачи в процессе оценки в деталях, необходимые для того, чтобы позволить читателю понять объем и глубину оценки и повторить ее, если это необходимо.

Результаты оценки должны быть представлены с точки зрения самого низкого уровня декомпозиции подхарактеристик (обычно неделимых подхарактеристик). Для каждой подхарактеристики измеренное значение должно указываться в терминах рейтингового уровня оценки для данного измерения.

На основе результатов самого низкого уровня следует показать любое объединение, чтобы четко определить метод интеграции: используемые веса, агрегируемые элементы и уровень, на котором выполняется интеграция. Результатом является профиль, описывающий результаты оценки в терминах оценочных значений для характеристик и подхарактеристик в зависимости от уровня агрегирования.

В тех случаях, когда отчет охватывает несколько инструментальных средств или когда результаты оценки сравниваются с результатами других оценок, следует позаботиться о том, чтобы результаты представлялись в едином формате, облегчающем сравнение (например, с использованием шаблонов). Объективные результаты должны быть представлены с минимальным сопроводительным текстом. Субъективные результаты должны подкрепляться текстом с описанием конкретных причин присвоения весов.

Примечание - Указанная выше информация может быть организована следующим образом:

- процесс оценки;

- цели, критерии, оцениваемые инструментальные средства;

- инструментальные средства для измерения (оценки);

- информация об инструментальном средстве (средствах);

- сценарий тестирования;

- результаты тестирования и оценка.

--------------------------------

<1> Изъято.