Полное меню
- Актуальное
законодательство - Интернет
и право- - Рассылка ''Закон есть закон''
- - Форум сайта (архив)
- - Законодательство
- - Судебная практика (необычная)
- - Судебная практика (авторская)
- - Процедура UDRP и и решения WIPO
- - Книги серии ''Интернет и Право''
- - Книги в открытом доступе
- - Учебный курс ''Интернет и Право''
- - Учебный курс ''Доменные споры''
- - Литература по ''Интернет и Право''
- - Литература по интел. собственности
- - Научный уголок (работы гостей)
- - Авторские публикации
- Информационные
материалы - ЮРИДИЧЕСКИЕ
УСЛУГИ- - Перечень юридических услуг
- - Карта юридических услуг
- - Юридическая консультация
- - Доменные споры (RU), авторское право
- - Международный суд по доменам (COM)
- - Защита прав на маркетплейсе (WB, Ozon)
- - Защита прав в соцсетях (Vk, Ok, FB)
- - Купля-продажа домена, сайта, ПО
- - Досудебное урегулирование конфликта
- - Защита чести и деловой репутации
- - Отмена блокировки сайта/домена РКН
- - ФАС: товарные знаки, авторское право
- - Регистрация ПО/сайта (Роспатент)
- - Юридическая проверка домена
- - Нотариальное заверение сайтов
- - Способы и формы оплаты услуг
- - Мы в СМИ
- - О компании, клиенты
- - Наши дела и победы
- - Контакты и реквизиты
- Информация
о сайте -
ОписаниеИсточник публикации М., 2005 Примечание к документу Документ утратил силу в связи с введением в действие МИ 2955-2010, утв. ФГУП "ВНИИМС" 24.05.2010. Название документа "МИ 2955-2005. Рекомендация. Государственная система обеспечения единства измерений. Типовая методика аттестации программного обеспечения средств измерений и порядок ее проведения" (утв. ФГУП ВНИИМС 17.11.2005) "МИ 2955-2005. Рекомендация. Государственная система обеспечения единства измерений. Типовая методика аттестации программного обеспечения средств измерений и порядок ее проведения"
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Низкая жесткость | Средняя жесткость | Высокая жесткость |
1 | 2 | 3 |
1. Проверка документации | 1. Проверка документации | 1. Проверка документации |
2. Проверка разделения ПО и наличия защищенных интерфейсов (на основе анализа документации) | 2. Проверка разделения ПО и наличия защищенных интерфейсов (на основе анализа документации и с использованием программных средств) | 2. Проверка разделения ПО и наличия защищенных интерфейсов (с использованием программных средств, в том числе на основе анализа исходного кода) |
3. Проверка соответствия утвержденному типу (на основе анализа документации) | 3. Проверка соответствия утвержденному типу (идентификация) (на основе анализа документации и с использованием программных средств) | 3. Проверка соответствия утвержденному типу (идентификация) (на основе анализа документации и с использованием программных средств, в том числе на основе анализа исходного кода) |
4. Испытание (тестирование) функций ПО (с использованием аппаратных и программных средств) | 4. Испытание (тестирование) ПО с целью установления правильности функционирования и определения его свойств и характеристик, в том числе тестирование обработки данных (с использованием аппаратных и программных средств) | 4. Испытание (тестирование) ПО с целью установления правильности функционирования и определения его свойств и характеристик и тестирование обработки данных (с использованием аппаратных и программных средств, в том числе на основе анализа исходного кода) |
5. Установление степени защищенности ПО и данных (на основе анализа документации) | 5. Тестирование защищенности ПО и данных (с использованием программных средств) | 5. Тестирование защищенности ПО и данных (с использованием программных средств, в том числе на основе анализа исходного кода) |
Примечание. Высокая жесткость испытаний с использованием анализа исходного кода применяется в тех случаях, когда имеют дело с ПО сложных и ответственных измерительных систем, в том числе систем, используемых при коммерческих расчетах, или когда к таким системам предъявляются исключительные требования по безопасности их функционирования. В обычных случаях ограничиваются низкой и средней жесткостью испытаний, при которых тестирование ПО осуществляется методом "черного ящика".
5.1.4.3. Определяются методы испытаний в соответствии с установленной жесткостью испытаний, которые должны найти отражение в тестовых заданиях.
5.1.4.4. Составляются тестовые задания с учетом того, что эти задания и/или исходные данные для их формирования, а также методы их выполнения должны обеспечить проверку всех основных режимов функционирования испытываемого (тестируемого) ПО, а также его соответствие требованиям нормативной документации (п. 2).
5.1.4.5. Тестовые задания разрабатываются с учетом установленных видов испытаний (пп. 3.3, 3.4 и 5.1.4.2), руководства пользователя, а также другой необходимой технической документации, представляемой на аттестацию. Каждому требованию и/или контролируемой функции должно соответствовать не менее одного тестового задания.
5.1.4.6. В тестовых заданиях определяются контролируемые свойства, параметры и характеристики ПО, методы испытаний тестируемого ПО, необходимые для этого исходные данные, программные продукты, с которыми сравниваются результаты, получаемые в процессе испытаний (эталонное ПО), а также критерии, позволяющие производить оценку характеристик тестируемого ПО.
5.1.4.7. Описывается последовательность действий при проведении процедуры испытаний (тестирования) в соответствии с установленной жесткостью испытаний и перечнем разработанных тестовых заданий.
5.1.5. Результаты испытаний ПО признаются положительными, если:
- программа соответствует функциональным возможностям, описанным в документации, и выполняет в рамках тестовых заданий все функции, декларируемые в документации;
- полученные значения параметров и характеристик программы при выполнении всех тестовых заданий удовлетворяют установленным критериям или находятся в допустимых пределах отклонений от них;
- в программе реализованы необходимые методы защиты и идентификации в соответствии с требованиями;
- программная документация соответствует требованиям нормативных документов (п. 2).
5.1.6. Если в процессе выполнения какого-либо из тестовых заданий произойдет отказ программы, ее "зависание" или искажение результатов, то данное тестовое задание может быть модифицировано для подтверждения ошибки функционирования и повторено. Выявленные ошибки фиксируются в протоколе испытаний.
5.1.7. По результатам испытаний ПО СИ составляется акт о результатах его исследования (тестирования) (пп. 4.14, 4.15), неотъемлемой частью которого является протокол испытаний, подписанный непосредственными исполнителями испытаний (тестирования) (Приложение 4).
5.1.8. Дальнейшие разделы рекомендации конкретизируют виды испытаний (тестирования), приведенные в п. 5.1.4.2.
5.2.1. Представление всей необходимой документации на аттестацию в соответствии с требованиями рекомендации МИ 2891, а также стандартов ГОСТ Р ИСО/МЭК 12119 и ГОСТ Р ИСО 9127 является необходимым условием ее проведения.
Рекомендуемые виды проверки документации применяются при всех степенях жесткости испытаний.
5.2.2. В соответствии с требованиями указанных нормативных документов проверяется наличие, достаточность и правильность представленной документации. При этом проверяются следующие разделы документации:
5.2.2.1. Описание структуры ПО и последовательности обработки данных.
Структура ПО может быть представлена в виде одного или нескольких взаимосвязанных модулей, реализующих функции ПО, с учетом разделения ПО. Описание структуры ПО может быть осуществлено в графическом виде с пояснениями и/или в текстовой форме.
Описание каждого модуля ПО должно включать:
- наименование модуля;
- функции, реализуемые модулем, и реализованные в модуле алгоритмы;
- данные, используемые и/или изменяемые модулем;
- названия связанных (вызываемых) модулей.
Проверяется описание всех входных и выходных данных, последовательность обработки входных данных в структуре ПО и других программно-аппаратных компонентах системы.
Данный раздел документации должен содержать информацию о методе связи (интерфейсе) СИ и ПО, о данных, получаемых от и передаваемых в СИ программным обеспечением, описание всех аппаратных и программных компонент СИ, а также описание исполняемых файлов (название, размер в мегабайтах).
5.2.2.2. Описание всех выполняемых функций и параметров ПО, с учетом выделения частей, подлежащих метрологическому контролю (аттестации) с внесением контролируемых функций и параметров в отдельный список.
Для всех функций ПО должны быть описаны входные и выходные данные, а также результат выполнения.
5.2.2.3. Описание реализованных в ПО расчетных алгоритмов, а также их блок-схемы.
Должны быть приведены описания или логические схемы алгоритмов, функции, реализуемые алгоритмами в ПО, а также все величины, рассчитываемые с их помощью, и их формулы, данные о степени округления при расчетах (точность алгоритмов).
5.2.2.4. Описание интерфейсов, меню, диалогов и перечень команд для каждого интерфейса, включая заявление об их полноте, а также список, значение и действие всех команд, получаемых от клавиатуры, мыши и других устройств ввода.
5.2.2.5. Описание реализованного метода идентификации ПО.
Проверяется наличие информации о методе (алгоритме) идентификации ПО, способах идентификации ПО в соответствии с реализованным методом, о системе кодификации номера версии.
5.2.2.6. Описание реализованных методов защиты ПО и данных.
Проверяется описание реализованных методов (авторизация пользователя, журнал событий, кодирование данных и т.д.) защиты ПО и данных от недопустимых изменений и искажений, а также наличие сообщений об ошибках.
Примечания.
1. Некоторые требования к документации в МИ 2891-04 охватывают требования, приведенные в стандартах ГОСТ Р ИСО/МЭК 12119-2000, ГОСТ Р ИСО 9127-94. Поэтому при проверке соответствия документации указанным стандартам проверяются те требования к документации ПО, которые не регламентируются МИ 2891-04.
2. Вся документация ПО проверяется на однозначность понимания и непротиворечивость.
5.2.3. Все данные, в том числе выявленные несоответствия, полученные при анализе документации ПО, заносятся в протоколы испытаний.
5.2.4. Перечень документов, сопровождающих ПО, объем и методы проверки документации могут корректироваться соглашением между исполнителем и заказчиком аттестации ПО.
Под проверкой структуры ПО понимается проверка правильности выделения его частей, подлежащих метрологическому контролю (аттестации), а также проверка наличия и правильности функционирования защищенных интерфейсов.
5.3.1. Проверка правильности разделения ПО.
5.3.1.1. При низкой и средней жесткости испытаний правильность разделения ПО проверяется посредством анализа документации, представленной заявителем аттестации, а также с помощью программных средств.
Все функции и параметры ПО, которые используются при обработке результатов измерений, влияют на них или используются во вспомогательных функциях, должны быть отнесены к части ПО, подлежащей метрологическому контролю (аттестации).
На основе документации устанавливается реализованный метод разделения ПО или отсутствие разделения.
5.3.1.2. Проверяются сведения о наличии защищенного интерфейса между частями ПО, подлежащими и не подлежащими метрологическому контролю (аттестации).
5.3.1.3. В случае отсутствия разделения, все ПО подлежит метрологическому контролю (аттестации), однако документация (см. п. 5.2.2.2) должна содержать перечень функций и параметров, относящихся к контролируемым. Этот перечень функций и параметров также подлежит проверке.
5.3.1.4. Для встроенного ПО его разделение и проверка разделения не проводятся.
5.3.1.5. При высокой жесткости испытаний правильность разделения ПО дополнительно проверяется при помощи анализа его исходного кода.
5.3.1.6. По исходному коду ПО проверяется правильность реализации защищенного интерфейса. Все модули, подпрограммы, процедуры, функции, параметры, переменные и т.д., участвующие в обработке информации, должны быть охвачены защищенным интерфейсом.
5.3.1.7. По исходному коду рекомендуется составить структурную схему ПО (граф), отображающую потоки данных в ПО и способы их управления. Это позволяет проверить поступление измерительной информации только в части ПО, подлежащие метрологическому контролю (аттестации), а также убедиться в возможности обращения к функциям ПО, к его параметрам и к данным, подлежащим метрологическому контролю (аттестации), только через защищенный интерфейс.
5.3.1.8. Сведения о разделении ПО заносятся в протокол испытаний. По результатам проверки может быть сделано замечание о неправильном разделении ПО и дана рекомендация о соответствующих коррективах.
5.3.2. Проверка интерфейса(ов) ПО.
5.3.2.1. Проверяется возможность недопустимого воздействия на ПО и данные через интерфейс(ы) ПО (СИ).
5.3.2.2. При низкой/средней жесткости испытания, указанные в п. 5.3.2.1, проводятся на основе анализа документации и тестирования ПО с использованием программных средств.
5.3.3.3. С помощью программных средств выполняются все функции ПО, подлежащие метрологическому контролю (аттестации), и определяется их соответствие представленной документации.
Исследуются меню, подменю, диалоги ПО с целью выявления не соответствующих документации функций, параметров и команд.
5.3.3.4. Проверяется фильтрация ввода данных через интерфейс и возможность введения недопустимых данных.
Для этой проверки в ПО могут вводиться данные:
- из диапазона допустимых значений;
- из диапазона недопустимых значений;
- данные на границах ограничений диапазона ввода;
- комбинации вышеуказанных категорий данных.
5.3.3.5. При высокой жесткости испытания проводятся на основе анализа исходного кода ПО в соответствии с п. 5.3.1.5. При этом:
- выявляются недокументированные функции, процедуры, параметры, переменные, команды и их использование в ПО;
- проверяется соответствие действия вводимых команд (с помощью диалогов, командной строки и т.д.) представленной документации.
5.3.3.6. Возможно использование других методов проверки правильности функционирования интерфейса(ов) ПО.
Под проверкой соответствия понимается проверка конкретного ПО на соответствие тому типу, который был утвержден (зафиксирован) при его аттестации, если такая аттестация ранее проводилась, а также проверка методов и способов идентификации.
5.4.1. Проверка соответствия.
5.4.1.1. При низкой и средней жесткости испытаний проверка соответствия утвержденному типу проводится на основе анализа представленной документации, а также с использованием программных средств. При этом может приниматься во внимание заявление заказчика аттестации об отсутствии изменений и модификаций части ПО, подлежащей метрологическому контролю (аттестации).
5.4.1.2. В случаях, когда имеются сомнения в полном соответствии конкретного ПО утвержденному типу, может быть проведено выборочное тестирование тех функций и частей ПО, относительно которых имеются указанные сомнения.
5.4.2. Проверка методов и способов идентификации программного обеспечения.
5.4.2.1. При низкой и средней жесткости испытаний методы и средства идентификации ПО проверяются на основе документации и выполнения функциональных испытаний (тестирования) ПО.
5.4.2.2. На основе документации проверяется описание реализованного метода идентификации и способа работы с ним. В случае разделения ПО на программном уровне устанавливается соответствие метода идентификации принципу разделения ПО.
5.4.2.3. На основе анализа документации получают информацию обо всех частях (модулях) ПО (с учетом его разделения), охватываемых идентификацией. Все части ПО, подлежащие метрологическому контролю (аттестации), должны быть охвачены алгоритмом идентификации.
5.4.2.4. Оценивается соответствие метода идентификации уровню требуемой защиты. В качестве метода идентификации ПО может быть рекомендован номер версии с учетом п. 6.3.2.1 МИ 2891.
5.4.2.5. Проверяется наличие номинального значения, идентифицирующего ПО (номер версии, контрольная сумма и др.). Номинальное значение идентификации ПО вносится в свидетельство об аттестации.
5.4.2.6. Проверяется функция идентификации ПО, например, выводом номера версии на экран.
5.4.2.7. При высокой жесткости испытаний проводятся дополнительные испытания на основе анализа исходного кода ПО. При этом устанавливается:
- охват идентификацией всех частей ПО, подлежащих метрологическому контролю (аттестации), например формирование номинального закрепляемого значения идентификации;
- охват идентификацией частей ПО, не подлежащих метрологическому контролю (аттестации);
- соответствие метода идентификации представленной документации.
Примечание. В случае изменения файлов, входящих в состав ПО и охваченных алгоритмом идентификации, изменение значения, идентифицирующего ПО, устанавливается при испытаниях по проверке защиты от искажений ПО и данных.
5.5.1. Погрешность ПО представляет собой отличие результатов, полученных с помощью испытываемого (тестируемого) ПО, от результатов, полученных при тех же условиях эталонным ПО. При этом под эталонным понимается ПО, отвечающее наивысшим требованиям к его точностным и функциональным характеристикам, подтвержденным (в ряде случаев независимыми методами) при его неоднократном тестировании.
5.5.2. Критерии отнесения ПО к эталонному условны и при проведении аттестации ПО СИ являются предметом соглашения между заказчиками аттестации и ее исполнителями. В качестве эталонного может быть использовано аттестованное ПО.
5.5.3. К основным источникам погрешностей ПО относятся:
- программные ошибки вследствие неправильной записи исходного текста программы на выбранном языке программирования, а также ошибки трансляции программы в объектный код;
- алгоритмические ошибки, связанные с неполной или ошибочной формулировкой необходимых условий решения;
- применение неустойчивых алгоритмов при решении плохо обусловленных <*> измерительных задач;
- ошибки программного преобразования входных данных перед обработкой и ошибки обратной процедуры, если она проводится;
- ошибки округления и др.
--------------------------------
<*> Обусловленность является мерой чувствительности решения к изменениям входных данных. Хорошо обусловленная задача обладает свойством малого изменения решения при малом же изменении входных данных, в то время как плохо обусловленная задача при тех же условиях повлечет за собой существенные изменения решения.
5.5.4. Порядок проведения испытаний (тестирования) ПО определяется тестовым заданием (пп. 5.1.4.4 - 5.1.4.7) и может включать в себя:
- анализ ПО и его алгоритмов, выбор контролируемых параметров, характеристик и свойств;
- определение методов испытаний (тестирования) в соответствии с выбранной жесткостью испытаний;
- определение критериев оценки погрешности, характеристик и параметров ПО;
- выбор (или разработка) эталонного ПО;
- выбор (определение) исходных данных и/или их получение методом генерации или какими-либо другими методами;
- получение результатов обработки исходных данных в испытываемом (тестируемом) ПО (получение тестовых результатов);
- получение оценки погрешности ПО посредством обработки результатов испытаний (тестирования) (сравнения тестовых результатов с эталонными);
- дополнительные исследования свойств, параметров и характеристик используемых алгоритмов (адекватность измерительной задаче, область устойчивости, время, затрачиваемое на обработку результатов измерений, и т.п.).
5.5.5. Основными методами, применяемыми при оценке погрешности ПО, являются:
- сравнительные испытания с применением эталонного (аттестованного) ПО;
- в отсутствие эталонного (аттестованного) ПО сравнительные испытания с использованием моделей исходных данных или с применением метода генерации эталонных данных (Приложение 7);
- испытания на основе исходного кода ПО, а также комбинации указанных методов.
Метод оценки погрешности ПО выбирают с учетом наличия или возможности разработки того или иного вида эталонного ПО, а также возможности применения указанных методов в каждом конкретном случае.
При низкой/средней жесткости испытания проводятся с применением одного из методов сравнительных испытаний.
При высокой жесткости испытания проводятся на основе исходного кода ПО.
5.5.6. Сравнительные испытания с применением эталонного (аттестованного) ПО.
5.5.6.1. Данный метод испытания применяется при наличии эталонного (аттестованного) ПО, с помощью которого могут быть идентично воспроизведены функции испытываемого (тестируемого) ПО. В качестве эталонного ПО при оценке погрешности ПО может быть применено:
- аттестованное ПО СИ аналогичного функционального назначения;
- специально разработанное ПО с функциями, идентичными тестируемому;
- стандартные пакеты коммерческого ПО (например, электронные таблицы, пакеты математического и статистического ПО и т.д.).
5.5.6.2. К разработке эталонного ПО прибегают в тех случаях, когда испытываемое (тестируемое) ПО является не очень сложным, а его алгоритмы достаточно просты. Это означает, что затраты на разработку эталонного ПО должны быть разумными и сопоставимыми со стоимостью работ по аттестации ПО. Данный метод позволяет максимально учитывать особенности аттестуемого ПО, а также метрологические характеристики соответствующего СИ, и может быть рекомендован, в частности, при аттестации встроенного ПО.
5.5.6.3. Разрабатываемое эталонное ПО может содержать только функции и параметры, подлежащие метрологическому контролю (аттестации). При этом в некоторых случаях могут не учитываться особенности графического интерфейса пользователя, а также функции, не участвующие в обработке результатов измерений (например, функции отображения, хранения данных и т.д.).
5.5.6.4. К разработке эталонного ПО могут привлекаться специалисты организаций, занимающихся разработкой программных средств.
5.5.7. Сравнительные испытания с использованием моделей исходных данных.
5.5.7.1. Метод аттестации с использованием моделей исходных данных рекомендуется методикой МИ 2174 для аттестации алгоритмов обработки результатов измерений. Метод позволяет оценить погрешность алгоритмов сравнением результатов обработки тестируемыми алгоритмами заданных моделей исходных данных с параметрами этих моделей.
5.5.7.2. Наборы моделей исходных данных выбираются таким образом, чтобы они соответствовали частной измерительной задаче, решаемой тестируемыми алгоритмами.
5.5.8. Генерация эталонных наборов данных.
5.5.8.1. Метод генерации эталонных наборов данных применяется как альтернатива использованию эталонного ПО (в случае его отсутствия или невозможности использования) при оценке отдельных функций, реализуемых тестируемым ПО, и, по сути, имитирует случайный характер измерительного процесса.
5.5.8.2. Эталонные данные получают путем генерации таких данных с помощью специально разработанной программы - генератора эталонных данных, который представляет собой алгоритм, предназначенный для моделирования эталонных данных на основе выбранных (заданных) исходных данных.
Генератор эталонных данных реализуют на одном из алгоритмических языков программирования или при помощи стандартного математического или статистического программного пакета (Приложение 7).
5.5.8.3. Исходные данные для испытаний, в том числе и для генерации эталонных данных, формируются с учетом свойств реализованных алгоритмов. При этом наборы исходных данных должны охватывать как можно больший диапазон возможных значений, поступающих на обработку.
5.5.8.4. В наборы исходных данных могут быть включены:
- данные, близкие к наибольшим и наименьшим значениям, а также ряд промежуточных значений;
- особые значения входных переменных - точки резкого возрастания или разрыва производных, нулевые, единичные и предельно малые численные значения переменных и т.п.
5.5.8.5. Если значения некоторой переменной зависят от значения другой переменной, то испытания проводят при особых сочетаниях этих переменных таких, как равенство обеих переменных, малое и предельно большое их различие, нулевые и единичные значения и т.п.
5.5.9. Испытания на основе исходного кода ПО.
5.5.9.1. При испытаниях на основе исходного кода ПО проверяется:
- соответствие структуры алгоритма представленной документации;
- запись алгоритма на выбранном языке программирования;
- адекватность выбранного алгоритма измерительной задаче (выявление неустойчивых алгоритмов).
5.5.9.2. При проверке соответствия структуры алгоритма представленной документации, по тексту программы может быть составлена блок-схема реализуемого алгоритма, которая сравнивается с алгоритмом, изложенным в документации. В случае нахождения различий в структуре алгоритмов проводится дополнительный анализ элементов блок-схемы, в которых обнаружены различия.
5.5.9.3. Проверяется правильность записи алгоритма на выбранном языке программирования. При этом устанавливается соответствие кода правилам программирования, наличие тупиков и висящих вершин, пустых переменных, операторов, правильность организации циклов и т.д.
ИС NORMPROD: примечание. Нумерация пунктов дана в соответствии с официальным текстом документа. |
5.5.9.3. Соответствие выбранного алгоритма измерительной задаче осуществляется путем математического анализа реализованного алгоритма обработки данных. При этом исследуются логические и точностные характеристики реализованных алгоритмов, анализируется пригодность и оптимальность примененных численных методов к решению измерительной задачи.
5.5.9.4. Методы оценки погрешности ПО на основе исходного кода могут корректироваться исполнителем и заказчиком аттестации ПО.
5.5.10. Обработка результатов испытаний (тестирования) ПО.
5.5.10.1. На основе полученных результатов испытаний (тестирования) рассчитывают характеристики точности тестируемых алгоритмов: относительную погрешность алгоритма и его исполнительную характеристику.
Могут быть оценены и другие характеристики алгоритмов такие, как их сложность, скорость исполнения, адекватность измерительной задаче, выбор численной схемы расчета, коэффициент обусловленности (устойчивости), область устойчивости и т.п.
Вычисление относительной погрешности алгоритма производится по формуле:
(1)где 
- результат, полученный испытываемым ПО (результат обработки),
- результат, полученный испытываемым ПО (результат обработки),
- соответствующее значение, полученное эталонным ПО (эталонный результат).5.5.10.3. Исполнительная характеристика алгоритма (Приложение 6).
Исполнительная характеристика алгоритма вычисляется по формуле:
(2)где 
- коэффициент обусловленности (устойчивости),
- коэффициент обусловленности (устойчивости),
- относительная вычислительная точность,
- отличие тестируемых результатов от эталонных,
- норма (длина) вектора эталонных результатов (Приложение 6).Исполнительная характеристика показывает число потерянных цифр точности в тестируемом программном обеспечении по сравнению с эталонным.
5.5.10.4. Перечень характеристик аттестуемого ПО может корректироваться соглашением между исполнителем и заказчиком аттестации ПО.
5.5.10.5. Все определенные и оцененные характеристики и свойства алгоритмов заносятся в протокол испытаний.
5.5.10.6. Критерии, которым должны удовлетворять определенные и оцененные характеристики алгоритмов ПО, а также допускаемые значения характеристик могут быть установлены на основе требований к точности решения измерительной задачи, если они имеются, точности выполняемых расчетов (степени округления) и т.п. Критерии и допуски на значения характеристик фиксируются в тестовых заданиях и согласовываются в рамках методики аттестации ПО с ее заказчиком.
5.6.1. Проверка защиты от сбоев.
5.6.1.1. К сбоям в работе ПО относятся ситуации, приводящие к прекращению выполнения основных функций ПО на длительное или неопределенное время, нарушению нормального хода вычислительного процесса, стиранию или искажению данных в оперативной или долговременной памяти и т.п.
5.6.1.2. Целью испытаний является проверка средств защиты ПО от сбоев, от использования вследствие сбоя искаженных программ и данных, а также средств восстановления.
5.6.1.3. При сбое может предусматриваться запись события о сбое в программном журнале событий, в который записывается информация о времени сбоя, а также о результатах срабатывания средств восстановления.
При данных испытаниях может применяться расчет контрольных сумм по коду программы и данным.
5.6.1.4. При низкой/средней жесткости испытания проводятся на основе анализа документации и функциональных испытаний. При высокой жесткости испытаний проводится проверка реализации средств защиты и восстановления от сбоев на основе исходного кода ПО.
5.6.1.5. При испытаниях проверяется функционирование средств программного контроля и оперативного восстановления ПО. С этой целью разрабатываются сценарии имитации программно-аппаратных сбоев, искажений исходных данных и программных ошибок. При этом могут имитироваться следующие ситуации:
- параллельный запуск нескольких экземпляров приложения;
- досрочное завершение работающего ПО, вызванное, например, отключением питания компьютера, нарушением соединения компьютера с СИ и т.п.;
- тестирование при больших объемах данных.
При реализации каждой из этих ситуаций фиксируется результат имитации сбойной ситуации, проверяется работа программного журнала событий (наличие записи о сбое), выполняется идентификация ПО, проверяется целостность ПО и данных (например, с помощью расчета контрольных сумм).
5.6.1.6. При высокой жесткости испытаний на основе исходного кода ПО проверяются средства защиты и восстановления от сбоев. При этом устанавливается правильность расчета и сверки контрольных сумм по коду и данным.
5.6.1.7. Могут применяться и другие методы проверки защиты ПО от сбоев.
5.6.2. Защита программного обеспечения и данных от изменений.
5.6.2.1. На основе анализа документации проверяются наличие и достаточность средств защиты ПО и данных от изменений.
Средства защиты могут включать в себя:
- запрос авторизации (допуска) у пользователя;
- кодирование или электронную подпись (контрольную сумму) файлов с данными (настройками, параметрами), контрольные суммы по другим файлам ПО, относящимся к частям, подлежащим метрологическому контролю (аттестации);
- программный журнал событий.
5.6.2.2. При данной проверке могут выполняться следующие испытания:
а) Проверка авторизации пользователя:
- проверяется возможность обхода авторизации;
- проверяется реакция ПО на неоднократный ввод неправильной информации учетной записи пользователя;
- проверяются функции ввода новых пользователей и назначения их прав.
б) Проверка программного журнала внесения изменений:
- проверяется появление соответствующей записи в журнале изменений после внесения изменений в настройки ПО;
- проверяется возможность правки информации журнала изменений с помощью, например, текстового редактора <*>.
--------------------------------
<*> В соответствии с требованиями МИ 2891 журнал изменений должен быть защищен от изменений.
в) Проверка защиты данных и ПО.
Проверяется работа средств защиты ПО и данных от искажений после внесения, например с помощью текстового редактора, изменений в различные файлы ПО и файлы данных.
5.6.2.3. Могут применяться и другие методы проверки защиты ПО и данных от изменений.
???????????????????????????????????????????????????????????????????????????
? Руководителю организации, ?
? проводящей аттестацию ПО СИ ?
? от ____________________________ ?
? (наименование ?
? предприятия-заявителя) ?
? ?
? ЗАЯВКА ?
? ?
? Прошу провести аттестацию ___________________________________________?
?________________________________________________________________________,?
? название программного продукта ?
?разработанного (распространяемого, используемого) нашей организацией. ?
? Перечень документов, предъявляемых на аттестацию, подготовленный?
?в соответствии с требованиями п. 6.1 МИ 2891, указан в Приложении. ?
? ?
? Обязуемся оплатить все расходы, связанные с процедурой аттестации. ?
? ?
? Приложение: 1. ПО, подлежащее аттестации. ?
? 2. Перечень документации ПО, представляемого на ?
? аттестацию. ?
? ?
? Руководитель организации-заявителя _____________ ______________ ?
? подпись Ф.И.О. ?
? Главный бухгалтер _____________ ______________ ?
? подпись Ф.И.О. ?
? ?
? ?
? М.П. ?
? ?
? "___" ___________ 200_ г. ?
???????????????????????????????????????????????????????????????????????????
___________________________________________________________
(название организации, проводящей аттестацию ПО СИ)
СОГЛАСОВАНО УТВЕРЖДАЮ
Руководитель организации- Руководитель организации,
заявителя проводящей аттестацию ПО СИ
_____________________ ___________________________
"____" ________ 200___ г. "___" _____________ 200_ г.
МЕТОДИКА АТТЕСТАЦИИ
_______________________________________________________
(название программного обеспечения)
представленного на аттестацию _____________________________________________
(название организации-заявителя)
Город, где проводится аттестация
200__ г.
Методика аттестации после изложения содержательной части подписывается разработчиками - комиссией экспертов (экспертом) организации, проводящей аттестацию ПО СИ.
(ТЕСТИРОВАНИЯ) ПО СИ
АКТ
Испытаний (тестирования) _________________________________________________,
(наименование программного обеспечения)
представленного __________________________________________________________.
(наименование организации-заявителя)
1. Комиссия экспертов (эксперт) ___________________________________________
(наименование организации,
проводившей испытания)
провела(ел) испытания (тестирование) _____________________________________,
(наименование программного обеспечения)
разработанного ____________________________________________________________
(наименование организации-разработчика
(если это возможно установить))
Испытания (тестирования) проведены в период с "___" по "___" ______ 200_ г.
на основании ______________________________________________________________
(номер договора с заявителем аттестации)
в ________________________________________________________________________.
(место проведения испытаний)
2. Организации, проводившей аттестацию, были представлены образцы ПО СИ
__________________________________________________________________________.
(название программного обеспечения и его назначение)
3. Ознакомившись с предъявленными образцами ПО и рассмотрев сопровождающую
документацию, комиссия экспертов (эксперт) ________________________________
__________________________________________________________________ признала
(название организации, проводящей аттестацию ПО СИ)
предъявленные материалы достаточными для проведения испытаний
(тестирования).
4. Комиссия экспертов (эксперт) ___________________________________________
(название организации,
проводящей аттестацию ПО СИ)
провела(ел) испытания (тестирование) _____________________________________
(наименование программного обеспечения)
в соответствии с методикой аттестации, утвержденной руководителем
__________________________________________________________________________.
(название организации, проводящей аттестацию ПО СИ)
"___"________ 200_ г.
5. В результате проведенных испытаний (тестирования) на основании
представленных протоколов испытаний, являющихся неотъемлемой частью
данного акта, было установлено, что _______________________________________
(наименование программного обеспечения)
обладает следующими основными характеристиками (перечисляются основные
характеристики ПО, установленные в ходе испытаний).
6. В процессе испытаний (тестирования) отмечены следующие недостатки:
__________________________________________________________________________.
(перечень отмеченных недостатков, в т.ч. по документам,
представленным на испытание)
7. На основании результатов проведенных испытаний (тестирования),
отраженных в протоколах испытаний, комиссия экспертов (эксперт)
рекомендует:
__________________________________________________________________________.
(рекомендация о выдаче (невыдаче) свидетельства об аттестации)
(В случае рекомендации о невыдаче свидетельства об аттестации ПО должно
быть приведено обоснование такой рекомендации)
Акт составлен в 2-х экземплярах _____________________ _____________________
подписи(сь) инициалы, фамилия
членов комиссии
экспертов (эксперта)
С актом ознакомлен.
Руководитель организации-заявителя
___________ _____________________________
подпись инициалы, фамилия
"__" ________ 200_ г.
средств измерений
Название программы ______________________________
Назначение программы ____________________________
Версия/Идентификационный номер __________________
Организация разработчик _________________________
1. Документация | ||||
Требование | Присутствует | Отсутствует | Примечание | |
1.1 | Структура ПО, последовательность обработки данных (текст, граф) | |||
1.1.1 | Описание связи ПО с аппаратной частью (СИ) | |||
1.2 | Описание всех функций, параметров ПО | |||
1.2.1 | Описание всех законодательно контролируемых функций и параметров | |||
1.3 | Описание расчетных алгоритмов ПО | |||
1.4 | Описание всех меню, диалогов, перечень команд для каждого интерфейса | |||
1.5 | Описание метода идентификации ПО | |||
1.6 | Описание методов защиты ПО и данных от недопустимых изменений (искажений) | |||
1.6.1 | Сообщения об ошибках и отказах, корректирующие и восстанавливающие действия | |||
1.7 | Документация в целом соответствуют стандартам ГОСТ Р ИСО 9127 и ГОСТ Р ИСО/МЭК 12119 | |||
1.8 | Представлен исходный код ПО | |||
Заключение:_____________________________________________________________ | ||||
Требование | Соответствует | Не соответствует | Примечание | |
2. Структура | ||||
2.1 | Разделение ПО | |||
2.1.1 | Разделение ПО выполнено | |||
2.1.2 | Метод разделения | |||
2.1.3 | Защитный интерфейс реализован | |||
2.1.4 | Все контролируемые функции и параметры охвачены защитным интерфейсом | |||
2.1.5 | Отсутствует открытый доступ к контролируемым функциям и параметрам из неконтролируемых частей | |||
2.2 | Интерфейс ПО | |||
2.2.1 | Интерфейс ПО (меню, диалоги, вводимые параметры) соответствует документации | |||
2.2.2 | Осуществляется фильтрация ввода | |||
2.2.3 | Отсутствуют недокументированные возможности (по исходному коду) | |||
2.2.4 | Действие вводимых команд соответствует спецификации | |||
Заключение:____________________________________________________________ | ||||
Требование | Выполняется | Не выполняется | Примечание | |
3. Соответствие | ||||
3.1 | Соответствие ПО версии, установленной (зафиксированной) при испытаниях с целью утверждения типа | |||
3.2 | Осуществляется идентификация ПО | |||
3.3 | Функция идентификации может быть вызвана по команде пользователя | |||
3.4 | Метод идентификации | |||
3.5 | Учет при идентификации разделения ПО | |||
3.6 | Все законодательно контролируемые части ПО охвачены идентификацией | |||
3.7 | Номинальное значение идентификации | |||
Заключение:___________________________________________________________ | ||||
4. Погрешность
4.1. Аттестация проводилась методом ______________________________
4.2. Определены следующие характеристики алгоритмов:
Алгоритм вычислений | Относительная погрешность  | Исполнительная характеристика P(x) |
Примечание. Результаты расчетов с указанием диапазонов испытаний приводятся в приложении к протоколу.
4.3. Заключение: __________________________________________
5. Защита
Требование | Соответствует | Не соответствует | Примечание | |
5.1. Защита ПО и данных от сбоев | ||||
5.1.1 | ПО содержит средства защиты и восстановления от сбоев | |||
5.1.2 | Реализован журнал событий | |||
5.1.3. Выполнены следующие испытания защиты и восстановления ПО от сбоев
N | Имитация сбоя | Результат | Примечание |
Требование | Соответствует | Не соответствует | Примечание | |
5.2. Защита ПО и данных от искажений | ||||
5.2.1 | Осуществляется авторизация пользователя при запуске | |||
5.2.2 | Осуществляется защита ПО и данных (контрольная сумма, кодирование) | |||
ИС NORMPROD: примечание. Нумерация пунктов дана в соответствии с официальным текстом документа. |
5.2.2. Выполнены следующие испытания защищенности ПО и данных от искажений
N | Испытание | Результат | Примечание |
5.3 Заключение: _____________________________________________
Заключение по результатам аттестации: _______________________
Исполнители (должности, фамилии, инициалы, подписи):
Дата проведения испытаний:
___________________________________________________________________________
(название организации, проводящей аттестацию ПО СИ)
СВИДЕТЕЛЬСТВО N ___
(регистрационный номер в Реестре аттестованного ПО СИ)
об аттестации программного обеспечения средств измерений
Название программы: _______________________________________________________
___________________________________________________________________________
Назначение и область применения программы: ________________________________
___________________________________________________________________________
Организация - разработчик программы
___________________________________________________________________________
Результаты аттестации:
Название и обозначение характеристики: ____________________________________
Метод испытаний (тестирования) ____________________________________________
Полученное значение характеристики: _______________________________________
По результатам аттестации (акт аттестационных испытаний от "____"
______________ 200_ г.)
программа _________________________________________________________________
допускается к применению с указанными в настоящем свидетельстве
характеристиками.
Дата выдачи свидетельства: _____ __________ 200_ г.
Руководитель организации, проводившей аттестацию
_______________ ___________________________
подпись инициалы, фамилия
М.П.
_______________________________
Результаты аттестации приводятся для каждой характеристики.
Допускается приводить результаты в виде сводной таблицы, содержащей указанные сведения.
Возможно оформление таблицы на отдельном листе или на обороте свидетельства.
ХАРАКТЕРИСТИКА ПО СИ
Содержание этого приложения основано на разработках Национальной физической лаборатории (Великобритания).
Предположим, что связь между входом 
и выходом 
измерительной системы описываются математической моделью
и выходом измерительной системы описываются математической моделью
где 
обозначает векторную функциональную зависимость между входом и выходом. Эта зависимость может быть разного вида сложности, в частности, она может быть и неявной.
обозначает векторную функциональную зависимость между входом и выходом. Эта зависимость может быть разного вида сложности, в частности, она может быть и неявной.Пусть 
обозначает малое возмущение входного воздействия, а 
- соответствующую реакцию выхода. Тогда коэффициент обусловленности модели (коэффициент устойчивости) определяется формулой
обозначает малое возмущение входного воздействия, а - соответствующую реакцию выхода. Тогда коэффициент обусловленности модели (коэффициент устойчивости) определяется формулой
где символ 
обозначает норму (длину) вектора 
.
обозначает норму (длину) вектора .ИС NORMPROD: примечание. Формулы даны в соответствии с официальным текстом документа. |
Под нормой (длиной) вектора 
понимают неотрицательное действительное число 
. В скобках стоит скалярное произведение вектора 
самого на себя. В частности, если вектор проведен из начала координат в точку с координатами 
, то норма такого вектора может быть вычислена по формуле 
. Известно, что норма вектора наряду с другими свойствами удовлетворяет неравенству Коши-Буняковского 
.
понимают неотрицательное действительное число . В скобках стоит скалярное произведение вектора самого на себя. В частности, если вектор проведен из начала координат в точку с координатами , то норма такого вектора может быть вычислена по формуле . Известно, что норма вектора наряду с другими свойствами удовлетворяет неравенству Коши-Буняковского .Коэффициент обусловленности (устойчивости) характеризует относительное изменение выхода системы по отношению к соответствующему относительному изменению входа.
Приращение функции (6.1) с точностью до членов первого порядка малости записывается в виде
где функциональная матрица 
определяется формулой
определяется формулой
(6.4)В случае, когда n = m определитель этой матрицы 
называется якобианом функции 
.
называется якобианом функции .С учетом (6.3) формула (6.2) может быть записана в виде
При записи (6.5) было использовано неравенство Коши-Буняковского.
Пусть теперь 
обозначает "эталонный" отклик, соответствующий входному воздействию 
(отклик на выходе эталонного ПО при воздействии входных данных 
). Предполагается, что эталонное ПО реализует правильное исполнение оптимально устойчивого алгоритма. Для устойчивых алгоритмов коэффициент обусловленности принимает значение порядка единицы. Напомним, что алгоритм называется устойчивым, если для любого 
существует 
такое, что при погрешности входных данных, меньшей 
, максимальная погрешность выходных данных будет меньше 
.
обозначает "эталонный" отклик, соответствующий входному воздействию (отклик на выходе эталонного ПО при воздействии входных данных ). Предполагается, что эталонное ПО реализует правильное исполнение оптимально устойчивого алгоритма. Для устойчивых алгоритмов коэффициент обусловленности принимает значение порядка единицы. Напомним, что алгоритм называется устойчивым, если для любого существует такое, что при погрешности входных данных, меньшей , максимальная погрешность выходных данных будет меньше .Далее предполагается, что 
- отклик, производимый тестируемым ПО, и пусть
- отклик, производимый тестируемым ПО, и пусть
Из (6.2) следует
где 
- возмущение (погрешность) входных данных.
- возмущение (погрешность) входных данных.Из определения устойчивого алгоритма следует, что при оценке его устойчивости необходимо определить значение отклика 
на минимальное изменение внешнего воздействия 
, например, такое, когда 
где 
- относительная вычислительная точность, которая в большинстве случаев порядка 
. Другими словами, "качество" алгоритма (по отношению к проблеме обусловленности) количественно может быть оценено его реакцией 
на минимальное изменение входных величин. Такое изменение может, например, возникать при преобразовании входных данных от десятичной системы в двоичную и наоборот.
на минимальное изменение внешнего воздействия , например, такое, когда где - относительная вычислительная точность, которая в большинстве случаев порядка . Другими словами, "качество" алгоритма (по отношению к проблеме обусловленности) количественно может быть оценено его реакцией на минимальное изменение входных величин. Такое изменение может, например, возникать при преобразовании входных данных от десятичной системы в двоичную и наоборот.Для эталонного ПО можно ожидать, что если
то, как следует из (6.6),
где 
- величина порядка единицы.
- величина порядка единицы.Если же для тестируемого ПО отношение в левой части формулы (6.8) оказываются порядка 
при том, что входные данные удовлетворяют условию (6.7), это означает, что, как уже отмечалось, тестируемое ПО теряет при вычислениях p значащих десятичных цифр по сравнению с эталонным. Число потерянных цифр p можно определить с помощью исполнительной характеристики
при том, что входные данные удовлетворяют условию (6.7), это означает, что, как уже отмечалось, тестируемое ПО теряет при вычислениях p значащих десятичных цифр по сравнению с эталонным. Число потерянных цифр p можно определить с помощью исполнительной характеристики
В самом деле, если второе слагаемое под знаком логарифма оказывается порядка 
, то даже в самом неблагоприятном случае, когда p = 1, единицей под знаком логарифма можно пренебречь по сравнению с десятью, и в общем случае с большой степенью точности можно написать, что
, то даже в самом неблагоприятном случае, когда p = 1, единицей под знаком логарифма можно пренебречь по сравнению с десятью, и в общем случае с большой степенью точности можно написать, что
(6.10)Если же вычислительные возможности тестируемой и эталонной программ совпадают, то 
, и, следовательно, 
т.е. p = 0 и никакой потери цифр не происходит.
, и, следовательно, т.е. p = 0 и никакой потери цифр не происходит.
(6.11)Можно показать, что для алгоритма вычисления СКО
(6.12)где 
среднее значение результатов измерений 
среднее значение результатов измерений 
(6.13)для коэффициента обусловленности получается выражение
Видно, что первое слагаемое в этом выражении является константой, зависящей от объема выборки. При больших объемах значение этого слагаемого с большой степенью точности равно единице. Второе слагаемое зависит от отношения 
и равно нулю, когда 
. Это означает, что при больших объемах выборки значение коэффициента обусловленности в основном определяется значением указанного отношения и может быть оптимизировано его подбором.
и равно нулю, когда . Это означает, что при больших объемах выборки значение коэффициента обусловленности в основном определяется значением указанного отношения и может быть оптимизировано его подбором.Исполнительная характеристика для СКО получается подстановкой формулы (6.14) в выражение (6.9).
Аналогично могут быть получены выражения для коэффициентов обусловленности и исполнительных характеристик и для других, используемых при обработке измерительной информации алгоритмов.
Содержание этого приложения основано на разработках Национальной физической лаборатории (Великобритания).
В излагаемом методе тестирование программного обеспечения происходит в соответствии со следующей схемой
????????????????????????
? Эталонные (модельные)????
? результаты ? ?
???????????????????????? ?
? ?
\/ ?
?????????????????? ??????????????????? ?
? Эталонные ?<????? Генератор ? ?
? данные ? ? эталонных данных? ?
?????????????????? ??????????????????? ?
? ?
\/ ?
?????????????????? ?????????????? ?
? Тестируемое ПО ? ? Результаты ? ?
? ?????????>?тестирования? ?
?????????????????? ?????????????? ?
? ?
\/ \/
???????????????????????????
? Сравнение ?
???????????????????????????
Рассмотрим применение метода генерации эталонных данных на примере задачи простой линейной регрессии.
Известно, что линейный регрессионный анализ объединяет широкий круг задач, связанных с построением функциональных зависимостей между двумя группами числовых переменных: 
и 
.
и .На практике широко распространенной является ситуация, когда функция 
линейно зависит от 
, т.е. предполагается, что эта зависимость имеет вид
линейно зависит от , т.е. предполагается, что эта зависимость имеет вид
(7.1)или в векторном виде
где матрица наблюдений A и векторы в этой формуле, в том числе вектор остатков 
, имеют вид
, имеют вид
(7.3)Задача нахождения значений параметров 
при заданных (известных из эксперимента) векторах 
и 
называется задачей простой линейной регрессии, а ее решение ищется методом наименьших квадратов (МНК).
при заданных (известных из эксперимента) векторах и называется задачей простой линейной регрессии, а ее решение ищется методом наименьших квадратов (МНК).Задача, рассматриваемая здесь, заключается в построении такого набора эталонных 
, который имитировал бы экспериментальные данные при тестировании программных продуктов, реализующих МНК. Эта задача, в частности, решается методом нуль-пространства.
, который имитировал бы экспериментальные данные при тестировании программных продуктов, реализующих МНК. Эта задача, в частности, решается методом нуль-пространства.Решение задачи простой линейной регрессии МНК требует, чтобы выполнялось условие (см. формулу (7.2))
где 
- матрица, транспонированная по отношению к матрице A. В свою очередь, условие (7.4) эквивалентно выполнению двух условий
- матрица, транспонированная по отношению к матрице A. В свою очередь, условие (7.4) эквивалентно выполнению двух условий
В теории линейных алгебраических уравнений вектор остатков 
, из-за того, что он удовлетворяет уравнению (7.4) - (7.5), рассматривается как вектор, принадлежащий так называемому нуль-пространству матрицы 
.
, из-за того, что он удовлетворяет уравнению (7.4) - (7.5), рассматривается как вектор, принадлежащий так называемому нуль-пространству матрицы .Пусть теперь N будет базисом в нуль-пространстве матрицы 
, т.е.
, т.е.
Этот базис может быть выражен как набор линейно независимых векторов, которые и образуют матрицу N.
Если известен базис нуль-пространства, определяемый формулой (7.6), то вектор 
может быть представлен в виде линейной комбинации базисных векторов, т.е.
может быть представлен в виде линейной комбинации базисных векторов, т.е.
(7.7)где вектор 
представляет коэффициенты этой линейной комбинации.
представляет коэффициенты этой линейной комбинации.Замечательной особенностью рассматриваемого метода является то, что замена вектора 
в формуле (7.2) на 
, где вектор 
определяется формулой (7.4), оставляет неизменным решение 
линейной регрессионной задачи.
в формуле (7.2) на , где вектор определяется формулой (7.4), оставляет неизменным решение линейной регрессионной задачи.В самом деле, с учетом условия (7.4), получаем
(7.8)т.е. ничего не меняется по сравнению со случаем, когда остаточного члена не было. Из написанного соотношения следует, что, построив один набор данных 
, выбором вектора 
можно построить множество наборов данных, имеющих одно и тоже решение линейной регрессионной задачи 
. Обычно векторы 
выбираются в виде набора случайных чисел, имитирующих измеренные данные.
, выбором вектора можно построить множество наборов данных, имеющих одно и тоже решение линейной регрессионной задачи . Обычно векторы выбираются в виде набора случайных чисел, имитирующих измеренные данные.Таким образом, процедура генерации эталонных данных в общих чертах состоит из последовательности следующих действий:
1. Предполагая строгую линейную зависимость (линейную модель) откликов системы на входные воздействия, строится модельный вектор наблюдений 
где индексом "0" обозначены эталонные (модельные) результаты, являющиеся "входом" для генерации эталонных данных.
где индексом "0" обозначены эталонные (модельные) результаты, являющиеся "входом" для генерации эталонных данных.2. С помощью программной функции строится базис N нуль-пространства матрицы 
(такой стандартный программный пакет, как Matlab, содержит в качестве библиотечной такую функцию).
(такой стандартный программный пакет, как Matlab, содержит в качестве библиотечной такую функцию).3. С помощью соотношения 
строится вектор остатков, при этом компоненты вектора 
выбираются в виде случайных чисел, имитирующих ошибки измерений. Часто вектор 
необходимо видоизменять (масштабировать) таким образом, чтобы он представлял распределение случайных чисел с заданными средним значением и СКО.
строится вектор остатков, при этом компоненты вектора выбираются в виде случайных чисел, имитирующих ошибки измерений. Часто вектор необходимо видоизменять (масштабировать) таким образом, чтобы он представлял распределение случайных чисел с заданными средним значением и СКО.4. По формуле 
образуется вектор наблюдений, представляющий собой сгенерированные эталонные данные.
образуется вектор наблюдений, представляющий собой сгенерированные эталонные данные.Исполнительная характеристика P(x) (формула 6.9) для рассматриваемой задачи определяется соотношением
(7.9)где 
- результат, полученный тестируемым ПО. Можно показать, что 
определяет число цифр точности, теряемых алгоритмом вычисления 
при решении задачи линейной регрессии. Исполнительная характеристика, в свою очередь, показывает количество потерянных значащих цифр при обработке эталонных данных тестируемым ПО по сравнению с априори известным модельным решением измерительной задачи (Приложение 6).
- результат, полученный тестируемым ПО. Можно показать, что определяет число цифр точности, теряемых алгоритмом вычисления при решении задачи линейной регрессии. Исполнительная характеристика, в свою очередь, показывает количество потерянных значащих цифр при обработке эталонных данных тестируемым ПО по сравнению с априори известным модельным решением измерительной задачи (Приложение 6).Поведение исполнительной характеристики зависит от выбора значений так называемых исполнительных параметров, в качестве которых могут, в частности, выступать:
m - объем выборки;
- среднее значение набора входных воздействий (оно может совпадать с медианным значением);s - среднее квадратическое отклонение (измерительный шум).
Для каждого исполнительного параметра задается область принципиально возможных значений, а также набор номинальных (наиболее часто встречающихся) значений. При этом набор исполнительных характеристик строится по следующему принципу: фиксируются номинальные значения двух исполнительных параметров (например, объем выборки и СКО) и определяется зависимость исполнительной характеристики от значений третьего исполнительного параметра (в данном случае от среднего значения) во всей области его возможного изменения.
Приведенная выше процедура генерации эталонных данных была реализована в пакете Matlab, в котором был построен генератор данных, примененный для тестирования функций линейной регрессии в Matlab и в некоторых других пакетах. Расчеты велись с точностью 
. Полученные данные заносились в программный пакет Microsoft Excel, в котором строились соответствующие графики, при этом объем выборки m во всех расчетах брался равным 100. Результаты расчета исполнительной характеристики P(x) для функции линейной регрессии показывают, что в зависимости от значения исполнительных параметров число потерянных цифр точности может изменяться от 0 до 5.
. Полученные данные заносились в программный пакет Microsoft Excel, в котором строились соответствующие графики, при этом объем выборки m во всех расчетах брался равным 100. Результаты расчета исполнительной характеристики P(x) для функции линейной регрессии показывают, что в зависимости от значения исполнительных параметров число потерянных цифр точности может изменяться от 0 до 5.Вернуться в "Каталог нормативных документов"
Источник информации: https://internet-law.ru/documents/prod/metodika/8/mi_53230.html
На правах рекламы:
|
© Антон Серго, 1998-2026.
|
Разработка сайта |
|