"ГОСТ Р 56087.1-2014. Национальный стандарт Российской Федерации. Система национальных стандартов в области качества услуг связи. Методика проведения испытаний с помощью контрольных вызовов"
(утв. и введен в действие Приказом Росстандарта от 19.08.2014 N 910-ст)

1 РАЗРАБОТАН Учреждением "Центр сертификации услуг связи"

2 ВНЕСЕН Управлением развития, информационного обеспечения и аккредитации Федерального агентства по техническому регулированию и метрологии

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 19 августа 2014 г. N 910-ст

4 ВВЕДЕН ВПЕРВЫЕ

5 ПЕРЕИЗДАНИЕ. Февраль 2020 г.

Настоящий стандарт устанавливает методику проведения испытаний с помощью контрольных вызовов с целью сбора информации для оценки показателей качества обслуживания вызовов при внутренних и внешних аудитах качества услуг связи.

Настоящий стандарт предназначен для использования хозяйствующими субъектами, действующими в области оказания услуг связи, контролирующими их органами, включая органы по сертификации, и другими заинтересованными в сборе такой информации сторонами как при проведении внешних и внутренних аудитов качества услуг связи, так и при проведении любых исследований в области деятельности хозяйствующего субъекта.

На основе настоящего стандарта хозяйствующими субъектами, действующими в области оказания услуг связи, могут быть разработаны собственные (внутренние) документы, определяющие методику проведения испытаний с помощью контрольных вызовов.

Структура методики в настоящем стандарте соответствует рекомендациям, приведенным в [1].

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ 19472 Система автоматизированной телефонной связи общегосударственная. Термины и определения

ГОСТ Р 50779.11 Статистические методы. Статистическое управление качеством. Термины и определения <1>

--------------------------------

<1> Действует ГОСТ Р ИСО 3534-2-2019.

ГОСТ Р 53731 Качество услуг связи. Термины и определения

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

В настоящем стандарте применены термины по ГОСТ Р 53731, ГОСТ Р 50779.11, ГОСТ 19472, а также следующие термины с соответствующими определениями:

3.1 вызов (call): Попытка установления соединения с одним или несколькими вызываемыми абонентами [2].

3.2 испытание, тестирование (testing): Проведение проверок с целью контроля состояния объекта или качества связи [2].

3.3 потерянный вызов (lost call): Вызов, который не был завершен в процессе установления связи; при этом безуспешная попытка вызова из-за занятости абонента не считается потерянным вызовом [2].

3.4 час наибольшей телефонной нагрузки (busy telephone traffic hour): Непрерывный интервал времени в 60 мин, в течение которого средняя интенсивность телефонной нагрузки является максимальной.

3.5 телефонные потери по вызовам (telephone call loss): Отношение числа потерянных за определенный интервал времени телефонных вызовов к числу вызовов, поступивших за то же время [3].

3.6 качество обслуживания телефонных вызовов (quality of telephone call service): Свойство системы распределения информации, определяемое совокупностью вероятностных оценок телефонных потерь и ожидания обслуживания телефонных вызовов.

3.7 ручной контроль (manual observation): Контроль телефонных соединений, проводимый наблюдением без использования автоматического оборудования регистрации данных [4].

3.8 автоматический контроль (automatic observation): Контроль телефонных соединений без вмешательства наблюдателя [4].

3.9 телефонный автоответчик (telephone answering set): Устройство, обеспечивающее автоматическую запись и воспроизведение сообщений для обеспечения телефонной связи.

3.10 телефонный аппарат (telephone set): Оконечное абонентское телефонное устройство, предназначенное для передачи и приема речи, линейных, информационных сигналов телефонной сети и сигналов управления.

3.11 телефонное соединение (telephone call connection): Совокупность процессов, связанных с занятием, использованием и освобождением линий, каналов телефонной сети и коммутационных приборов связи для обслуживания телефонного вызова, закончившегося разговором.

4.1.1 Объектом испытаний являются услуги связи, оказываемые оператором связи.

4.1.2 Предметом испытаний являются показатели качества, оценивающие следующие потребительские свойства услуг связи:

- доступность [сети, соединения, службы (технической поддержки, информационно-справочной службы)];

- качество обслуживания вызовов.

4.1.3 Показатели качества, оценивающие приведенные в 4.1.2 потребительские свойства, определяют путем проведения испытаний с помощью контрольных вызовов [1], [3], [5], [6].

4.1.4 По каждому показателю качества услуг связи определенного вида задают временные интервалы, направления связи, используемое оборудование, формы регистрации результатов, объем и порядок проведения контрольных вызовов.

4.1.5 Для обеспечения достоверности результатов контрольных вызовов их количество должно быть репрезентативным.

4.2.1 На основе испытаний с помощью контрольных вызовов оценивают телефонные потери по вызовам:

- при доступе к соединению;

- соединении в пределах сети оператора;

- междугородном соединении;

- международном соединении;

- соединении со службой технической поддержки оператора;

- соединении со справочно-информационными службами оператора;

- соединении с экстренными/не экстренными службами.

В зависимости от состава показателей качества услуги могут быть получены оценки суммарных телефонных потерь по вызовам, а также потерь на отдельных участках сети оператора.

4.2.2 Состав основных показателей качества услуг связи, определяемых по результатам испытаний с помощью контрольных вызовов, приведен в таблицах 1 - 6.

4.2.3 В состав показателей качества услуг связи, определяемых по результатам испытаний с помощью контрольных вызовов, дополнительно могут быть включены такие показатели, как:

- время установления соединения (местного, междугородного, международного);

- время ответа оператора службы (технической поддержки, информационно-справочной службы) и другие.

4.2.4 В ходе испытаний с помощью контрольных вызовов могут быть оценены показатели, характеризующие корректность работы сценариев интеллектуальной платформы и интерактивного меню (IVR).

4.3.1 Испытания с помощью контрольных вызовов могут быть проведены вручную или автоматически.

4.3.1.1 Контрольные вызовы, проводимые вручную

Ручной контроль может осуществляться при наличии минимального количества оборудования и позволяет выявить такие недостатки качества связи, как, например, плохая слышимость, фон и другие.

В качестве средств испытаний при проведении контрольных вызовов вручную используются оконечные абонентские устройства, рекомендованные к применению на сети связи оператора.

Для услуг, оказываемых по предоплаченным картам, в качестве средств испытаний при проведении контрольных вызовов вручную дополнительно используют тестовые карты предоплаты.

При проведении контрольных вызовов вручную для оценки доступности служб необходимо соблюдение интервалов времени между вызовами, обусловленных техническими характеристиками оборудования, применяемого на сети оператора при организации службы.

Метод проведения испытаний вручную применяют при невозможности использования автоматического метода.

4.3.1.2 Контрольные вызовы, проводимые автоматическим методом

При автоматическом контроле исключены ошибки по вине человека, упрощены сбор и обработка данных.

При проведении испытаний автоматическим методом используют применяемое в сети оператора контрольно-испытательное оборудование, имитаторы телефонной нагрузки. При внешнем аудите могут быть использованы оборудование и приборы проверяющей организации, если они соответствуют установленным требованиям.

Контрольно-испытательное оборудование и приборы, используемые при проведении контрольных вызовов автоматическим методом, должны соответствовать типу оборудования, находящегося в эксплуатации в сети оператора и установленным требованиям к применению в единой сети электросвязи Российской Федерации.

4.3.2 Дополнительная телефонная нагрузка, создаваемая контрольными вызовами, не должна приводить к ухудшению качества услуг связи, оказываемых оператором.

4.4.1 Испытания проводят в запланированные сроки. Оптимальными днями проведения испытаний с помощью контрольных вызовов являются будние дни без непосредственной близости к выходным и праздничным дням, в которые нагрузка значительно отклоняется от средних значений. Не рекомендуется также проводить испытания в последнюю и первую недели года.

4.4.2 Для оценки показателей качества услуг связи, определяемых с помощью контрольных вызовов, испытания проводятся в час наибольшей нагрузки, характерный для сети и для соответствующей службы оператора [3].

Час наибольшей нагрузки должен быть определен до начала проведения испытаний путем анализа данных о результатах измерения нагрузки в сети оператора. При отсутствии требуемых данных следует провести соответствующие измерения.

Стандартный метод определения часа наибольшей нагрузки требует непрерывных суточных измерений каждую четверть часа в ходе всего периода измерения. Каждые 15 мин в течение суток проводят регистрацию значений нагрузки. Затем проводят усреднение значений нагрузки за все дни периода измерения по одним и тем же периодам четверти суток. Четыре последовательных 15-минутных периода с усредненными значениями нагрузки, дающие в совокупности наибольшую суммарную нагрузку, представляют собой средний час наибольшей нагрузки.

Период измерения нагрузки для определения часа наибольшей нагрузки включает в себя рабочие дни двух последовательных недель два раза в год в месяцы наибольшей нагрузки.

4.4.3 Место проведения контрольных вызовов ручным методом определяют в зависимости от состава оцениваемых показателей. При этом контрольные вызовы могут быть проведены с абонентского номера сети оператора и/или с абонентского номера сети связи общего пользования (городской телефонной сети связи, сельской телефонной сети связи, сотовой сети связи).

4.4.4 Климатические характеристики (температура, влажность) определяются паспортными данными абонентских устройств, используемых в испытаниях.

4.4.5 К участию в испытаниях допускаются сотрудники оператора и внешние аудиторы, ознакомленные с порядком проведения контрольных вызовов и имеющие навыки в пользовании контрольно-испытательным оборудованием и приборами, оконечными абонентскими устройствами.

4.4.6 Результаты испытаний должны быть задокументированы в форме протокола, акта или иного документа.

Распечатки результатов проведения контрольных вызовов автоматическим методом и формы регистрации результатов проведения контрольных вызовов вручную должны быть приложены к данному документу.

4.5.1 Основные этапы проведения контрольных вызовов:

- подготовительный этап;

- этап проведения контрольных вызовов.

4.5.2 На подготовительном этапе выполняют следующие действия:

4.5.2.1 Разработка программы проведения работ, включая:

- постановку целей и задач проведения испытаний;

- определение исполнителей;

- определение состава оцениваемых показателей качества по каждой проверяемой услуге;

- выбор метода проведения испытаний для каждого оцениваемого показателя качества по каждой услуге;

- определение направлений связи, на которых будут проведены контрольные вызовы;

- разработку графика проведения испытаний и обработки их результатов;

- подготовку инструкций для проведения контрольных вызовов и инструктаж исполнителей.

4.5.2.2 Подготовка перечня исходящих и входящих тестовых номеров для проведения контрольных вызовов.

4.5.2.3 Определение числа контрольных вызовов (объема выборки) по каждому направлению связи.

Применяют следующую формулу для расчета числа контрольных вызовов:

где C_выз - число контрольных вызовов;

P_n - потери вызовов (установленное значение потерь вызовов для соответствующего направления связи);

- допустимая относительная погрешность (среднее квадратическое отклонение значений оцениваемых показателей, определяемое либо на основе пробной выборки, либо в условиях полного отсутствия исходных данных для расчета, ориентировочно принимается равным 0,5);

t - параметр, зависящий от принятой доверительной вероятности p (коэффициент доверия, зависящий от вероятности, с которой гарантируется, что фактическая ошибка не выйдет за пределы допустимой). Значения доверительной вероятности p для различных значений параметра t приведены в таблице 7.

На основании формулы (1) может быть определено число контрольных вызовов для требуемых значений допустимой относительной погрешности и доверительной вероятности.

Для определения числа контрольных вызовов при доверительной вероятности 95% может быть использованы данные, приведенные в таблице 8.

При пользовании таблицей 8 должны быть известны:

- значение потерь вызовов (P_n) в сети оператора для каждого оцениваемого показателя качества проверяемых услуг (регламентированные значения потерь по вызовам или ориентировочные среднестатистические значения из практики оператора);

- значение допустимой относительной погрешности при определении потерь по вызовам (решение о выборе значения допустимой относительной погрешности принимается, исходя из условий проведения испытаний).

В [4] приведены рекомендации в части минимального объема статистических результатов для получения определенной степени точности.

4.5.2.4 Подготовка форм регистрации результатов контрольных вызовов при ручном методе их проведения для каждого определенного направления связи.

Форма регистрации результатов контрольных вызовов должна содержать данные о:

- месте проведения испытаний;

- дате и времени проведения испытаний;

- исполнителях;

- исходящих и входящих тестовых номерах;

- обследуемом направлении связи;

- числе осуществленных контрольных вызовов;

- числе неуспешных вызовов;

- замечаниях исполнителей, сделанных в ходе проведения испытаний (для последующего анализа результатов).

4.5.2.5 Проведение подготовительных испытаний в объеме 10% - 20% от числа контрольных вызовов, определенных в соответствии с 4.5.2.3, для подтверждения и уточнения показателя потерь.

По результатам подготовительных испытаний уточняют необходимое число контрольных вызовов.

4.5.3 На этапе проведения контрольных вызовов выполняются следующие действия:

4.5.3.1 Исполнители проводят испытания с помощью контрольных вызовов в соответствии с программой и графиком проведения работ, инструкцией и формами регистрации результатов.

В приложении А приведена типовая форма регистрации результатов контрольных вызовов, проводимых вручную.

4.5.3.2 На основе заполненных форм регистрации результатов проведения испытаний вручную или распечаток с результатами осуществленных контрольных вызовов автоматическим методом составляются протоколы, акты или иные документы.

В приложении Б приведена типовая форма протокола проведения испытаний с помощью контрольных вызовов.

Комплект документов с результатами испытаний составляет базу исходных данных для оценки показателей качества услуг связи оператора.

4.6.1 После завершения испытаний проводят проверку корректности заполнения форм регистрации и протоколов с результатами контрольных вызовов. Некорректные записи должны быть либо исключены из общего полученного массива данных, либо должно быть проведено уточнение информации и внесены изменения.

4.6.2 Обработка результатов испытаний с помощью контрольных вызовов сводится к определению выборочных значений показателей по каждому виду услуг, приведенных в таблицах 1 - 6.

4.6.3 Значение потерь по вызовам в общем случае для i-го вида направления связи рассчитывают по формуле

где N_{i неусп} - число неуспешных вызовов для i-го вида направления связи;

N_i - общее число контрольных вызовов для i-го вида направления связи.

4.6.4 Число неуспешных вызовов по результатам проведения испытаний как автоматическим методом, так и вручную определяют, исходя из причин (кодов) непрохождения вызовов.

4.6.5 Расхождения между выборочными значениями показателей и показателями генеральных совокупностей оценивают доверительными пределами для рассчитанных по результатам испытаний показателей, которые позволяют корректно представить результаты проведенных контрольных вызовов.

Точность полученного значения показателя потерь по вызовам для i-го вида направления связи определяют с помощью таблицы 8. При этом:

4.6.6 Результаты проведенных испытаний с помощью контрольных вызовов оформляют в виде итогового документа (отчета), который должен содержать следующую информацию:

- цель, задачи и область проведения испытаний;

- состав исследуемых направлений связи;

- состав исполнителей;

- период проведения испытаний;

- состав оцениваемых показателей качества по каждой услуге;

- применяемые методы и средства проведения испытаний;

- используемые формы регистрации результатов;

- результаты испытаний в виде объемов и состава полученной информации;

- результаты испытаний в виде оценок показателей обследуемых услуг связи;

- выводы;

- приложения.

4.6.7 Результаты испытаний могут быть представлены в виде таблиц и графиков.

4.6.8 Представленные в итоговом документе оценки показателей исследуемых услуг связи должны быть использованы для анализа качества обслуживания вызовов в сети оператора, развития и совершенствования деятельности по предоставлению услуг связи.

Дата и время проведения испытаний: ________________________________

Место проведения испытаний: ______________________________________

Исходящий номер: ________________________________________________

Исследуемые направления связи: ____________________________________

Состав исполнителей (инициалы, фамилия): __________________________

Место проведения испытаний: ______________________________________

Дата и время проведения испытаний: ________________________________

Исследуемые направления связи: ____________________________________

Метод проведения контрольных вызовов (ручной/автоматический): _______

Услуги связи, подлежащие проверке: _________________________________

Показатели качества, подлежащие оценке: ____________________________

Нормативные значения показателей: _________________________________

Источники нормативных значений показателей: _______________________

Методики оценки показателей: ______________________________________

Результаты испытаний:

Всего осуществлено контрольных вызовов: ________,

из них: успешных __________, неуспешных ____________.

Расчетные значения показателей: ________________________________

Оценка соответствия расчетных значений показателей установленным нормативам (соответствует/не соответствует): ______________________________

Замечания: _______________________________________________________

Приложения: _____________________________________________________