Сервис транскодер: результаты нагрузочного тестирования.
В процессе использования сервиса конвертации (транскодирования) протоколов терминалов сторонних производителей в протокол «АвтоГРАФ», в течение 2022 года стали появляться обращения, связанные с длительным ожиданием при отправке данных и, как следствие, неудовлетворенность сервисом. При первичном анализе данных технической поддержкой компании «ТехноКом», разработчика сервиса, подтверждения наличия проблем на стороне сервиса выявлено не было. Между тем, обращения по данной проблематике продолжали появляться. Для их проверки в августе 2022 года была образована рабочая группа.
Состав рабочей группы:
- заместитель директора по техническим вопросам компании «ТехноКом» – Александр Зайцев,
- ведущий системный инженер «Студии Аграрных Систем» – Алексей Рябуха,
- руководитель «Консалтингового Бюро Сергея Мартыненко» – Сергей Мартыненко.
Целью рабочей группы стала проверка качества работы сервиса транскодирования данных, для этого была разработана методика тестирования и определены следующие параметры и критерии оценки:
- время максимальной суточной задержки не должно превышать 10 минут,
- время среднесуточной задержки не должно превышать 12 секунд.
Для максимально полного анализа были определены 4 группы тестирования:
- 500 терминалов
- 1 000 терминалов
- 2 000 терминалов
- 4 000 терминалов
Группы тестирования были выбраны не случайно, они наиболее близко (по статистике) отражают типовые количества терминалов, которым необходимо транскодирование протоколов у реальных компаний-потребителей сервиса транскодирования что, по нашему мнению, должно максимально детально давать ответ на вопросы, касающиеся качества работы сервиса для самых разных заказчиков.
После проведения первого теста на продуктивных настройках сервиса была собрана статистика и сделан вывод, что качество работы сервиса не полностью удовлетворяет заданным параметрам оценки и сервис требует доработки.
Для этого рабочей группой была составлена дорожная карта доработок и проведения дальнейших тестов. Таким образом, с августа 2022 года была проведена весьма объемная итеративная работа в части доработок, тестирования, сбора статистики и анализа полученных результатов, которая продолжалась в течение 7 месяцев.
На сегодняшний день было проведено 5 полных тестовых циклов и только в результате последнего цикла доработок сервиса удалось получить результаты, отвечающие заданным требованиям. Также стоит отметить, что в ходе тестирования выявлено влияние человеческого фактора на качество работы сервиса, выполнен анализ и разработан метод, купирующий такое влияние.
В связи с наличием циклической зависимости нагрузки на сервис от дней недели все тесты проводились не менее чем 7 календарных дней.
Ниже представлены сводные и детальные результаты 5-го теста. При детальном изучении тестовой группы из 500 приборов были рассмотрены суточные интервалы и произведен подсчет основных параметров оценки.
Дополнительно было проанализировано среднее время отклика с интервалом 1 час, что позволило отразить и исследовать происходящие изменения более детально (на графиках время UTC+5).
В итоге, по результатам анализа параметров тестирования группы из 500 терминалов, рабочая группа сделала вывод о соответствии данных теста заданным параметрам оценки.
Идентичной экспертизе были подвергнуты группы тестирования из 1000, 2000, 4000 терминалов, по которым рабочей группой было также дано положительное заключение о соответствии результатов критериям оценки.
После этого были проанализированы сводные данные тестов, отражающие все группы тестирования на одной диаграмме:
Анализ показал, что сводные данные по максимальному времени отклика каждой группы приборов подобны друг другу за каждый день тестирования. Не стало исключением и 18 число, где данные по группам 500 и 1000 приборов продемонстрировали пиковые значения в 9 минут (подтверждением тому стали результаты дополнительного анализа данных).
В заключение, был проведен анализ данных теста по среднему времени отклика без разделения на группы, что позволило рабочей группе сделать вывод, что и в этом случае результаты соответствуют требуемым критериям (12 секунд).
Признав результаты 5-го цикла тестирования успешными, участниками рабочей группы было принято решение о проведении полного нагрузочного теста с привлечением данных от более чем 10 тысяч терминалов.
Для репрезентативного нагрузочного тестирования был взят пул терминалов в количестве около 13.000 штук, при этом в каждый момент времени в онлайн-режиме находилось не менее 7,5 тысяч из них. Параметры оценки и срок тестирования остались неизменными. По окончании теста, анализ лог-файлов службы дал следующие результаты:
Как видно из диаграмм, в 6 из 7 дней наблюдений максимальное время отклика сервиса соответствует заданным критериям оценки. В один из дней (номер 19 на диаграммах) максимальное время отклика составило более 5 минут, а в четырех случаях из семи среднее время отклика за сутки было выше верхней границы критерия оценки на величину до 2,5 секунд.
При сравнении результатов нагрузочного теста с пакетами в 4 тысячи терминалов из предыдущих 5 тестов, мы получили следующие графики:
По результатам сравнения максимального времени отклика обнаружено незначительное его увеличение относительно 5-го теста, что указывает на наличие потенциала увеличения количества обслуживаемых терминалов как минимум в 2-3 раза от количества в нагрузочном тесте (13 тысяч).
При сравнении по среднему времени отклика виден заметный рост относительно 5-го теста, но при этом результат по-прежнему находится ниже установленного порога в 12 секунд.
Нагрузочный тест стал завершающим в программе тестирования. По его итогам рабочая группа приняла решение, что результаты тестирования вполне удовлетворительны и дальнейшие доработки сервиса конвертации (транскодирования) протоколов терминалов сторонних производителей в протокол «АвтоГРАФ» – не требуются.
Безусловно, разработчик сервиса, компания «ТехноКом» будет и далее вести регулярный мониторинг основных параметров работы службы конвертации протоколов для обеспечения надежного и качественного сервиса для Партнеров компании, а также их Заказчиков и Клиентов.
