Каталог решений - Автоматическая классификация ошибок технологического журнала

Промо:

• анализировать технологический журнал вручную долго, а в реальном времени практически невозможно для даже слабеньких систем, это все должно быть автоматизировано;
• автоматическая классификация текстов ошибок; 
• автоматическое формирование и рассылка сообщений по аварийным и критическим ситуациям на основе анализа логов;
• у Вас появилась возможность использовать частичную функциональность систем искусственного интеллекта здесь и сейчас.

Описание проблемы:

• Сложность анализа и постоянный контроль — При анализе текстов записей технологического или регистрации журналов Вам требуется оперативный анализ по категориям/классам: блокировка, ошибка доступа, программного кода или еще что-то. Вычленить понятие события из текста содержащего кучи GUID, стека вызовов и всяких там технических терминов – сложная и трудоемкая задача. Просмотреть (часто большой текст сообщения) можно вручную (не оперативно) если этих событий 10 или 100, но вот если их более чем 1000, да еще и каждый час, то этот набор сырых данных превращается в китайскую грамоту, и мы быстро начинаем уставать – терять сосредоточенность, что-то пропускать, игнорировать и т.д. 
• Оперативность реагирования — Требуется максимально оперативно узнать, что появилось критическое сообщение в журнале и поставить алармы/ярлычки на какие-то определенно встречающиеся опасные события/сообщения в технологическом журнале. К примеру, новая неизвестная ошибка (особенно уместно после обновления конфигурации) или сообщения падения хостов, агента, СУБД – типа «На сервере 1С:Предприятия не найдена лицензия. Не обнаружен ключ защиты программы или полученная программная лицензия!», «Процесс завершается. Исходящий вызов запрещен» или «Сервер недоступен (Не отвечает, завершается аварийно или порт занят другим приложением)».

Если все это Вам требуется — то эта статья с практикой применения для Вас.

Небольшой флешбек:  

Вопрос автоматической классификации ошибок был поставлен у нас еще до появления самой конфигурации. Однако основная и первичная задача стояла в автоматическом мониторинге состояния системы в облаке и сообщении о проблемах производительности. Эти задачи на текущий момент решены и улучшаются время от времени. Теперь поговорим о варианте выполнения автоматической классификации ошибок. Информацию по данной тематике мы преподнесем в двух публикациях. В первой и текущей публикации мы кратко коснемся вопроса теории, а во второй более подробно остановимся на этом важном, на взгляд авторов аспекте.
Скажем сразу фактически никаких иных инструментов, кроме 1С, т.е. никакого зоопарка из кучи инструментов типа python и т.п. мы не использовать не будем) 

Задача: 

Отнести текстовое сообщение об ошибке на основе данных технологического журнала к одному из заранее определенных классов. 

В качестве математики будем использовать механизм преобразования текстов в векторное пространство и косинусное сходство.

Структура статьи:

1. Настройки и порядок выполнения работ
2. Видео-урок
3. Замечания, советы, ссылки.

I) Практика

1 Шаг. Скачиваем необходимые ресурсы

А) Скачиваем обновленную конфигурацию «Мониторинг производительности» и обработку «АвтоматическаяКлассификацияОшибокВекторноеПространство.epf». Устанавливаем конфигурацию, если еще не стоит.

Б) Добавляем обработку в дополнительные отчеты и обработки. Подсистему выбираем «Замеры». 

В) Выполняем настройку загрузки логов ошибок технологического журнала (если не делали ранее) — 5 простых шагов и 15 минут на разворачивание инструмента мониторинга проблем производительности базы 1С

2 Шаг. Заполняем классификатор ошибок.

Открываем справочник "Известные ситуации" в подсистеме "Замеры". Создаем корневой элемент и называем его "Классификатор ошибок ТЖ". А далее создаем набор справочников в соответствии с примером ниже.

Опорные тексты кластеров приведены внутри каждого класса. Обязательно выполняйте настройку под себя изменяя/регулируя тексты, и значения нижней границы. Общий совет — чем меньше текст кластерам и мало в нем уникальных слов, то тем выше необходимо поднимать границу.   

1. Доступ – ошибка доступа, права и роли. Нижняя граница сходства > 0.1