Выгрузка журнала регистрации в ElasticSearch с помощью Python

Данный скрипт реализован на языке python с подключаемой библиотекой ElasticSearch, что позволяет парсить и загружать файлы ЖР напрямую в ES.
ВНИМАНИЕ! Данный парсер работает только со старым форматом ЖР и только, если у него периодичность день или час.

Категория: Публикации 1С

Подробнее

Описание
Подробнее

Описание

В данной статье я бы хотел затронуть проблему поиска по журналу регистрации, если нужно проанализировать данные за достаточно большой период времени и при этом база находится под высокой нагрузкой.

Входные данные:

Периодичность файла ЖР: Час

Средний размер файла: 900 Мб

Штатными средствами проанализировать даже данные за день невозможно.

Выходные данные:

Требование к системе:

Оперативность получения данных: в рамках периодичности

Хранение данных в днях: 15

Средний размер индекса за день: 10Гб

Среднее количество строк в индексе за день: 90М

В данной статье не рассматривается настройка ES, подразумевается, что пользователь достаточно опытный, чтобы найти информацию по установке и настройке. На ИС есть несколько годных статей.

Данный скрипт находится в стадии бета, код открыт всем желающим, работает на нескольких продуктовых базах и, если кто-то захочет поучаствовать в развитии — welcome.

Итак, система готова, python, ES, Kibana установлены и настроены, библиотеки для python загружены.

Вызов осуществляется из командной строки.

Каталог решений - Выгрузка журнала регистрации в ElasticSearch с помощью Python