Каталог решений - Распаковка Deflate на лету

Всем бодрого настроения!

Я люблю реверсить бинари и давно изучаю структуры файлов в 1С.

В одной из прошлых моих публикаций

я показал метод распаковки Deflate средствами 1С с помощью объектов ЧтениеZIPФайла/ЗаписьZIPФайла. Суть довольна проста: мы вокруг потока deflate прилепляем нужные заголовки, а затем натравливаем на полученный результат встроенный "архиватор". Таким образом достаем данные из сжатого файла. Так можно крутить ZIP и GZIP форматы.

Не побоюсь скромно назвать себя первопроходцем данной темы, т.к. идея такого подхода была высказана мной в далеком 2017 году. Потом алгоритм разлетелся по интернетам по всяким опенсорцам, и даже тот алгоритм успел засветиться на одной 1С-ной конференции.

Минус данного подхода в том, что нельзя создавать ZIP архивы в памяти [привет разрабам платформы, может к 2030-му сделают], приходится писать их во временные файлы на носитель.

В данной разработке deflate распаковывается в памяти, поэтому данные будут разжиматься в разы быстрее.

На анализ распаковки через встроенный тип ХранилищеЗначения натолкнул меня пользователь с ником "uno-c", который в недавней своей публикации распаковывал Gzip.

Его работу я не видел, поэтому, возможно, у нас могли получиться разные алгоритмы.

Итак, вкратце опишу что-есть-как:

Если у вас есть Gzip, то deflate из него достается элементарно — отбрасываем заголовок в начале и хвост в конце, с ZIP форматом чуть сложнее, но суть похожа.

Начал я с того, как превратить ХЗ (ХранилищеЗначения) в бинарь — тут помогла сериализация.

Затем я отбросил заголовок ХЗ и попробовал распаковать остаток: бинго — на выходе структура типа вездесущей полуJSON, где искомый файл располагается в конце. Спасибо uno-c за наводку, что блоки deflate бывают НЕсжатыми. Пришлось идти и читать спеку по deflate’у. Там достаточно понятно. Оказывается, можно вставить несжатый блок определенной структуры перед сжатым и это будет валидный deflate. Также в конце описательной части полуJSON в последних 8 байтах находится размер НЕсжатого файла, но т.к. у нас его изначально нет, можно заполнить это "ЭфЭфками".

Весь алгоритм укладывается всего в 8 строк!

Вся магия здесь в заголовках )

Не бойтесь изучать форматы, HEX-вьюверы вам в помощь!

Обработка протестирована на платформе 8.3.23.2040 , но будет работать на любой 8.3.18+ . А если убрать асинхронность, то и на 8.3.9+

Похожие мои публикации из той же оперы:

Сжатие/Распаковка данных по алгоритму Deflate встроенными (!) средствами платформы 1С

Распаковка хранилища значений средствами MS SQL Server

Хранилище значений в ZIP на чистом SQL

Ну и мой эсный ГитХаб

Буду рад, если заинтересовал вас данной зарисовкой записулькой.