light_compressor

Модуль для обработки сжатых потоков данных, написанный на Cython.

Линки на проект:

Установка модуля light-compressor без установки dbhose-airflow

pip install light-compressor

Назначение:

Оптимизированная работа со сжатыми потоками данных из баз данных и файлов. Создан для замены существующих решений.

Особенности:

  • Написан на Cython для достижения максимальной скорости

  • Поддерживает LZ4 и ZSTD форматы

  • Потоковая обработка данных без загрузки всего объема в память

  • Двунаправленная работа: сжатие и распаковка

  • Автоматическое определение формата сжатия в файлах

Основные возможности:

  • Определение метода сжатия по сигнатурам (auto_detector)

  • Чтение сжатых потоков (define_reader)

  • Запись со сжатием (define_writer)

  • Прямая работа с файлами и сетевыми потоками

Зависимости:

  • cffi>=1.17.1 - для C-расширений

  • lz4>=4.4.3 - поддержка LZ4 сжатия

  • zstandard>=0.23.0 - поддержка ZSTD сжатия

Требуемая производительность:

Библиотека оптимизирована для сценариев, где требуется высокая скорость обработки потоков сжатых данных.

Классы

Функции