Обзор

Общее представление

Класс DBHose предоставляет универсальный интерфейс для переноса данных между различными источниками в Apache Airflow DAGs. Обмен данными осуществляется в режиме стрим. При обмене данными между родственными СУБД (Postgres, Greenplum, Arenadata либо обмен между серверами Clickhouse) данные передаются в родных бинарных форматах. При обмене между разными СУБД (Postgres и Clickhouse) на этапе передачи происходит преобразование бинарных форматов из одного в другой в потоке. Для использования нестандартных источников (API сервисы, датафреймы pandas/polars, и т.д.) предусмотрены специальные режимы передачи данных, так же использующие стрим.

Предупреждение

Проект находится в стадии бета-тестирования и может содержать ошибки. Используйте с осторожностью в production-средах.

Поддерживаемые СУБД

На данный момент работа с СУБД поддерживается только между следующими базами данных:

• ClickHouse

• Greenplum

• PostgreSQL

Особенности

⚠️

Статус проекта: бета-версия

⚡️

Производительность: оптимизировано для больших объемов данных