Сравнительный анализ Датафлот Репликация и Debezium: эффективность, производительность и удобство использования

Большое число компаний стремятся реализовать высокоскоростную и надежную репликацию данных. В поиске наилучшего решения компании сталкиваются с выбором между коммерческими и open-source решениями. В данном сравнительном тесте рассматриваются две альтернативы: Датафлот Репликация, российская разработка, и Debezium, международная open-source платформа на базе Apache Kafka.

Датафлот Репликация демонстрирует значительное преимущество в скорости обработки данных и снижении нагрузки на сервер-источник. Благодаря использованию прямого анализа (парсинга) логов БД. В тестах его парсер оказался быстрее Debezium в 6,6–10,9 раз, а нагрузка на сервер снизилась в 8,3–9,8 раз. В отличие от Debezium, Датафлот также поддерживает репликацию изменений структур данных (DDL-операций) в Postgres.

Debezium, будучи open-source решением, требует дополнительного развертывания и администрирования инфраструктуры Kafka, и не предоставляет технической поддержки производителя. Его работа с API СУБД создает дополнительную нагрузку на сервер, а управление системой ограничено консольными инструментами.

В результате тестирования Датафлот Репликация продемонстрировал уверенное преимущество в производительности, удобстве развертывания и низкой нагрузки на сервер, особенно при работе с копиями логов на отдельном сервере. Система может работать в различных видах развертывания, в том числе отдельных компонентов для чтения и записи на серверах-источниках и серверах-получателях, соответственно. Эти особенности делают Датафлот перспективным выбором для компаний, которым критичны стабильность, скорость обработки и поддержка на русском языке.

Сводная информация о сравнении решений для репликации данных Датафлот Репликация и Debezium.

Датафлот Репликация

Датафлот Репликация: российское коммерческое решение для репликации транзакционных данных, использующее в основе захват изменений данных в журналах баз данных источников (Change Data Capture) и осуществляющее доставку изменений в гетерогенные системы-приемники. Ядро системы (бэк), компоненты парсинга и загрузки реализованы на C++.

Решение Датафлот Репликация зарегистрировано в едином реестре российского ПО, реестровая запись №18777 от 22.08.2023.

Мастер-дистрибьютор решения: компания DIS Group

Техническая поддержка 24×7 на русском языке. Документация и пользовательские интерфейсы на русском языке.

Платформа Debezium

Платформа Debezium: open source проект, по сути, представляет собой набор совместимых с Apache Kafka Connect специализированных коннекторов, осуществляющих чтение изменений журналов БД различных типов и передающих данные об изменениях в топики Apache Kafka. Требует для работы развертывания инфраструктуры Kafka.

Техническая поддержка на русском языке отсутствует/реализуется внутренними командами. Документация на английском языке. Пользовательские интерфейсы – практически отсутствуют, управление из консоли, скриптами или из внешних приложений.

Сводная информация по сравнению Датафлот Репликация и Debezium

1.Ядро системы (бэк), компоненты парсинга и загрузки Датафлот реализованы на C++.  Debezium использует инфраструктуру kafka: zookeeper, kafka, kafka connect/debezium connectors, стек Java.

2.Установка Датафлот Репликации представляет собой простое развертывание архива на сервере linux. Установка Debezium требует развертывания инфраструктуры kafka: zookeeper, kafka, kafka connect/debezium connectors.

3. Датафлот Репликация позволяет использовать прямой парсинг логов БД, в то время как Debezium использует API СУБД и plugin-ы для работы с API.

Использование решением Датафлот Репликация прямого парсинга логов БД в сравнении с работой решения Debezium через API СУБД дает выигрыш в скорости обработки данных парсером Датафлот в 6,6 – 10,9 раз при снижении нагрузки на сервер-источник СУБД в 8,3 – 9,8 раз (при парсинге логов находящихся непосредственно на сервере СУБД).     

Дополнительная утилизация CPU на источнике при работе Debezium (только overhead) составляла при проведении тестов 20-25%. При работе решения Датафлот с копиями логов, перенесенными на другой сервер, Датафлот вообще не оказывает влияния на сервер-источник при парсинге логов.

4. Использование прямого парсинга логов Postgres Датафлотом позволяет реплицировать DDL операции. Работа Debezium через API Postgres не позволяет реплицировать DDL операции.

5. По результатам тестирования производительности решение Датафлот Репликация показало многократный выигрыш в скорости первоначальной синхронизации и в скорости репликации изменений (см. документ Сравнительный тест Датафлот vs Debezium.pdf).

6. Датафлот Репликация зарегистрирован в едином реестре российского ПО. Предоставляется техническая поддержка 24×7 на русском языке. Документация и пользовательские интерфейсы на русском языке. Для Debezium техническая поддержка на русском языке отсутствует или реализуется внутренними командами. Документация на английском языке.