Интеграция данных имеет большое значение для бизнеса, подробнее об этом вы можете прочитать в другой статье блога. О том, какие актуальные проблемы управления данными позволяет решить хаб для интеграции данных (Data Integration Hub) рассказывает Коби Гол. Коби отвечает в Informatica за Data Integration Hub (хаб для интеграции данных, который работает по принципу публикации-подписки и занимается оркестрированием гибридной интеграцией данных).
Интеграция данных – это не только ETL-процессы
Всего несколько лет назад архитектура интеграции данных была простой. Если вы хотели переместить данные из одной системы в другую, нужно было просто вручную настроить ETL-процессы для этого. Сейчас большинство компаний проводит цифровую трансформацию. Для того, чтобы извлечь пользу из данных, организации стремятся провести интеграцию данных из сотен систем-источников и систем-приёмников (на собственных серверах и в облаке). Данные эти поступают с разной частотой, с разной структурой и разных типов. Эти особенности увеличивают существующие проблемы интеграции данных и создают новые.
Чаще всего компании сталкиваются с такими проблемами:
- Включение новых приложений в уже действующую архитектуру может требовать много времени и денег;
- Оркестровка и управление интеграцией данных оказывается сложной и нецентрализованной;
- Уже используемые процессы интеграции данных во многих компаниях запутанные, как комок волос;
- Данные хранятся в разрозненных системах;
- Интеграция данных всё ещё требует специальных навыков, недоступна бизнес пользователям.
Какие из перечисленных проблем актуальны для вас? Напишите об этом на почту info@dis-group.com
Новая парадигма интеграции данных
Чтобы все эти проблемы решить, компаниям стоит начать применять современную парадигму интеграции данных. Эта парадигма должна включать в себя:
- Новую модель интеграции данных, которая уменьшает сложность интеграции данных и приложений и оптимизирует её;
- Новую архитектуру, которая позволит ИТ-администраторам и разработчикам управлять потоками данных и синхронизировать эти потоки, а также позволят системам реагировать на события с любой частотой (от обработки потоковых данных в реальном времени до заранее запланированной пакетной обработки).
- Простой и удобный в использовании механизм интеграции данных, который поможет развить демократизацию данных и позволит неразработчикам самостоятельно пользоваться данными внутри организации.
Что вам даст хаб для интеграции данных
В частности, можно использовать отдельное решение – хаб для интеграции данных. Данные из различных систем будут поступать в централизованный хаб, а оттуда распределяться по системам-приёмникам.
Хаб для интеграции обеспечивает:
- Эффективную интеграцию данных в облаке и на собственных серверах компании;
- Согласованную синхронизацию данных в приложениях;
- Стандартизацию данных в разрозненных системах;
- Управление новыми точками интеграции данных;
- Управление интеграцией данных в совершенно разных системах;
- Доступ к данным для бизнес-пользователей.
О примере такого хаба – Informatica Integration Hub – можно прочитать здесь.
Читайте также статью о самых распространённых ошибках при интеграции данных и о драйверах развития интеграции данных. Когда речь заходит о Big Data, интеграция данных требует особенных подходов и инструментов. Читайте об этом в другой статье блога.