Интеграция с Tarantool, совместные решения с Arenadata, инструмент для формирования XBRL
DIS Group не только предлагает продукты Informatica, мирового лидера в области управления данными, но и разрабатывает на их основе решения для российского рынка.
Инструмент для формирования отчётов в XBRL
В апреле 2018 года эксперты DIS Group на основе платформы Informatica разработали инструмент для формирования отчетов в формате XBRL. Решение собирает информацию из любых учётных систем организации в необходимом режиме, проверяет её качество и преобразовывает её в формат XBRL.
DIS Group предоставляет всю разработку в открытом виде. Поэтому после внедрения заказчик сможет самостоятельно осуществлять техническую поддержку и собственными силами развивать решение.
Особую актуальность в России инструмент приобрёл после того, как Центробанк обязал некредитные финансовые организации предоставлять ему отчётность в формате XBRL (eXstensible Business Reporting Language – «расширяемый язык деловой отчетности»). В будущем планируется включить в инициативу и другие финансовые организации, в частности, банки.
Промышленные модули к среде хранения и обработки Arenadata
Традиционно инструменты Informatica работают с платформами Hadoop двух самых распространённых дистрибутивов – Hortonworks и Cloudera. В России DIS Group предлагает своим клиентам возможность использовать продукты Informatica как промышленные модули к среде Hadoop отечественного дистрибутива от компании Arenadata.
Соглашение о технологическом сотрудничестве между DIS Group и Arenadata было заключено в мае 2018 года. С этого времени DIS Group и Arenadata предлагают 4 промышленных модуля для Arenadata Hadoop. Указанные модули расширяют функционал платформы и служат для интеграции, обеспечения качества, каталогизации и возможности самостоятельной работы бизнес-пользователей. Эти модули: Arenadata ETL Pack, Arenadata Big Data DQ Pack, Arenadata Data Catalog, Arenadata Self-Service Data Preparation.
Arenadata ETL Pack
Arenadata ETL Pack разработан на основе Informatica Big Data Management и Big Data Streaming. Решение предназначено для первичной миграции, загрузки и преобразования данных на Hadoop, потокового преобразования данных из Kafka или отправку данных в него. Решение подходит не только для работы с Arenadata Hadoop, но и с массивно-параллельной реляционной СУБД (Greenplum) — Arenadata DB.
Arenadata ETL Pack профилирует данные, определяет структуру сложно-структурированных данных. Оно обеспечивает быструю разработку типовых процессов для различных источников (динамические маппинги). Для загрузки и преобразования информации используются нативные инструменты Hadoop. Решение обладает средой визуального проектирования для разработчиков и работает в большинстве сред. Оно позволяет быстро получать доступ к любым данным и наглядно отображать процессы их загрузки и трансформации, проводить мониторинг.
Arenadata Big Data DQ Pack
Решение разработано на основе Informatica Big Data Quality. Оно обеспечивает качество данных и позволяет его контролировать.
Arenadata Big Data DQ Pack занимается мониторингом качества данных и на входе, и в процессе преобразования. Оно очищает и стандартизирует данные и гарантирует наглядность процессов обеспечения качества и мониторинга выполнения процессов. Arenadata Big Data DQ Pack выступает как сквозная платформа для data stewards, которые несут ответственность за загружаемые данные. Решение даёт возможность бизнес-пользователям самостоятельно устанавливать исключения для обеспечения качества данных.
Arenadata Data Catalog
Решение разработано на основе Informatica Enterprise Data Catalog. Оно занимается каталогизацией информации на Arenadata Hadoop с построением data lineage (связи между данными).
Arenadata Data Catalog каталогизирует всю информацию на Arenadata Hadoop, обеспечивая простой поиск и фильтрацию. Для обнаружения информации доступны интеллектуальные поисковые предложения и семантический поиск с интеллектуальными фасетами. Решение автоматически сканирует источники данных и автоматически классифицирует их. Arenadata Data Catalog строит data lineage от системы источника до конечной точки с отображением всех этапов трансформации данных. Также Arenadata Data Catalog привязывает к данным на Hadoop бизнес-термины. Для определения связанности данных и их привязки к бизнес-терминам используется искусственный интеллект.
Arenadata Self-Service Data Preparation
В основе Arenadata Self-Service Data Preparation – Informatica Enterprise Data Lake. Решение позволяет бизнес-пользователям работать с данными на Hadoop в простом и понятном интерфейсе.
Интерфейс Arenadata Self-Service Data Preparation сходен с Excel, что делает работу с ним удобной. Поиск по объектам Hadoop и добавление их в проект отличаются простотой. Технологии искусственного интеллекта дают рекомендации во время поиска. Все разработанные бизнес-пользователем процессы легко включить в регулярные процессы загрузки и преобразования данных. Для преобразования данных Arenadata Self-Service Data Preparation использует нативные механизмы Arenadata Hadoop. При необходимости пользователь может увидеть весь путь преобразования данных.
Интеграция с СУБД Tarantool
В июне 2017 года специалисты DIS Group, Mail.ru Group и Informatica интегрировали платформу Informatica с системой управления базами данных Tarantool. СУБД Tarantool – продукт MRG.
Cвязка Informatica – Tarantool может использоваться в корпоративном ландшафте для создания операционного слоя хранения и обработки данных in-memory.
Интеграция позволила в целом ряде кейсов ускорить процессы обеспечения данными критичных бизнес-систем. Среди этих систем – системы управления предприятием (ERP) таких производителей как SAP, Microsoft, Oracle и IBM, системы управления клиентами (CRM) и хранилищами данных: HP Vertica, Teradata, Exadata и т.д.
Благодаря такому ускорению конечные потребители данных практически без задержек смогут получать всю необходимую информацию. Это позволит им принимать эффективные и прозрачные управленческие решения. Кроме того, связка Informatica – Tarantool поможет лучше формировать персонализированное предложение клиенту в реальном времени, оперативный анализ и управленческую отчётность.
В настоящее время все указанные инструменты доступны на российском рынке. DIS Group продолжает активно вести разработки продуктов для эффективной работы с данными.
