Плюс7 ФормИТ гарантирует быстрый и надежный обмен данными между различными бизнес-приложениями, системами хранения, источниками и базами данных различных подразделений, производственных и административных бизнес-юнитов компаний.
Продукт имеет полностью визуальный интерфейс разработки процессов интеграции данных, не требующий навыков программирования.
Промышленное ETL/ELT-решение
Плюс7 ФормИТ — промышленная платформа интеграции, позволяющая эффективно решать любые задачи в области взаимодействия систем, приложений, организации пайплайнов. Такие задачи включают в себя формирование потоков данных от источников к хранилищам, озерам данных и системам класса Data Lakehouse, синхронизацию и миграцию данных в новые приложения, обмен информацией с контрагентами.
Решение позволяет работать в пакетном и онлайн-режиме.
Плюс7 ФормИТ позволяет осуществлять трансформацию данных в памяти — в интервале между извлечением и загрузкой данных, а также в режиме pushdown (ELT), когда процесс обработки данных перенаправляется после выгрузки из источников в среду приемника: базу данных, Data Lakehouse или в хранилище данных.
Помимо процессов преобразования в Плюс7 ФормИТ можно встраивать процессы по контролю и улучшению качества данных (обогащение, очистка, контроль), а также процессы генерации и маскирования данных.
Преимущества Плюс7 ФормИТ
- Повышение простоты и прозрачности разработки и поддержки, снижение объема экспертного кода, снижение зависимости от редких и дорогих специалистов
- Обработка Big Data — возможность реализации бизнес-инициатив, связанных с обработкой больших объемов данных и позволяющих существенно расширить реализуемые бизнес-кейсы
- Сокращение time-to-market (временного интервала от запроса на отчет до публикаций данных в хранилищах и построения отчетов) за счет более быстрой реализации схем интеграции или пайплайнов данных
- Возможность линейного масштабирования (горизонтального и вертикального)
Основные функциональные возможности
- Большой объем типов источников и приемников данных, включая различные типы СУБД, ODBC, JDBC, FTP/SFTP, файловые папки и сервисы, очереди сообщений и шины данных, веб-сервисы (RESTful API), почтовые сервисы, Hadoop (различные производители), LDAP (как источник данных), бизнес-приложения: 1С, SAP, и другие, а также облачные приложения
- Различные форматы файлов и сообщений: плоские файлы, бинарные файлы, сложноструктурированные (лог-файлы, офисные форматы, PDF), неструктурированные файлы, XML, JSON
- Интеграция с решениями класса MPP через механизмы bulk loading, включая Greenplum (любые производители), Oracle Exadata, SAP HANA, HP Vertica и другие
- Развертывание веб-сервисов для предоставления данных, может обращаться к веб-сервисам для получения данных (включая протоколы REST, SOAP)
- Работа с основными дистрибутивами Hadoop — Arenadata Hadoop, RT.DataLake, Cloudera и другими: обеспечивает возможность загрузки данных в кластер Hadoop
- Извлечение и загрузка из/в различные очереди сообщений, включая Kafka, RabbitMQ, MS MQ, TIBCO и другие, в том числе использование подключения через JMS
- Поддержка формирования и загрузки данных в файлы структурированных данных открытых форматов Parquet, ORC, AVRO, Iceberg (метаданные) в объектных хранилищах S3 (Ceph, MinIO, Закрома)
- Работа с архивированными файлами и распаковкой данных в памяти или командой операционной системы
- Возможность автоматической обработки изменений структуры источника данных
Решаемые бизнес-задачи
Кому подходит продукт
Директор по управлению данными — CDO
- Быстрая поставка данных бизнес-пользователям для анализа и отчетности
- Стандартизация разработки интеграционных процессов
- Повышение доступности и удобства работы с данными
- Сокращение времени подготовки выгрузок данных и отчетов для аналитики
Директор по информационным технологиям — CIO
- Снижение нагрузки на инфраструктуру
- Снижение нагрузки на ИТ-специалистов (мониторинг, развертывание и поддержка инфраструктуры интеграции)
- Стандартизация разработки интеграционных процессов
- Возможность гибкого масштабирования системы
- Высокая надежность системы
Как выглядит и из чего состоит продукт
Интеграционные процессы
Оркестрация интеграционными процессами
- Запуск интеграционных процессов по расписанию
- Запуск интеграционных процессов по требованию
- Запуск интеграционных процессов по событию
- Запуск интеграционных процессов по команде внешних систем
- Перезапуск интеграционных процессов в соответствии с политиками восстановления при сбоях
Выполнение интеграционных процессов
- Выполнение интеграционных процессов в один или несколько потоков
- Выполнение сложных агрегаций и трансформаций данных в рамках интеграционных процессов
- Выполнение интеграционных процессов в режиме ETL и ELT
- Инкрементальное извлечение данных из систем-источников
Мониторинг интеграционных процессов
- Удобный онлайн-мониторинг системы с отображением информации об используемых вычислительных ресурсах
- Удобный мониторинг интеграционных процессов с детализацией выполнения обработки данных на каждом этапе, на каждой трансформации
- Отображение метрик выполнения интеграционных процессов — время выполнения, количество обработанной информации, количество обработанных строк и других
Графическая среда разработки
Графическая среда разработки интеграционных процессов
- Удобный графический интерфейс разработки интеграционных процессов, не требующий навыков программирования
- Возможность предпросмотра результатов выполнения задач трансформации данных на любом шаге
- Быстрое добавление новых источников и приемников данных
- Возможность шаблонирования (переиспользования) преобразований
- Динамическое создание маппингов
- Групповая разработка интеграционных процессов с функцией блокировки (check in / check out)
- Передача разработок между средами в пользовательском интерфейсе решения между средами
- Параметризация
Профилирование данных
Профилирование данных
- Анализ качества данных по основным метрикам
Решение для аналитиков
Решение для аналитиков и бизнес-пользователей
- Получение информацию по профилю данных в базах данных и других источниках данных
- Ручное улучшение качества данных: заполнение, корректировка или разрешение коллизий в данных
- Получение статистики по структуре данных, такой как пустые значения в данных, частотный анализ данных, несоответствие данных их профилю
Решение позволяет вовлечь бизнес-пользователей к непосредственной работе с данными, не перенося эти задачи на бизнес-аналитиков, и за счет этого освобождая их от работы рутинных задач, задач согласования и посредничества как части операционной работы бизнес-пользователей.
Интеграция с другими системами
Продукт имеет сертификаты о совместимости с другими производителями:
- Astra Linux,
- Tantor,
- Platform V Pangolin,
- Platform V SberLinux OS Server,
- Postgres Pro,
- Arenadata Prosperity,
- Jatoba,
- Proxima DB.
Обновленный функционал инструментов по работе с данными
Расскажем о недавно анонсированных релизах продуктов и о том, как новые функциональные возможности качественно и количественно скажутся на работе с данными.
Остались вопросы? Мы собрали самые частые
Плюс7 ФормИТ отличается от Open Source более высокой производительностью и стабильностью. Для обработки одного и того же объема данных за идентичное время Плюс7 ФормИТ использует в 4-6 раз меньше вычислительных ресурсов, что позволяет более оптимально использовать ресурсы.
Да, Плюс7 ФормИТ поддерживает работу как с потоковыми данными, так и пакетную загрузку данных.
Да, Плюс7 ФормИТ поддерживает в качестве источников и приемников данных Hadoop и объектное хранилище S3.
Да, поддерживается – эти форматы могут быть получателями с обновлением данных как в пакетном режиме, так и в режиме, близком к реальному времени.
Да, Плюс7 ФормИТ поддерживает режим работы ELT, который позволяет обрабатывать данные непосредственно на приемнике.
Да, Плюс7 ФормИТ имеет встроенный коннектор gpload/gpfdist для работы с системами на основе Greenplum через дата-узлы.