Логотип сайта
Логотип фиксированного хедера
Мобильный логотип
  • Технологии
    • Управление данными
      • О платформе Informatica
      • Супермаркет данных
        • Axon Data Governance
        • Enterprise Data Catalog
        • Enterprise Data Preparation
      • Интеграция данных
        • PowerCenter
        • Informatica Integration Hub
        • Real-Time Data Integration
        • B2B Data Exchange
        • Advanced Data Transformation
        • Enterprise Data Catalog
      • Управление мастер-данными
        • Master Data Management Software
        • Product 360 (PIM)
        • Customer 360
        • Relate 360
      • Защита чувствительных данных
        • Data Privacy Management
        • Data Masking
      • Качество данных
        • Informatica Data Quality
      • Big Data
        • Enterprise Data Catalog
        • Data Engineering Integration
        • Enterprise Data Preparation
        • Data Engineering Streaming
        • Среда хранения и обработки данных Arenadata
      • Data Governance
        • Enterprise Data Catalog
        • Axon Data Governance
    • Бизнес-аналитика
    • Профессиональное управление знаниями
      • KMS Lighthouse
    • Управление ИТ
      • Управление потоками данных и процессами
      • Платформа управления ИТ-услугами
      • Автоматизация бизнес-процессов
      • Мониторинг ИТ-сервисов
    • Интеллектуальное рабочее место
    • Противодействие финансовым преступлениям
      • О платформе NiceActimize
      • Enterprise Risk Case Management
      • Противодействие отмыванию денег
      • Compliance на финансовых рынках
      • Антифрод
  • Бизнес-решения
    • Супермаркет данных
    • Data Governance
    • Управление потоками данных и процессами
    • Аналитика нового поколения
    • Сustomer Experience
    • Решение в области Big Data
    • Противодействие финансовым преступлениям
  • Консалтинг
  • Заказчики
  • Ресурсы
    • Мероприятия
    • Электронные книги
    • Вебинары в записи
    • Блог компании DIS Group
    • Спроси эксперта
    • Ток-шоу Game Changers
  • Обучение
    • О Тренинг-центре DIS Group
      • Путь развития компетенций
    • Все тренинги
      • ЗНАКОМСТВО СО СРЕДСТВОМ РАЗРАБОТКИ – INFORMATICA DEVELOPER
      • BIG DATA ДЛЯ РАЗРАБОТЧИКОВ
      • POWEREXCHANGE ДЛЯ ORACLE CDC
      • BUSINESS GLOSSARY ДЛЯ ПОЛЬЗОВАТЕЛЕЙ
      • METADATA MANAGER ДЛЯ ПОЛЬЗОВАТЕЛЕЙ
      • POWERCENTER: ИНТЕГРАЦИЯ ДАННЫХ ДЛЯ РАЗРАБОТЧИКОВ. УРОВЕНЬ 2
      • TEST DATA MANAGEMENT ДЛЯ РАЗРАБОТЧИКОВ
      • DATA QUALITY ДЛЯ РАЗРАБОТЧИКОВ
      • DATA QUALITY ДЛЯ РАЗРАБОТЧИКОВ. УРОВЕНЬ 2
      • АДМИНИСТРИРОВАНИЕ ПЛАТФОРМЫ INFORMATICA
      • POWERCENTER: ИНТЕГРАЦИЯ ДАННЫХ ДЛЯ РАЗРАБОТЧИКОВ
      • AXON ДЛЯ АДМИНИСТРАТОРОВ
      • AXON ДЛЯ ПОЛЬЗОВАТЕЛЕЙ
      • ENTERPRISE DATA CATALOG ДЛЯ ПОЛЬЗОВАТЕЛЕЙ
      • ENTERPRISE DATA CATALOG ДЛЯ АДМИНИСТРАТОРОВ
      • INFORMATICA ANALYST, DATA DISCOVERY И ПРОФИЛИРОВАНИЕ
  • О компании
    • Контакты компании
    • Новости DIS Group
    • СМИ о нас
    • Партнеры
    • Вакансии
    • Техническая поддержка
  • en
Пред.Разработчик DIS Group выступил на конференции по анализу данных и искусственному интеллекту в Астрахани07 ноября 2018След.Защита данных: маскирование и шифрование не одно и то же!08 ноября 2018
  • Блог компании DIS Group

ETL-процессы VS анархия. Что выбрать?

08.11.2018в Блог компании DIS Group

В хранилищах данных власть завоёвывают анархисты. Они призывают провести ИТ-революцию и избавиться от ETL-процессов и долгой, сложной и разрозненной интеграции. О том, почему не стоит идти у них на поводу и нужно внедрять демократию данных, а не анархию, рассуждает Мурти Матипракасам главный менеджер по продуктам в категории решений Big Data.

Кто такие анархисты в области данных и почему они против ETL-процессов?

Анархистов, призывающих к революции, всё больше. «Аналитикам нечего терять кроме кандалов», – считают они.

С появлением эффективных и легко масштабируемых платформ, таких как Hadoop, анархисты требуют «не использовать ETL-процессы и долгую, сложную и разрозненную интеграцию».

С одной стороны, призыв к революции может показаться интересным. Количество систем-источников растёт. CDO всё сложнее поддерживать централизованную организацию данных. Вместо традиционных ETL-процессов анархисты предлагают новый порядок, при котором данные перемещаются неконтролируемо. А CDO просто отрекается от своей обязанности управлять корпоративными данными как активом. Но те ETL-процессы, о которых говорят анархисты, сильно изменились за последнее время.

ETL процессы в компании

ETL-процессы значительно развились, их рано списывать со счетов

Анархисты застряли в прошлом. Они видят ETL-процессы такими, какими они были в 1999 году. Теперь же многое изменилось.

Ещё хуже то, что революционный подход отвлекает внимание от успешного опыта организаций, которым удалось эволюционно модернизировать свою работу с данными. Такие компании смогли организовать автономность аналитики и гибкость ИТ-отдела, при этом соблюсти все требования в области безопасности и управления данными. Большую роль в этом сыграли технологии работы с метаданными (данными о данных). Метаданные становятся всё важнее в мире больших объёмов неструктурированных данных и динамических схем.

Анархия в управлении данными – не выход. Выход – демократия

Так что же нужно организациям, чтобы установить демократию? Я предлагаю 7 рекомендаций, которые уже доказали свою эффективность у клиентов Informatica для успешной аналитики без анархии и хаоса.

Автоматический ввод данных

Автоматизируйте ввод данных с высокопроизводительными предустановленными коннекторами или технологиями обработки данных.

Такие эффективные и масштабируемые платформы, как Hadoop, позволяют данные в сыром формате без сложной обработки и настройки вручную. Инструменты легко справляются с такими задачами. При этом такой формат ввода данных позволяет обеспечить гибкость и скорость.

ETL процессы как инструмент эффективности

Разные группы данных

Разделите данные на разные группы в зависимости от того, для кого они предназначены. Data scientists может быть удобнее получить данные, очищенные только на 70%, но быстро. А BI-пользователи предпочтут подождать, пока данные не будут очищены на 100%. Такие группы можно создать на различных платформах (например, на Hadoop) с помощью инструментов профилирования данных и их валидации.

Блендинг данных

Дайте возможность потребителям данных самостоятельно комбинировать их из разных источников в дата-сеты– заниматься блендингом (Data Blending).

Теперь не обязательно, чтобы обеспечение качества данных было прерогативой ИТ-отдела. После первоначального очищения данных предоставьте другим специалистам (например, data scientists) прямой доступ к данным. А также – упрощённым инструментам Data Blending, чтобы они могли принимать активное участие в курировании данных.

Быстрое прототипирование и совместное курирование данных

Применяйте гибкое курирование данных, к которому подключено несколько специалистов и с быстрым прототипированием. Быстрые и успешные проекты всегда получаются благодаря совместной работе бизнес-пользователей и ИТ-отдела.

Инструменты для работы нескольких специалистов с возможностью быстрого прототипирования делают курирование данных гибким и позволяет быстро получать пользу.

Мониторинг качества данных

Применяйте мониторинг качества данных вместо их микроменеджмента. Обеспечение качества– это не чётко определённый процесс, который нужно одинаково использовать для всех данных.

Мониторинг, основанный на системе правил, и система оповещений позволяют ИТ-отделу гибко следить за процессами, которые происходят в данных, и совместно достигать наглядности качества данных.

Виртуализация данных и программа-брокер

Используйте виртуализацию (Data Virtualization) для улучшения доступности данных.  Также для этой цели можно использовать программу-брокера.

До того, как станет ясно, какую ценность имеют данные, возможно, нет смысла перемещать их куда-то из системы-источника. Виртуализация данных может помочь обеспечить быстрый просмотр дата-сетов без их перемещения.

Когда ценность данных определена, перемещение данных и их курирование можно автоматизировать с помощью программы-брокера. Она будет автоматически вводить данные в один центр. В нём пользователи смогут подписаться на получение этих данных.

Каталог метаданных

Применяйте универсальный каталог метаданных для того, чтобы извлекать больше пользы из информации, которую храните.

Сейчас появились новые технологии, которые базируются на машинном обучении и графах. Их можно использовать, чтобы сделать предположение насчёт структуры, значения, ценности актива данных, рисков, связанных с ними. А также – чтобы передать эту информацию аналитикам и ИТ-специалистам для их большей автономии и улучшения управления данными и их защиты.

Стройте демократию!

Все эти рекомендации были подготовлены на основе опыта клиентов Informatica, которым удалось добиться успеха в области обеспечения доступности данных, их интеграции, миграции и ETL-процессов. Придерживаясь этих советов, вы добьётесь того, что правильные данные будут доступны в нужное время для сквозной, гибкой и надёжной аналитики. А это и есть основа для хорошо управляемой демократии.

Радж Патил (глава стратегии управления данными, архитектуры и поддержки принятия управленческих решений в BNY Mellon) недавно выступил на MIT CDO Симпозиуме. «Именно неуправляемая цифровая трансформация – причина хаоса,  – рассказал он. –  Я не предлагаю строить хранилище данных, в котором вам придётся моделировать весь окружающий мир. Выберете для себя один подход, который позволит вам эволюционировать по ходу дела. Например, онтологический подход. Наша цель здесь – создать схему данных для всей организации, которая будет поддерживать курирование данных, их безопасность, управление ими и так далее».

Анархисты в мире данных только создают хаос и превращают данные из актива в обузу. Успешные лидеры стараются использовать демократию.

Поиск

Рубрики

  • Истории успеха (310)
    • Индустрия (130)
      • Банковский сектор (24)
      • Государственный сектор (1)
      • Другие (13)
      • Медицина (17)
      • Нефтегаз и энергетика (9)
      • Промышленность (7)
      • Розница (15)
      • Сельское хозяйство (2)
      • Страхование (19)
      • Телекоммуникации (18)
      • Транспорт (8)
      • Финансовые организации (3)
    • Решение (234)
      • Data governance (58)
      • E-commerce и омниканальность (32)
      • Аналитика нового поколения (83)
      • Противодействие финансовым преступлениям (6)
      • Решение в области Big Data (43)
      • Сustomer Experience (60)
    • Технологии (296)
      • Big Data (54)
      • NiceActimize (7)
      • Бизнес-аналитика (13)
      • Защита данных (17)
      • Интеграция данных (55)
      • Качество данных (22)
      • Система управления знаниями (58)
      • Технологии Data Governance (34)
      • Управление ИТ (39)
      • Управление мастер-данными (27)
  • Книги (12)
  • Новости компании (539)
    • Блог компании DIS Group (153)
    • Мероприятия (103)
      • Вебинары в записи (44)
    • Новости DIS Group (239)
    • СМИ о нас (37)
  • Опросы (6)
  • Ответы эксперта (21)
Модуль изображения

Мы упрощаем работу с данными и информацией, предоставляя новые возможности для роста бизнеса.
Email: info@dis-group.ru
Телефон: +7 495 645-0201, факс +7 495 645-0188
125284, Москва, Ленинградский проспект 31А, стр1, 6 этаж, БЦ «МонАрх»

Решения
Data Governance
Аналитика нового поколения
E-commerce и омниканальность
Сustomer Experience
Решение в области Big Data
Противодействие финансовым преступлениям
Мы в соцсетях
  • Facebook
  • LInkedIn
  • Youtube
Подписаться на новости

Будьте в курсе последних тенденций вместе с нами.

  • Новости рынка
Этот веб-сайт использует файлы cookie для улучшения обслуживания. Подробнее см. в Политике конфиденциальности DIS Group. Принять
Privacy & Cookies Policy

Privacy Overview

Этот веб-сайт использует куки для улучшения вашей навигации по сайту. Из этих файлов cookie файлы, которые классифицируются по мере необходимости, хранятся в вашем браузере, поскольку они необходимы для работы основных функций веб-сайта. Мы также используем сторонние файлы cookie, которые помогают нам анализировать и понимать, как вы используете этот веб-сайт. Эти куки будут храниться в вашем браузере только с вашего согласия. У вас также есть возможность отказаться от этих файлов cookie. Но отказ от некоторых из этих файлов cookie может повлиять на ваш опыт просмотра.
Privacy Overview

Этот веб-сайт использует куки для улучшения вашей навигации по сайту. Из этих файлов cookie файлы, которые классифицируются по мере необходимости, хранятся в вашем браузере, поскольку они необходимы для работы основных функций веб-сайта. Мы также используем сторонние файлы cookie, которые помогают нам анализировать и понимать, как вы используете этот веб-сайт. Эти куки будут храниться в вашем браузере только с вашего согласия. У вас также есть возможность отказаться от этих файлов cookie. Но отказ от некоторых из этих файлов cookie может повлиять на ваш опыт просмотра.

Necessary Always Enabled

Necessary cookies are absolutely essential for the website to function properly. This category only includes cookies that ensures basic functionalities and security features of the website. These cookies do not store any personal information.

Non-necessary

Any cookies that may not be particularly necessary for the website to function and is used specifically to collect user personal data via analytics, ads, other embedded contents are termed as non-necessary cookies. It is mandatory to procure user consent prior to running these cookies on your website.