Логотип сайта
Логотип фиксированного хедера
Мобильный логотип
  • Технологии
    • Управление данными
      • О платформе Informatica
      • Супермаркет данных
        • Axon Data Governance
        • Enterprise Data Catalog
        • Enterprise Data Preparation
      • Интеграция данных
        • PowerCenter
        • Informatica Integration Hub
        • Real-Time Data Integration
        • B2B Data Exchange
        • Advanced Data Transformation
        • Enterprise Data Catalog
      • Управление мастер-данными
        • Master Data Management Software
        • Product 360 (PIM)
        • Customer 360
        • Relate 360
      • Защита чувствительных данных
        • Data Privacy Management
        • Data Masking
      • Качество данных
        • Informatica Data Quality
      • Big Data
        • Enterprise Data Catalog
        • Data Engineering Integration
        • Enterprise Data Preparation
        • Data Engineering Streaming
        • Среда хранения и обработки данных Arenadata
      • Data Governance
        • Enterprise Data Catalog
        • Axon Data Governance
    • Бизнес-аналитика
    • Профессиональное управление знаниями
      • KMS Lighthouse
    • Управление ИТ
      • Управление потоками данных и процессами
      • Платформа управления ИТ-услугами
      • Автоматизация бизнес-процессов
      • Мониторинг ИТ-сервисов
    • Интеллектуальное рабочее место
    • Противодействие финансовым преступлениям
      • О платформе NiceActimize
      • Enterprise Risk Case Management
      • Противодействие отмыванию денег
      • Compliance на финансовых рынках
      • Антифрод
  • Бизнес-решения
    • Супермаркет данных
    • Data Governance
    • Управление потоками данных и процессами
    • Аналитика нового поколения
    • Сustomer Experience
    • Решение в области Big Data
    • Противодействие финансовым преступлениям
  • Консалтинг
  • Заказчики
  • Ресурсы
    • Мероприятия
    • Электронные книги
    • Вебинары в записи
    • Блог компании DIS Group
    • Спроси эксперта
    • Ток-шоу Game Changers
  • Обучение
    • О Тренинг-центре DIS Group
      • Путь развития компетенций
    • Все тренинги
      • ЗНАКОМСТВО СО СРЕДСТВОМ РАЗРАБОТКИ – INFORMATICA DEVELOPER
      • BIG DATA ДЛЯ РАЗРАБОТЧИКОВ
      • POWEREXCHANGE ДЛЯ ORACLE CDC
      • BUSINESS GLOSSARY ДЛЯ ПОЛЬЗОВАТЕЛЕЙ
      • METADATA MANAGER ДЛЯ ПОЛЬЗОВАТЕЛЕЙ
      • POWERCENTER: ИНТЕГРАЦИЯ ДАННЫХ ДЛЯ РАЗРАБОТЧИКОВ. УРОВЕНЬ 2
      • TEST DATA MANAGEMENT ДЛЯ РАЗРАБОТЧИКОВ
      • DATA QUALITY ДЛЯ РАЗРАБОТЧИКОВ
      • DATA QUALITY ДЛЯ РАЗРАБОТЧИКОВ. УРОВЕНЬ 2
      • АДМИНИСТРИРОВАНИЕ ПЛАТФОРМЫ INFORMATICA
      • POWERCENTER: ИНТЕГРАЦИЯ ДАННЫХ ДЛЯ РАЗРАБОТЧИКОВ
      • AXON ДЛЯ АДМИНИСТРАТОРОВ
      • AXON ДЛЯ ПОЛЬЗОВАТЕЛЕЙ
      • ENTERPRISE DATA CATALOG ДЛЯ ПОЛЬЗОВАТЕЛЕЙ
      • ENTERPRISE DATA CATALOG ДЛЯ АДМИНИСТРАТОРОВ
      • INFORMATICA ANALYST, DATA DISCOVERY И ПРОФИЛИРОВАНИЕ
  • О компании
    • Контакты компании
    • Новости DIS Group
    • СМИ о нас
    • Партнеры
    • Вакансии
    • Техническая поддержка
  • en
Пред.Интеграция данных: нужен стратегический подход05 апреля 2019След.Стандарты пригодности Knowledge Base10 апреля 2019
  • Блог компании DIS Group

Что такое интеграция больших данных и как выбрать для неё инструменты

05.04.2019в Блог компании DIS Group

О том, какие факторы влияют на интеграцию больших данных и как правильно выбирать для неё инструменты, рассказывает Дэвид Линтикум – старший партнёр в Cloud Technology Partners, международный эксперт и автор книг по ИТ.

Forrester: технологии Big Data распространяются

Не знаете, что такое Big Data? Читайте об этом в другой статье блога. Аналитики исследовательской компании Forrester указывают на то, что сейчас технологии Big Data распространяются взрывными темпами. Эксперты также предсказывают, что доля технологий NoSQL и Hadoop на рынке в ближайшие 5 лет значительно вырастет. При этом рынок для первых будет увеличиваться на 25% в год, а для второго – на 32,9%. Весь рынок Big Data будет расти в три раза быстрее рынка всех технологий.

Технологии больших данных Big Data

Кроме того, Forrester предлагает разделить все технологии Big Data на 6 важных частей: корпоративное хранилище, NoSQL, Hadoop, интеграция больших данных, виртуализация данных и in-memory фабрика данных (in-memory – это технология, которая позволяет проводить все вычисления в оперативной памяти).

Что такое интеграция больших данных?

Интеграция больших данных – это любая технология для перемещения данных из систем Big Data, включая NoSQL-системы хранения данных и Hadoop. А также – для постоянного обновления данных по мере их изменения в этих системах хранения.

Что влияет на развитие технологий интеграции больших данных

  • Появились новые системы хранения, которые поддерживают системы Big Data. Появилась новая система? Вместе с ней появилась необходимость извлекать из неё данные. А также – когда данные в неё меняются, распространять об этом информацию по другим системам.
  • Повысилась роль безопасности данных, включая шифрование при хранении данных и шифрование «на лету» при запросе к ним.
  • Компании стали больше внимания оказывать производительности системы интеграции больших данных, включая предоставление данных в почти реальном времени. Производительность играет важнейшую роль для эффективной поддержки бизнес-процессов.
  • Появилось много новых технологий, которые связаны с Big Data. Среди этих технологий – интернет вещей и машинное обучение.
  • Выросло значение данных в большинстве организаций. Особенно это касается компаний, чья годовая прибыль насчитывает более миллиарда долларов.

Инструмент интеграции больших данных Big Data

Как выбрать инструмент интеграции больших данных

Принимая все перечисленные тренды во внимание, интеграция больших данных оказывается не такой простой, как могло показаться на первый взгляд. При выборе инструментов я советую сконцентрироваться в первую очередь на следующих требованиях: производительность, пригодность для решения вашей конкретной задачи и для Data Governance.

Давайте рассмотрим производительность и пригодность для Data Governance. Для того, чтобы понять, какой инструмент лучше всего подойдёт для вашей задачи, напишите на почту info@dis-group.ru

Пригодность для решения задач и для Data Governance

Чтобы не ошибиться, нужно понять, как вам нужно перемещать данные в и из систем Big Data. Кроме того, нужно определить, какие операции вы будете проводить с данными. Например, нужно ли как-то трансформировать схему, структуру данных. В некоторых случаях, возможно, придётся полностью её убрать или наоборот добавить. Не забывайте, что системы Big Data имеют дело со структурированными и неструктурированными данными.  И нужно одинаково эффективно управлять обоими типами.

Производительность

Производительность инструментов для интеграции больших данных играет очень большую роль. К скорости, с которой данные перемещаются, есть свои требования. Информация должна вовремя поступать к целевому бизнес-пользователю или в целевую систему, чтобы инструменты для аналитики успевали её поглотить.

Неудовлетворительная производительность решения интеграции больших данных встречается часто. Решить эту проблему без значительных изменений чаще всего очень сложно. Поэтому заранее принимайте этот аспект во внимание.

Поиск

Рубрики

  • Истории успеха (310)
    • Индустрия (130)
      • Банковский сектор (24)
      • Государственный сектор (1)
      • Другие (13)
      • Медицина (17)
      • Нефтегаз и энергетика (9)
      • Промышленность (7)
      • Розница (15)
      • Сельское хозяйство (2)
      • Страхование (19)
      • Телекоммуникации (18)
      • Транспорт (8)
      • Финансовые организации (3)
    • Решение (234)
      • Data governance (58)
      • E-commerce и омниканальность (32)
      • Аналитика нового поколения (83)
      • Противодействие финансовым преступлениям (6)
      • Решение в области Big Data (43)
      • Сustomer Experience (60)
    • Технологии (296)
      • Big Data (54)
      • NiceActimize (7)
      • Бизнес-аналитика (13)
      • Защита данных (17)
      • Интеграция данных (55)
      • Качество данных (22)
      • Система управления знаниями (58)
      • Технологии Data Governance (34)
      • Управление ИТ (39)
      • Управление мастер-данными (27)
  • Книги (12)
  • Новости компании (539)
    • Блог компании DIS Group (153)
    • Мероприятия (103)
      • Вебинары в записи (44)
    • Новости DIS Group (239)
    • СМИ о нас (37)
  • Опросы (6)
  • Ответы эксперта (21)
Модуль изображения

Мы упрощаем работу с данными и информацией, предоставляя новые возможности для роста бизнеса.
Email: info@dis-group.ru
Телефон: +7 495 645-0201, факс +7 495 645-0188
125284, Москва, Ленинградский проспект 31А, стр1, 6 этаж, БЦ «МонАрх»

Решения
Data Governance
Аналитика нового поколения
E-commerce и омниканальность
Сustomer Experience
Решение в области Big Data
Противодействие финансовым преступлениям
Мы в соцсетях
  • Facebook
  • LInkedIn
  • Youtube
Подписаться на новости

Будьте в курсе последних тенденций вместе с нами.

  • Новости рынка
Этот веб-сайт использует файлы cookie для улучшения обслуживания. Подробнее см. в Политике конфиденциальности DIS Group. Принять
Privacy & Cookies Policy

Privacy Overview

Этот веб-сайт использует куки для улучшения вашей навигации по сайту. Из этих файлов cookie файлы, которые классифицируются по мере необходимости, хранятся в вашем браузере, поскольку они необходимы для работы основных функций веб-сайта. Мы также используем сторонние файлы cookie, которые помогают нам анализировать и понимать, как вы используете этот веб-сайт. Эти куки будут храниться в вашем браузере только с вашего согласия. У вас также есть возможность отказаться от этих файлов cookie. Но отказ от некоторых из этих файлов cookie может повлиять на ваш опыт просмотра.
Privacy Overview

Этот веб-сайт использует куки для улучшения вашей навигации по сайту. Из этих файлов cookie файлы, которые классифицируются по мере необходимости, хранятся в вашем браузере, поскольку они необходимы для работы основных функций веб-сайта. Мы также используем сторонние файлы cookie, которые помогают нам анализировать и понимать, как вы используете этот веб-сайт. Эти куки будут храниться в вашем браузере только с вашего согласия. У вас также есть возможность отказаться от этих файлов cookie. Но отказ от некоторых из этих файлов cookie может повлиять на ваш опыт просмотра.

Necessary Always Enabled

Necessary cookies are absolutely essential for the website to function properly. This category only includes cookies that ensures basic functionalities and security features of the website. These cookies do not store any personal information.

Non-necessary

Any cookies that may not be particularly necessary for the website to function and is used specifically to collect user personal data via analytics, ads, other embedded contents are termed as non-necessary cookies. It is mandatory to procure user consent prior to running these cookies on your website.