Интеграция данных

О том, какие факторы влияют на интеграцию больших данных и как правильно выбирать для неё инструменты, рассказывает Дэвид Линтикум – старший партнёр в Cloud Technology Partners, международный эксперт и автор книг по ИТ.

Forrester: технологии Big Data распространяются

Не знаете, что такое Big Data? Читайте об этом в другой статье блога. Аналитики исследовательской компании Forrester указывают на то, что сейчас технологии Big Data распространяются взрывными темпами. Эксперты также предсказывают, что доля технологий NoSQL и Hadoop на рынке в ближайшие 5 лет значительно вырастет. При этом рынок для первых будет увеличиваться на 25% в год, а для второго – на 32,9%. Весь рынок Big Data будет расти в три раза быстрее рынка всех технологий.

Кроме того, Forrester предлагает разделить все технологии Big Data на 6 важных частей: корпоративное хранилище, NoSQL, Hadoop, интеграция больших данных, виртуализация данных и in-memory фабрика данных (in-memory – это технология, которая позволяет проводить все вычисления в оперативной памяти).

Что такое интеграция больших данных?

Интеграция больших данных – это любая технология для перемещения данных из систем Big Data, включая NoSQL-системы хранения данных и Hadoop. А также – для постоянного обновления данных по мере их изменения в этих системах хранения.

Что влияет на развитие технологий интеграции больших данных

• Появились новые системы хранения, которые поддерживают системы Big Data. Появилась новая система? Вместе с ней появилась необходимость извлекать из неё данные. А также – когда данные в неё меняются, распространять об этом информацию по другим системам.
• Повысилась роль безопасности данных, включая шифрование при хранении данных и шифрование «на лету» при запросе к ним.
• Компании стали больше внимания оказывать производительности системы интеграции больших данных, включая предоставление данных в почти реальном времени. Производительность играет важнейшую роль для эффективной поддержки бизнес-процессов.
• Появилось много новых технологий, которые связаны с Big Data. Среди этих технологий – интернет вещей и машинное обучение.
• Выросло значение данных в большинстве организаций. Особенно это касается компаний, чья годовая прибыль насчитывает более миллиарда долларов.

Как выбрать инструмент интеграции больших данных

Принимая все перечисленные тренды во внимание, интеграция больших данных оказывается не такой простой, как могло показаться на первый взгляд. При выборе инструментов я советую сконцентрироваться в первую очередь на следующих требованиях: производительность, пригодность для решения вашей конкретной задачи и для Data Governance.

Давайте рассмотрим производительность и пригодность для Data Governance. Для того, чтобы понять, какой инструмент лучше всего подойдёт для вашей задачи, напишите на почту info@dis-group.ru

Пригодность для решения задач и для Data Governance

Чтобы не ошибиться, нужно понять, как вам нужно перемещать данные в и из систем Big Data. Кроме того, нужно определить, какие операции вы будете проводить с данными. Например, нужно ли как-то трансформировать схему, структуру данных. В некоторых случаях, возможно, придётся полностью её убрать или наоборот добавить. Не забывайте, что системы Big Data имеют дело со структурированными и неструктурированными данными.  И нужно одинаково эффективно управлять обоими типами.

Производительность

Производительность инструментов для интеграции больших данных играет очень большую роль. К скорости, с которой данные перемещаются, есть свои требования. Информация должна вовремя поступать к целевому бизнес-пользователю или в целевую систему, чтобы инструменты для аналитики успевали её поглотить.

Неудовлетворительная производительность решения интеграции больших данных встречается часто. Решить эту проблему без значительных изменений чаще всего очень сложно. Поэтому заранее принимайте этот аспект во внимание.