Big Data: что это такое и где применяется? Азбука больших данных от А до Я. Часть 1

Big Data – это не просто терабайты информации, собранные вместе. О том, в чём отличие больших данных от традиционных, какие специальные технологии используются для них и почему Big Data играют всё большую роль для бизнеса рассказывает Майлз Сойр. Майлз работает бизнес-стратегом и специализируется на помощи организациям в проведении дата-центричными трансформации. Также Майлз – модератор дискуссий #CIOChat

Big Data отличаются от традиционных данных

Есть много определений Big Data. Большинство экспертов описывает большие данные через их характеристики. К этим характеристикам относятся объём, скорость, многообразие. Ви Си Шоудары (доцент кафедры информационных систем, Калифорнийский университет в Ирвайне) считает, что «главное отличие Big Data от традиционных данных – это объём информации, скорости с которой она создаётся, многообразие источников, из которых она поступает».

Эксперты консалтинговой компании в области BI Hurwitz and Associates придерживаются этого же определения. Они описывают технологии Big Data через их способность управлять большим объёмом разрозненных данных с необходимой скоростью и в необходимые временные рамки.  А также – обеспечивать анализ таких данных и реакцию на них в реальном времени.

А что насчёт точки зрения бизнеса? Недавно я слышал, как директор по ИТ очень крупной компании в области здравоохранения рассказывал о больших данных. Прежде чем дать определение Big Data, он объяснил, что такое «маленькие данные». Он считает, что «маленькие данные» — это данные из «одного источника, часто они обрабатываются пакетами, а управляют ими локально». Тогда что же такое Big Data?  «Big Data имеют разные источники, требуют связи между источниками, могут быть структурированными и неструктурированными, поступают в реальном времени и используют информацию в совокупности». Этот эксперт также утверждает, что «Big Data нацелены на то, чтобы выстраивать модели из самих данных. Эффективнее искать связи сразу в больших данных, чем создавать такие связи в моделях». Этот механизм значительно отличается о того, который применяется в традиционном Business Intelligence (BI), который лучше использовать, когда вы лучше знаете, какой должна быть модель для ваших данных».

Big Data требует архитектуры параллельной обработки

Работать с Big Data стало возможным благодаря архитектурам параллельной обработки. Если быть честным, параллельные архитектуры не новинка, они существуют уже какое-то время. Я помню, что впервые я столкнулся с параллельной архитектурой на сервере ещё в середине 90-х. А если быть совсем честным, автор знаменитого принципа Фон Нейман дал определение архитектур параллельной и последовательной обработки данных одновременно. Наши технологии потеряли способность обрабатывать данные параллельно, пока пытались их централизовать и защитить.

Hadoop – самая известная сейчас программная платформа для параллельной обработки. Платформа распределяет данные и процессы по их обработке по нескольким своим узлам. Узлы находятся на разных компьютерах. Высокая производительность достигается за счёт того, что каждая партия данных обрабатывается на нескольких узлах.

Big Data двигается от описательной статистики к предиктивной аналитике

Шоудары считает, что Big Data – это не просто данные большого объёма, которые можно обрабатывать. Это и то, как вы можете их использовать. Он утверждает, что «Big Data могут кардинально изменить бизнес. Традиционные данные использовались как описательная статистика, для которой собирались и майнились все доступные данные. Big Data позволяет предсказать события на основе разрозненной информации, а это уже диктует, какие дальнейшие шаги стоит предпринять бизнесу».

О том, как монетизировать большие данные, читайте в статье нашего блога — Ценность Big Data: висит груша, нельзя скушать. А вы научились монетизировать?