Что такое Big Data?

Big Data – это не просто терабайты информации, собранные вместе. О том, в чём отличие больших данных от традиционных, какие специальные технологии используются для них и почему Big Data играют всё большую роль для бизнеса рассказываем в этой статье.

Определение Big Data

Есть много определений Big Data. Большинство экспертов описывает большие данные через их характеристики. К этим характеристикам относятся объём, скорость, многообразие. Ви Си Шоудары (доцент кафедры информационных систем, Калифорнийский университет в Ирвайне) считает, что «главное отличие Big Data от традиционных данных – это объём информации, скорости с которой она создаётся, многообразие источников, из которых она поступает».

Эксперты консалтинговой компании в области BI Hurwitz and Associates придерживаются этого же определения. Они описывают технологии Big Data через их способность управлять большим объёмом разрозненных данных с необходимой скоростью и в необходимые временные рамки.  А также – обеспечивать анализ таких данных и реакцию на них в реальном времени.

А что насчёт точки зрения бизнеса? Недавно я слышал, как директор по ИТ очень крупной компании в области здравоохранения рассказывал о больших данных. Прежде чем дать определение Big Data, он объяснил, что такое «маленькие данные». Он считает, что «маленькие данные» — это данные из «одного источника, часто они обрабатываются пакетами, а управляют ими локально». Тогда что же такое Big Data?  «Big Data имеют разные источники, требуют связи между источниками, могут быть структурированными и неструктурированными, поступают в реальном времени и используют информацию в совокупности». Этот эксперт также утверждает, что «Big Data нацелены на то, чтобы выстраивать модели из самих данных. Эффективнее искать связи сразу в больших данных, чем создавать такие связи в моделях». Этот механизм значительно отличается о того, который применяется в традиционном Business Intelligence (BI), который лучше использовать, когда вы лучше знаете, какой должна быть модель для ваших данных».

Работа с большими данными

Работать с Big Data стало возможным благодаря архитектурам параллельной обработки. Если быть честным, параллельные архитектуры не новинка, они существуют уже какое-то время. Я помню, что впервые я столкнулся с параллельной архитектурой на сервере ещё в середине 90-х. А если быть совсем честным, автор знаменитого принципа Фон Нейман дал определение архитектур параллельной и последовательной обработки данных одновременно. Наши технологии потеряли способность обрабатывать данные параллельно, пока пытались их централизовать и защитить.

Hadoop – самая известная сейчас программная платформа для параллельной обработки. Платформа распределяет данные и процессы по их обработке по нескольким своим узлам. Узлы находятся на разных компьютерах. Высокая производительность достигается за счёт того, что каждая партия данных обрабатывается на нескольких узлах.

Шоудары считает, что Big Data – это не просто данные большого объёма, которые можно обрабатывать. Это и то, как вы можете их использовать. Он утверждает, что «Big Data могут кардинально изменить бизнес. Традиционные данные использовались как описательная статистика, для которой собирались и майнились все доступные данные. Big Data позволяет предсказать события на основе разрозненной информации, а это уже диктует, какие дальнейшие шаги стоит предпринять бизнесу».

Кто работает с Big Data

Те данные, которые вы собираете, — ваш новый «цифровой продукт». Именно так вы должны позиционировать Big Data перед теми, кому собираетесь их продавать.

Big Data давно уже стали полноценным «продуктом». Такие компании, как Nielsen Acxiom, D&B, TransUnion, Equifax, Bloomberg и IMS уже строят свой бизнес вокруг них. Эти компании продают возможность использовать свои необработанные данные, как если бы те были частью инфраструктуры. Вы должны равняться на такие примеры.

Как и при выводе любого другого продукта на рынок, прежде всего необходимо оценить текущую ситуацию. Для этого честно ответьте себе на следующие вопросы:

• Доля рынка. Управляет ли ваша организация по крайней мере 20% основных транзакций на рынке?
• Новаторство. Является ли ваша организация первой, второй или, по крайней мере, входит ли она в 50% компаний своей индустрии, которые первыми выводят Big Data на рынок? Если это так, вы сможете заработать до 80% всей прибыли на рынке.
• Права использования. Есть ли у вас законные права передавать использование данных B2B и B2C клиентов третьим лицам?
• Конфиденциальность. Есть ли у вас глубокое понимание требований регуляторов, под которые попадают ваши большие данные?
• Готовность. Есть ли у вашей организации необходимая ИТ-инфраструктура, сотрудники для продажи и технической поддержки Big Data?
• Деловое предложение. Хорошо ли вы понимаете, как потребители вашей Big Data оценивают его возможности приносить прибыль? Ответить на этот вопрос необходимо, чтобы не ошибиться с ценой.

Если у вас всё в порядке с перечисленными вопросами, то можно переходить к позиционированию вашего «цифрового продукта» на рынке. Для этого важно понять, как потенциальный покупатель сможет использовать большие данные, которые вы собрали.

Где применяется работа с большими данными

Цифровая трансформация может проходить в следующих форматах:

• Автоматизация;
• Расширение базы поставщиков;
• Цифровизация дистрибуции;
• Введение новой цифровой функциональной возможности;
• Создание нового кастомизированного продукта;
• Работа платформы;

Скорее всего собранные вами большие данные можно будет применить для решения задач одного или нескольких из перечисленных форматов цифровой трансформации.

Преимущества и недостатки Big Data

Большие данные для автоматизации операционной работы

Автоматизация улучшает продуктивность и эффективность существующих процессов. Хорошими примерами автоматизации могут быть роботизированные механизмы, рекомендательные системы, витрины для самостоятельной аналитики и другое.

Всё это невозможно осуществить без больших данных. Их анализ поможет понять, почему конкретные производственные роботы меньше ломаются в определённых условиях. Он покажет, почему отдельные схемы заказов влекут за собой новые покупки. Он поможет найти набор данных, который можно использовать для предсказания удовлетворённости клиента товаром или услугой.

Big Data для поиска новых поставщиков

Цифровая трансформация может значительно расширить базу поставщиков. А это привлечёт новые потоки прибыли в компанию. Особенно это касается бесчисленных маркетплейсов для перепродажи товаров. Примером такого маркетплейса может быть Poshmark (Юла и Avito в России).

Анализ информации о настроении потребителей, а также соответствия спроса и предложения можно использовать для выбора оптимальной цены и запуска эффективных маркетинговых акций. А чем успешнее товары будут продаваться, тем больше поставщиков будут заинтересованы работать с маркетплейсом.

Big Data для онлайн дистрибуции

Цифровизация дистрибуции товара, услуги или контента — перемещение портфолио компании онлайн. Уход в онлайн помогает компаниям сократить траты на физическую инвентаризацию и инфраструктуру.

Примером перехода на цифровую дистрибуцию могут быть обучающие курсы Khan Academy и новостной сайт New York Times Online Edition. Большие данные здесь нужны, чтобы улучшить таргетинг и предложение.

Big Data для новых возможностей старых приборов

Цифровая трансформация помогает приборам и аппаратам приобрести новые функциональные возможности. Хорошим примером этого является термостат NEST, который умеет проверять местонахождение хозяина через GPS на его телефоне. Если вас нет дома, термостат отключит отопление. Он же сможет понять, когда нужно понизить или повысить температуру, чтобы вам было комфортно.

Самостоятельные решения такие аппараты и приборы принимают на основе больших данных.

Big Data как часть кастомизированного продукта

Эта задача немного сложнее предыдущих. Организации меняют структуры товаров и услуг, чтобы они соответствовали новым моделям использования. Пример этого – когда клиент не приобретает товар, а подписывается на него. В основном такие модели внедряются, чтобы избежать цикла продаж, ориентированного на капитальные траты.

Так, компания GE Aviation производит реактивные двигатели для самолётов. Она предлагает возможность своим клиентам не покупать турбины за 24 миллиона долларов, а взять их в аренду. В этом случае платить придётся только за то время, которое турбины работают в полёте.

Компания выбрала такой способ оплаты, чтобы извлечь выгоду из двух долгоиграющих трендов. Количество миль, которые пролетали пассажиры, росло. А новые комплектующие перевозчики покупали один раз в девять лет.

Big Data в этом случае становятся частью кастомизированного продукта, который продает GE Aviation. Компани активно занимается их сбором во время полёта, в том числе – с сенсоров интернета вещей. Она собирает клиентские, контрактные, геолокационные, атмосферные, данные, а также те, которые собираются с сенсора на планере (часть конструкции воздушного судна) и на двигателе.

Эту информацию GE Aviation монетизирует: передаёт своим клиентам – авиаперевозчикам. Это позволяет им изменять маршрут самолёта по ходу движения, чтобы сократить потребление топлива и амортизацию.

В то же время GE Aviation занимается и «внутренней монетизицией». Благодаря показателям с сенсоров компания всегда видит состояние своих двигателей. Она может заранее планировать ремонтные работы, производство запчастей для замены, их поставки, а также то, как это повлияет на договорные обязательства и ценообразование.

Продукты, которые связаны с Big Data

В последнее время мы наблюдаем расцвет платформ. Платформа – самая сложная форма цифрового продукта. Amazon, Apple AppStore, Spotify, OpenTable, AirBnB, Uber, LinkedIn, Facebook не просто так имеют такую высокую стоимость. Они вовремя начали применять цифровую интегрированную платформу для создания и распространения традиционных и цифровых продуктов от лица потребителей, партнёров и подчинённых.  Такие компании предлагают приложения с широкой функциональностью. Но, по сути, они всего-навсего работают с данными.

Зайдите на сайт для разработчиков Uber. Там вы увидите глубокую аналитику поездок, к которой они с удовольствием добавят собранные Big Data.