Если бы Big Data могли говорить, они бы сказали нам: «Дело не во мне, дело в тебе»

Амар Надиг, старший архитектор в компании Informatica, рассуждает о том, почему Big Data не приносят столько прибыли, сколько бы хотелось их владельцам. Нам всем пора посмотреться в зеркало. В нём мы увидим себя и большие объёмы данных, которые мы собираем. Но значительных результатов применения Big Data пока мы увидеть не сможем. И дело тут не в данных и не в технологиях их сбора, обработки и анализа. Дело в людях. Если бы Big Data могли говорить, они бы сказали нам: «Дело не во мне, дело в тебе». Именно люди мешают большим данным приносить столько пользы, сколь обещает хайп, который создаётся вокруг них. Почему это происходит?

Мы не создали корпоративную культуру для Big Data

Компании не очень спешат создавать корпоративную культуру, которая будет ценить стандартизованную, эффективную и воспроизводимую информацию Эван Стабс – австралийский эксперт в области больших данный и автор книг по тематике, например «Big Data, Big Innovation: Enabling Competitive Differentiation through Business Analytics». Он считает плохое качество – общая проблема для всех аналитиков данных. Плохие данные хороши только тем, что про них можно постоянно шутить. Ещё можно находить утешение в том, что какими бы плохими не были ваши данные, у всех остальных они не лучше. Но ведь некачественные Big Data не берутся из ниоткуда. Они не падают на нас с неба. Мы сами их собираем. Оставьте надолго грязную посуду, и рано или поздно у вас заведутся тараканы. Игнорируйте качество данных, и рано или поздно в ваших Big Data образуются чёрные дыры, которые сделают их недостоверными. Эта правда, которую придётся принять: мы – причина существования некачественных Big Data.

Специалисты, которые работают с Big Data, предпринимают «значительные усилия», чтобы почистить их. Но редкие «чистки», которые они проводят, вылечивают симптомы. А само заболевание низкого качества остаётся и приводит к неэффективности, новым тратам и ещё большему недовольству Big Data. С первого взгляда вам может показаться, что качество данных – технологическая проблема. Но это не так. На самом деле компаниям не хватает ни технологий, а корпоративной культуры, в которой ценится стандартизованная, эффективная и воспроизводимая информация. Если вы создадите такую культуру, то сможете генерировать данные, которые можно использовать много раз. Они будут эффективными и качественными. По-настоящему успешные команды сейчас не пытаются управлять лачугой непродуманных таблиц источника-данных. Они на постоянной основе интегрируют Big Data из этих таблиц, каталогизируют их, повышать их качество и так далее. Такая работа не одноразовый акт, она становится обычной частью бизнес-процессов, чем-то обыденным.

Big Data нас не понимает

Однако, даже если качество Big Data прекрасное, всегда ли на их основе можно подготовить отличные инсайты о привычках, нуждах и желаниях клиента? Несмотря на значительный рост объёмов Big Data и успех нескольких компаний, таких как Amazon или Netflix, «реальность такова, что более глубокие инсайты для большинства организаций остаются иллюзорными», – объясняет в своей статье Миккель Расмуссен. А  Кристиан Мадсбьерг в своём посте в блоге Bloomberg Businessweek говорит, что «Big Data неправильно понимает людей».

Big Data представляет собой «недостаточные данные». В социальных науках различают 2 типа данных о поведении человека. Первый – «недостаточные данные». По сути, такие данные – следы нашего присутствия онлайн: наш размер одежды, цвет глаз, любимый напиток. Второй тип – «полные данные». Они помогают понять, как люди ощущают окружающий мир. Например, когда мы чувствуем запах травы после дождя, смотрим на кого-то особенным образом, не обращаем внимания на причинно-следственные связи. Что хорошего в том, чтобы собирать «недостаточные данные» в больших объёмах, когда вы не понимаете, как по-настоящему думает ваш клиент или что он ощущает? Компания Accenture сообщает, что только 20% организаций не может определить причинно-следственную связь между тем, «что они измеряют и какие результаты они собираются использовать».

Прекрасно знаете, зачем вы собираете Big Data и как будете применять результаты их анализа? Но инструменты и технологии, которые вы используете, дают сбой? Понять, какую ошибку вы совершаете, вам поможет другая статья Амара Надига: Только начинаете работать с Big Data? Избегайте этих 5 ошибок!