Традиционное хранилище данных по-прежнему имеет большое значение во многих крупных организациях со сложной корпоративной структурой. Традиционные ХД позволяют решать проблемы отчетности и аналитики. Они обеспечивают сотрудников хорошо-интегрированными, систематически очищающимися, доступными релятивными данными. А при внедрении озёр данных и инструментов по управлению мастер-данными, ХД можно адаптировать под новые архитектуры. Давид Лошин и Аби Рейфер, эксперты исследовательской компании Eckerson Group, объясняют в своей недавней статье: «Традиционное хранилище данных стягивает нужные данные в отдельную среду. Оно организует их в формат, который удобен для их обобщения, агрегирования, других типов запросов. Благодаря этому аналитики могут делать свою работу, в реальном времени, не мешая работе приложения, из которого поступили данные». Другие модели сбора и хранения данных для анализа могут казаться более эффективными, чем обычное ХД. Но нужно дважды подумать, прежде чем заменять чем-то уже существующее в компании хранилище данных. «Действительно ли MapReduce обрабатывает запросы быстрее, чем SQL? Иногда это так, иногда нет. Всё зависит от конфигурации данных, их структуры и частоты изменения этой структуры», – замечают специалисты Eckerson Group. Новые платформы, которые приходят на смену традиционным ХД, обещают лучшую гибкость. Но часто оказывается, что они «собирают данные о транзакциях в отдельные среды. Они трансформируют данные таким образом, чтобы они были организованы для лучшей доступности и более быстрой обработки. Но не в этом ли основной принцип, по которому работает традиционное хранилище данных?», – задаются вопросом Давид Лошин и Аби Рейфер. «Да, продуктивность у новых платформ лучше. Они позволяют работать с большими объёмами данных и более широким кругом источников. Но мы всё равно должны внимательно подумать о том, насколько они удобнее для обеспечения данными их конечного пользователя: аналитика, data scientists и других».

«Традиционное хранилище данных, конечно, живо. Но всё-таки оно недостаточно хорошо себя чувствует», – указывает в своей статье другой эксперт Eckerson Group, Дейв Уэллс. «Частота использования ХД постоянно растёт. Список источников данных и их типов постоянно расширяется. Объёмы, в которых информация собирается, увеличиваются. В таких условиях традиционное хранилище данных сталкивается с всё большими проблемами. Оно несомненно живо, но требует обязательной модернизации – перехода в облако», – объясняет он. Облака обеспечивают высокий уровень масштабирования. «Гибкость облаков лечит главную боль – управление загрузкой данных», – объясняет Уэллс. К тому же «облака обладают преимуществами управляемой инфраструктуры и сокращает затраты». Кроме того, «RDBMS (система управления реляционной базой данных) в облаке упрощает управление, не требуя при этом перестройки и использования NoSQL-подхода».

Однако переместить хранилище данных в облако – это не в парке прогуляться. Тем, кто решился на это, Веллс даёт следующие рекомендации:

• Обеспечьте ясность. «Начните планирование с составления списка причин, почему вам нужно переместить хранилище данных в облако, — советует Уэллс. — Определите свою стартовую позицию, свою конечную цель, разработайте маршрут движения к ней от начала до конца. На протяжении всего проекта придерживайтесь выбранного курса».
• Оцените текущую архитектуру, которую имеет хранилище данных. «Текущая архитектура может иметь недостатки и с трудом соответствовать требованиям команды аналитики. В этом случае запланируйте её перестройку, когда будете перемещать данные в облако».
• Определите стратегию миграции. Избегайте подхода “lift-and-shift” (копирование в облако без изменения архитектуры). «Изменения обычно нужны для того, чтобы адаптировать структуры данных, улучшить обработку, гарантировать совместимость с выбранной облачной платформой. Такая поступательная миграция распространена шире и обычно более успешна».
• Выберете технологию. «Определите облачную платформу, на которую вы хотите перейти. После этого можно выбирать инструмент для миграции».
• Перемещайте данные и вводите ХД в эксплуатацию. «Составьте план по тому, как вы будете тестировать успешность миграции. После этого начинайте перемещать структуру, данные и обработку. Протестируйте успешность их перемещения. Если тестирование пройдёт успешно, вводите облачное хранилище данных в эксплуатацию и перемещайте пользователей и приложения».

DevOps – методология совместной работы разработчиков (development) и специалистов по ИТ-обслуживанию (operation). Весь проект разбивается на несколько задач. Разработчики выполняют одну из них. ИТ-специалисты проверяют, как функционирует эта отдельная часть кода в ИТ-системе их компании. При необходимости в проект добавляются новые требования. Процедура повторяется до тех пор, пока не будет реализован весь проект.

Сейчас DevOps принимает форму своеобразной религии во многих компаниях. Благодаря этой методологии проект воплощается в жизнь последовательно и согласно плану, а не в непредсказуемых объёмах и в непредсказуемое время. Разработчики славятся своей любовью работать в нестандартное время по нестандартному расписанию. Поэтому их стараются заставить тесно сотрудничать с сотрудниками ИТ-департаментов компаний. Последние, напротив, славятся своей дисциплиной и приверженностью жёсткому плану. В какой-то степени специалисты в области data science тоже склонны работать по нестандартному расписанию. Это приводит к тому, что бизнес не получает на регулярной основе инсайты – полезные для бизнеса закономерности, которые позволяет вычленить data science и анализ больших данных. Сейчас многие эксперты советуют внедрить DevOps в работу команды data science. Специалисты в «науке о данных» должны больше сотрудничать со специалистами по ИТ-обслуживанию. Это поможет им чётко выполнять план по снабжению бизнеса инсайтами. «DevOps ориентирована на более тесное взаимодействие разработчиков с реальными ИТ-процессами в компании. А ведь специалисты data science также сталкиваются с проблемами в этой области, – объясняет Лиза Морган, автор ИТ-издания InformationWeek. – Скорость развития бизнеса продолжает увеличиваться. Команды data science будут вынуждены работать быстрее и качественнее. А DevOps уже доказал свою эффективность для ускорения разработки и повышения качества программного обеспечения».

Виктор Гюго Серчуче, бизнес-тренер по методологии agile, предлагает отказаться от изживших себя и неэффективных подходов к управлению данными. Он считает, что нужно перевести работу в более быстрый и продуктивный режим. «Создаётся впечатление, что всё, что нужно для больших данных, – построить хранилище. Но это не так», – объясняет он. Тем, кто анализирует данные, «часто не хватает «кросс-функционального сотрудничества и поддержки, которые им нужны. Без этого они не смогут выполнять свои задачи вовремя и приносить реальную пользу бизнесу», – объясняет Лиза Морган. «В продуктовой среде алгоритмы и математические модели data science не всегда ведут себя так, как предполагалось. Происходит это из-за того, что условия или данные там отличаются от тех, с которыми алгоритмы имели дело ранее», – добавляет она. Она цитирует Майкла Фаузетта из G2 Crowd, который обращает внимание на необходимость срочно внедрять DevOps практики в работу с данными. «Результаты деятельности команды data scienсe в разработке, тестировании и оптимизации алгоритмов по-настоящему проверяются только на практике, – объясняет он. – От ленты новостей на Facebook до обвалов на бирже, мы видит, что происходит, когда алгоритмы работают плохо. Лучшие результаты дают те модели, которые постоянно тестируются и улучшаются». Сама Морган считает, что DevOps помогает команде data science достичь лучшей предсказуемости работы моделей. «Как и прикладное программное обеспечение, модели искусственного интеллекта могут прекрасно работать в лабораторных условиях. Но всё может измениться, когда они будут запущены в продуктовую среду, – говорит она. – Например, модель может не заработать из-за переобучения, которое происходит тогда, когда модель настолько сложная, что начинает искать закономерности в шуме».

Виктор Гюго Серчуче называет сегодняшний процесс хранения данных «одной из оставшихся силосных ям, которые нужно встряхнуть с помощью методики agile». Он предлагает ввести «сервисную систему данных». Основной её принцип – бесперебойная поставка данных, когда это необходимо и куда это необходимо. В конце концов, единственное, что имеет значение – это вовремя обеспечивать данными сотрудников компании для выполнения бизнес-задач. Такие методики, как Agile и DevOps помогут делать это быстро и качественно.

«DevOps даёт разработчикам и ИТ-специалистам возможность следить за тем, что делает другая команда. Это нужно для того, чтобы видеть весь цикл работы с данными. И отойти от традиционного процесса сдачи проекта. Этот процесс вызывает противоречия, переведение стрелок друг на друга и переделки», – объясняет Морган. «Команда data science может быть вовлечена в весь жизненный цикл решения проблемы от создания гипотезы до её тестирования, сбора данных, анализа, получения инсайтов. Но при этом им может не хватать совместной работы и поддержки сотрудников других отделов организации», – заключает она. Вы уже пробовали внедрять DevOps и другие методики для эффективной работы команды data science? Но потока полезных инсайтов так и не получили? На это может быть много разных причин. Подробнее о них читайте в статье Почему анализ данных не приносит пользы вашей компании

От сбора ключевой информации об абонентах в телекоме никуда не деться. Но несмотря на то, что мастер-данные клиентов играют такую важную роль, управление ими остаётся для операторов значительной проблемой. Каждый из нас может иметь несколько SIM-карт, подписок, аккаунтов. Мы можем одновременно пользоваться стационарным телефоном, домашним интернетом и интернет-телевидением одного оператора. Например, у меня разные SIM-карты в телефоне и планшете. SIM-карта моей дочери также оформлена на меня. Поэтому в системе моего оператора связи на меня заведено сразу несколько аккаунтов с множеством тарифов и дополнительных услуг. Некоторые из услуг, которыми я пользуюсь дома, оформлены на имя моей жены. Но оператор не знает этого и продолжает рекламировать мне их. Когда я звоню в колл-центр, мой клиентский опыт зависит от аккаунта, по поводу которого я звоню. Если я отправляю письмо или общаюсь с чат-ботом онлайн, специалисты колл-центра об этом ничего не знают. На своём примере я вижу, как мало знают о нас, своих абонентах, телеком-компании. Они ещё не научились эффективно управлять нашими мастер-данными. Если мой оператор связи захочет эффективно управлять ключевой информацией о своих клиентах, ему придётся провести значительную работу.

• Мои многочисленные аккаунты нужно будет объединить под моим именем. Должна быть создана единая «золотая» клиентская запись. А данные обо мне – обогащены дополнительной информацией. Например, – о том, с кем я живу (а значит, и оплачиваю домашний интернет), историей моих транзакций и моего взаимодействия с компаний через колл-центр, через сайт, по почте и даже через точки продаж.
• Оператор связи должен собрать большие данные обо мне из социальных сетей и открытых источников. Ему нужно проанализировать их и получить инсайты об особенностях моего поведения и моих интересах. После этого – добавить эти инсайты и недостающую информацию обо мне в мою «золотую запись».
• После всех этих манипуляций оператор получит полное представление обо мне как о клиенте. Единую запись можно использовать в разных областях. Например, для CRM или антифрод-системы (система по предотвращению мошенничеств).

Провайдеры услуг связи также должны научиться эффективно использовать мастер-данные о своих поставщиках. В частности, о поставщиках оборудования, программного обеспечения и товаров, запасов которых нет в компании. Если компания не управляет мастер-данными поставщиков, это приводит к целому ряду проблем.

• Разные закупщики внутри организации будут работать с разными поставщиками или параллельно с одним и тем же. Не будет единого управления контрактами и транзакциями. Каждый поставщик сможет назначать разным закупщикам внутри компании разные цены. Работа с несколькими поставщиками одного и того же товара лишит компанию возможности получить хорошие скидки и выгодные условия для больших объёмов закупок.
• Может вестись поиск нового поставщика в то время, когда этот же товар уже закупается в другом месте. Иногда скидки и особые условия сделки обсуждаются с головными офисами компаний. Но они не будут распространяться на закупки через дочерние компании, потому что нет единой системы иерархии компаний-поставщиков.
• Когда компанию-поставщика поглощает другая организация, вы можете получить новую выгодную цену или условия. Но эту возможность также можно упустить, если не собирать мастер-данные.

Все эти проблемы усугубляется, когда речь идёт о крупной международной компании.

Информация о продукте обычно довольно простая. Но тогда почему телеком компании имеют сотни и даже тысячи записей в своих системах? Одна из причин в том, что в системы постоянно добавляются новые продукты. Но никакой иерархии в них нет. Для каждого нового варианта продукта создаётся своя отдельная запись. Даже если два варианта различаются только по одной характеристике. Например, по цвету. Управлять мастер-данными продуктов от заведения нового поставщика в систему до импорта продуктового каталога для распространения по всем каналам – непростая задача. В её решение могут быть вовлечены несколько сотрудников. Они могут быть разбросаны по компании в разных департаментах. Особенно непросто выполнить такую задачу вручную, без применения технических решений. Технические решения помогают централизовать информацию, создавать иерархии, применять правила качества данных и внедрить схему работы, основанную на согласовании. Благодаря этому можно легко превратить большие объёмы информации о продуктах в управляемые наборы данных, готовые для омниканальной среды оператора связи.

Данные сами по себе могут быть простым набором цифр, их не всегда можно применить. Для аналитики и получения инсайтов может потребоваться справочная информация. Например, мобильные устройства обычно имеют идентификационные номера. Из них можно извлечь данные о производителе, модели и программном обеспечении в SV-формате. У вас должны быть мастер-данные о функциональных возможностях указанного устройства этого производителя, этой модели, с таким ПО. Ими вы можете обогатить извлечённые данные. Обогащённые таким образом данные сможет использовать аналитик. Они позволят ему находить связи между функциональными возможностями девайсов и активностями их владельцев. Например, можно обнаружить зависимость числа прерывания звонков от того, поддерживает ли устройство 4G. Справочная информация может быть разной. Её можно применять к идентификационным номерам устройств, мобильным кодам стран или кодам сети, оптовым и розничным ценам, IP и кодам пунктов. Обогащать таким образом данные можно для CRM-системы. Это улучшит обработку звонков. В хранилище данных это повысит точность отчётности и аналитики. В системе учёта вызовов и времени разговора – поможет эффективнее управлять ценообразованием. В озёрах данных – повысит точность инсайтов.

Управление активами – ещё одна область применения мастер-данных. Активы могут быть разными. Например, инфраструктура, которая используется для траффика клиентских звонков и SMS, или каталог устройств, через которые пользователи получают услуги связи. Мастер-данные активов имеют большое значение для бизнеса. Например, важно знать географическое расположение оборудования сети и его характеристики (тип линии, скорость и так далее). Это поможет определить, какие сервисы доступны конкретному клиенту. Вероятность ошибок и нарушений при этом снижается. Мастер-данные активов помогут избежать проблем с регулятором. Вы сможете чётко ответить на его любые вопросы. Вы будете хорошо видеть в системе поставок, где находится новое оборудование, которое вы закупили. Также мастер-данные активов помогут планировать и прогнозировать. Вы заранее поймёте, что участок сети скоро выйдет из строя из-за амортизации. Поэтому вы сможете заранее запланировать его ремонт. Особенно управление мастер-данными будет полезны при работе с активами, расположенными в разных странах. Начать использовать мастер-данные для бизнеса – это купить простую машину и тюнинговать её до совершенства. Без такого тюнинга машина может добраться до пункта назначения. Но может и сломаться по пути. А все ваши конкуренты точно приедут раньше вас. Сейчас операторы связи тратят миллионы на CRM, хранилища данных, озёра и системы управления сетями. Но почему бы им не потратить хотя бы малую часть этого на перезагрузку всей ИТ-системы с помощью платформы по управлению мастер-данными? Стоимость такой платформы невелика, а внедрение принесёт значительные изменения к лучшему во всём бизнесе.

Сейчас все увлечены анализом больших данных и его инструментами – искусственным интеллектом и машинным обучением. В компаниях устанавливаются мощные инструменты и платформы. Многие учебные заведения организуют программы по обучению data scientists и аналитиков. Но значительных успехов пока достигнуть не удалось. В чём же загвоздка? По большому счёту, компании сами себе мешают развиваться в этом направлении. Анализ данных кажется самым простым путём к большим прибылям. Почему тогда «все компании давно уже не монетизируют данные и не достигают успеха благодаря этому?» – задаются вопросом Нико Мор и Хольгер Хюртген из McKinsey в своём недавнем исследовании. Для анализа данных есть все необходимые технические инструменты. Но «технические задачи всегда проще всего решить», – объясняют специалисты McKinsey. В то же время большинство компаний «всё ещё не могут эффективно использовать их из-за своей корпоративной структуры. Проблемы возникают при налаживании связей между ИТ-отделом и бизнесом. Иногда непросто правильно перевести технические термины в бизнес-понятия. Самым сложным может оказаться переход от принятия решений на основе «внутреннего ощущения» к решениям, которые будут базироваться на анализе данных». В своём исследовании эксперты McKinsey подробнее рассказывают о ключевых организационных проблемах, которые не дают компаниям успешно применять анализ данных и Big Data.

В большинстве организаций data scientists и бизнес-команда работают отдельно. «Это приводит к тому, что бизнес не понимает, какие задачи реально решить с помощью «науки о данных». А data scientists разрабатывают решения, которые по сути не нужны бизнесу».

Анализ данных помогает получать инсайты (полезные для бизнеса закономерности). Но большинство компаний вообще никак не используют их. А те, кто начинает применять такие инсайты, обычно не доводят дело до конца. Сначала организации воодушевляются анализом данных. Они запускают несколько пробных моделей, чтобы посмотреть, работают ли они. «Однако обычно эти пробы изолированы друг от друга и почти никогда не превращаются в успешные бизнес-кейсы. Об их масштабировании речи не идёт совсем», – объясняют авторы исследования.

Значимых результатов можно добиться, только если «анализ данных активно применяется во всей организации. Это требует инициативы и постоянного контроля со стороны руководителя проекта (будь то CDO, CIO или кто-то ещё). У него должны быть полномочия проводить ориентированную на данные трансформацию бизнеса. Но многим компаниям ещё предстоит это организовать у себя». Мор и Хюртген дают несколько советов, как компаниям перестать мешать самим себе с анализом данных.

• Не нужно двигать данные вперёд, лучше верните бизнес назад. Для начала определите бизнес-задачи, которые нужно решить. Только после этого можно начинать искать модели и данные, которые будут использоваться для их решения. Но никак не наоборот.
• Постоянно держите ИТ-отдел в курсе всего. «Возможно вам понадобиться обойти стороной ИТ-отдел на первых этапах. Это может понадобиться, чтобы начать побыстрее и побыстрее проверить эффективность анализа данных в компании. Но потом вам точно будет нужно регулярно и много привлекать отдел информационных технологий, чтобы масштабировать свои инициативы».
• Научитесь постоянно работать в режиме agile. «Риск неудачи не велик, выиграть можно много, поэтому подход вашего бизнеса должен стать экспериментальным, строиться по принципу «попробуй и поймёшь».
• Мотивируйте сотрудников действовать в соответствии с инсайтами, которые были получены с помощью аналитики данных. Авторы исследования McKinsey замечают, что очень важно изменить управление бизнес-процессами в организации. «Бизнес-пользователи должны доверять результатам анализа данных и действовать на их основе», – считают они.

Ваша организация только планирует серьёзно заняться анализом больших данных, а data scientist в штате пока нет? Читайте другую статью Джо Маккендрика о том, кто может стать data scientist. Возможно, вы сами сможете применять «науку о данных» на практике или делегируете эти обязанности кому-то из аналитиков или программистов в штате своей компании. Читать статью по ссылке: Что нужно, чтобы стать data scientist?

Начало статьи читайте по ссылке: Ценность Big Data: висит груша, нельзя скушать. А вы научились монетизировать?

Те данные, которые вы собираете, — ваш новый «цифровой продукт». Именно так вы должны позиционировать Big Data перед теми, кому собираетесь их продавать. Big Data давно уже стали полноценным «продуктом». Такие компании, как Nielsen Acxiom, D&B, TransUnion, Equifax, Bloomberg и IMS уже строят свой бизнес вокруг них. Эти компании продают возможность использовать свои необработанные данные, как если бы те были частью инфраструктуры. Вы должны равняться на такие примеры. Как и при выводе любого другого продукта на рынок, прежде всего необходимо оценить текущую ситуацию. Для этого честно ответьте себе на следующие вопросы:

• Доля рынка. Управляет ли ваша организация по крайней мере 20% основных транзакций на рынке?
• Новаторство. Является ли ваша организация первой, второй или, по крайней мере, входит ли она в 50% компаний своей индустрии, которые первыми выводят Big Data на рынок? Если это так, вы сможете заработать до 80% всей прибыли на рынке.
• Права использования. Есть ли у вас законные права передавать использование данных B2B и B2C клиентов третьим лицам?
• Конфиденциальность. Есть ли у вас глубокое понимание требований регуляторов, под которые попадают ваши большие данные?
• Готовность. Есть ли у вашей организации необходимая ИТ-инфраструктура, сотрудники для продажи и технической поддержки Big Data?
• Деловое предложение. Хорошо ли вы понимаете, как потребители вашей Big Data оценивают его возможности приносить прибыль? Ответить на этот вопрос необходимо, чтобы не ошибиться с ценой.

Если у вас всё в порядке с перечисленными вопросами, то можно переходить к позиционированию вашего «цифрового продукта» на рынке. Для этого важно понять, как потенциальный покупатель сможет использовать большие данные, которые вы собрали.

Цифровая трансформация может проходить в следующих форматах:

• Автоматизация;
• Расширение базы поставщиков;
• Цифровизация дистрибуции;
• Введение новой цифровой функциональной возможности;
• Создание нового кастомизированного продукта;
• Работа платформы;

Скорее всего собранные вами большие данные можно будет применить для решения задач одного или нескольких из перечисленных форматов цифровой трансформации.

Автоматизация улучшает продуктивность и эффективность существующих процессов. Хорошими примерами автоматизации могут быть роботизированные механизмы, рекомендательные системы, витрины для самостоятельной аналитики и другое. Всё это невозможно осуществить без больших данных. Их анализ поможет понять, почему конкретные производственные роботы меньше ломаются в определённых условиях. Он покажет, почему отдельные схемы заказов влекут за собой новые покупки. Он поможет найти набор данных, который можно использовать для предсказания удовлетворённости клиента товаром или услугой.

Цифровая трансформация может значительно расширить базу поставщиков. А это привлечёт новые потоки прибыли в компанию. Особенно это касается бесчисленных маркетплейсов для перепродажи товаров. Примером такого маркетплейса может быть Poshmark (Юла и Avito в России). Анализ информации о настроении потребителей, а также соответствия спроса и предложения можно использовать для выбора оптимальной цены и запуска эффективных маркетинговых акций. А чем успешнее товары будут продаваться, тем больше поставщиков будут заинтересованы работать с маркетплейсом.

Big Data для онлайн дистрибуции

Цифровизация дистрибуции товара, услуги или контента — перемещение портфолио компании онлайн. Уход в онлайн помогает компаниям сократить траты на физическую инвентаризацию и инфраструктуру. Примером перехода на цифровую дистрибуцию могут быть обучающие курсы Khan Academy и новостной сайт New York Times Online Edition. Большие данные здесь нужны, чтобы улучшить таргетинг и предложение.

Цифровая трансформация помогает приборам и аппаратам приобрести новые функциональные возможности. Хорошим примером этого является термостат NEST, который умеет проверять местонахождение хозяина через GPS на его телефоне. Если вас нет дома, термостат отключит отопление. Он же сможет понять, когда нужно понизить или повысить температуру, чтобы вам было комфортно. Самостоятельные решения такие аппараты и приборы принимают на основе больших данных.

Эта задача немного сложнее предыдущих. Организации меняют структуры товаров и услуг, чтобы они соответствовали новым моделям использования. Пример этого – когда клиент не приобретает товар, а подписывается на него. В основном такие модели внедряются, чтобы избежать цикла продаж, ориентированного на капитальные траты. Так, компания GE Aviation производит реактивные двигатели для самолётов. Она предлагает возможность своим клиентам не покупать турбины за 24 миллиона долларов, а взять их в аренду. В этом случае платить придётся только за то время, которое турбины работают в полёте. Компания выбрала такой способ оплаты, чтобы извлечь выгоду из двух долгоиграющих трендов. Количество миль, которые пролетали пассажиры, росло. А новые комплектующие перевозчики покупали один раз в девять лет. Big Data в этом случае становятся частью кастомизированного продукта, который продает GE Aviation. Компани активно занимается их сбором во время полёта, в том числе – с сенсоров интернета вещей. Она собирает клиентские, контрактные, геолокационные, атмосферные, данные, а также те, которые собираются с сенсора на планере (часть конструкции воздушного судна) и на двигателе. Эту информацию GE Aviation монетизирует: передаёт своим клиентам – авиаперевозчикам. Это позволяет им изменять маршрут самолёта по ходу движения, чтобы сократить потребление топлива и амортизацию. В то же время GE Aviation занимается и «внутренней монетизицией». Благодаря показателям с сенсоров компания всегда видит состояние своих двигателей. Она может заранее планировать ремонтные работы, производство запчастей для замены, их поставки, а также то, как это повлияет на договорные обязательства и ценообразование.

В последнее время мы наблюдаем расцвет платформ. Платформа – самая сложная форма цифрового продукта. Amazon, Apple AppStore, Spotify, OpenTable, AirBnB, Uber, LinkedIn, Facebook не просто так имеют такую высокую стоимость. Они вовремя начали применять цифровую интегрированную платформу для создания и распространения традиционных и цифровых продуктов от лица потребителей, партнёров и подчинённых. Такие компании предлагают приложения с широкой функциональностью. Но, по сути, они всего-навсего работают с данными. Зайдите на сайт для разработчиков Uber. Там вы увидите глубокую аналитику поездок, к которой они с удовольствием добавят собранные Big Data. Я планирую целый цикл статей о монетизации данных. В следующий раз я подробнее расскажу о цикле выпуска «цифрового продукта», поделюсь реальными кейсами, примерами из переговоров со своими клиентами. Также я собираюсь остановиться на концепции «фабрики цифрового продукта». Чтобы не пропустить мои материалы, следите за обновлениями на сайте DIS Group.

В течение всего этого года специалисты Informatica слышат от своих клиентов одни и те же запросы, которые так или иначе связаны с извлечением ценности из данных – их монетизацией. Другими словами, клиенты Informatica хотят понять, как технические решения корпорации помогут им «продавать» те данные, которые они собрали. В их понимании, альтернативой «продажи» может быть только их архивирование или удаление. Как вы могли догадаться, промышленным B2B компаниям монетизировать данные сложнее всего. Так же, как и цифровая трансформация, монетизация Big Data – очень скользкое понятие. Оно может иметь множество разных значений. Почти каждый специалист понимает этот термин немного по-своему. Кроме того, сложно найти качественную литературу по теме. Всё, что вы увидите на полках книжных магазинов – очень амбициозная маркетинговая чепуха. Мне бы хотелось исправить эту ситуацию. В своих статьях я хочу рассказать о том, как эксперты Informatica понимают монетизацию, как они советуют реализовать ценность Big Data. Моя цель – коснуться этой темы намного глубже, чем запросы в поисковой строке Google.

Прежде всего, монетизация корпоративных данных уже идёт полным ходом. Многие организации извлекают прибыль из информации, которую собирают. Делают они это с помощью управления данными. Именно оно помогает компаниям проводить цифровую трансформацию операционной деятельности, оптимизировать её. Оно делает ваш бизнес продуктивнее. С ним вы сможете быстрее выводить новые продукты на рынок и эффективнее принимать управленческие решения. Когда речь идёт о координации сервисов и заказов, биллинге и других операционных процессах, управление данными обеспечивает единство всех транзакций. Также оно снижает количество технических сбоев и переделок. Заказы не задерживаются, не возникает сбоев оборудования, счета отправляются вовремя. Без постоянных ошибок операционная деятельность становится дешевле, стоимость привлечения нового клиента снижается и так далее. Если вы ещё не используете Big Data для повышения продуктивности и оптимизации своего бизнеса, самое время начать это делать. Хотите ещё и «продавать» данные, заниматься «внешней монетизацией»? Вы должны понять, как информация, которую вы собрали, поможет вашим клиентам получить такие же выгоды. Вам необходимо понять, какой секретный ингредиент можно найти в ваших хранилищах данных. Исследования же показывают, что в больших данных есть деньги.

«Внешняя монетизация» – использование внутренних операционных данных для получения дохода через их продажу в том или ином виде существующим или новым клиентам. Такими клиентами могут быть игроки вашего же рынка, партнёры по сбыту или даже компания из сектора, который с вами никак не связан. Для «внешней монетизации» вы можете применить свой опыт монетизации внутренней. Также вы можете использовать инфраструктуру организации, которую по крупицам выстраивали в течение многих лет для внутреннего пользования. Чтобы глубже понять механизм «внешней монетизации», обратимся к истории. В последние 20 лет средняя прибыльность хедж-фондов постепенно падала. Когда-то она достигала 20%, а теперь составляет жалкие 4%. Но некоторые фонды оказались способны противостоять такому снижению. Как они смогли это сделать? Они обошли соперников благодаря сбору и использованию данных, а также поиску того, как их можно применить. Именно этот поиск стал палочкой-выручалочкой в индустрии хедж-фондов. В 50-е годы на основе новых дата-сетов развивались долгосрочные и краткосрочные стратегии. А за этим последовали новые математические модели и компьютеризация в 80-е. 90-е годы стали сочельником высокочастотного трейдинга. Высокочастотный трейдинг – основная форма алгоритмической торговли на финансовых рынках. Для быстрой торговли ценными бумагами она использует современное оборудование и математические алгоритмы. Именно такой вид торговли стал стимулом развития технологий Big Data. C 2016 года большие данные принимают настоящие стероиды. Математические торговые модели усложняются всё активнее. Они начали поглощать «альтернативные», нетипичные для хедж-фондов данные. Среди них – погода, потребительские настроения, результаты футбольных матчей, потребление воды и другое. После того, как сбор данных стал настолько масштабным, их ценность начала падать. Сбор Big Data стал доступен всем, все организации используют одни и те же инструменты. Сегодня обойти конкурентов можно, только используя максимально широкий список источников данных с разным временем задержки передачи и разной степенью достоверности. Сейчас конкурентное преимущество хедж-фонд может получить, быстро и эффективно вырабатывая новые возможности использования Big Data. При этом важно комбинировать ту информацию, которую фонд собирает сейчас, с большими массивами старых, «исторических» данных. Но как применить подход хедж-фондов на практике в Вашей компании? Об это вы узнаете из второй части статьи, которая выйдет совсем скоро.

Начало статьи читайте по ссылке

Михаил Комаров (директор направления Informatica, DIS Group): «Качественная стратегия по защите данных одновременно поможет избежать утечек и соответствовать и GDPR, и ФЗ-152. Такая стратегия требует единого контроля и управления данными во всей организации». Эксперты Informatica называют свой подход к защите данных – «выявление и защита». Он помогает понять, где находятся чувствительные и персональные данные, куда они перемещаются, определить риски, которые с ними связаны. По мнению специалистов Informatica, чтобы избежать проблем с утечками, организация должна:

• Определить политики работы с данными. Это касается и ИТ-политик, и бизнес-политик, и политики для неясных данных и конфликтов политик;
• Aвтоматизировать обнаружение данных. Сначала проводится первичный поиск чувствительных или персональных данных. После этого осуществляется непрерывный мониторинг, классификация данных и интеграция с вспомогательными системами. Необходимо посмотреть на данные в контексте, понять их соответствие с умными политиками. Такие политики определяют, могут ли конкретные элементы данных (имя, адрес электронной почты, паспортный номер) быть совмещены вместе в каком-либо хранилище так, чтобы идентифицировать персональные данные граждан ЕС;
• Анализировать распространение данных. Данные могут перемещаться. Важно понимать, где находится информация теперь и какие новые источники данных появляются;
• Оценивать риски. Во внимание принимаются все факторы, которые были названы ранее. В том числе: перемещение данных, их распространение, объём, значимость и приоритезация. Оценка рисков должна включать в себя этапы планирования, историю, мониторинг оценки за всё время. Мониторинг призван показывать избыточный доступ для пользователей, их аномальное поведение, транграничные трансферы данных.
• Защищать данные. Необходимо понять, где нужны ограничения доступа к данным, какая информация должна быть переведена в анонимную форму, где нужно применить шифрование, что можно удалить. Также важно управлять просмотром данных в зависимости от времени, географического положения и роли того, кто это делает.

Для наиболее полной реализации подхода Informatica к защите персональных данных эксперты компании рекомендуют установку Secure@Source. «Компаниям приходится сталкиваться с фундаментальными вопросами, на которые сейчас сложно ответить. Мы разрабатываем свои решения так, чтобы их использование могло ответить на эти вопросы», – объясняет подход компании CEO Informatica Анил Хакраварти. Для защиты данных из-за несанкционированного доступа Informatica предлагает динамическое и постоянное маскирование. Маскирование анонимизирует персональные данные клиентов. При запросе в базу данных, оно заблокирует или скроет ту часть информации, к которой у сотрудников нет доступа. В России динамическое маскирование уже защищает данные абонентов «Билайн», а постоянное – клиентов Сбербанка и других финансовых организаций.

GDPR и 152-ФЗ открывают новые возможности перед теми компаниями, которые смогут им соответствовать. Максим Семиренко (руководитель по продажам подразделения продаж Informatica DIS Group) объясняет: «С первого взгляда может показаться, что законы по защите данных ставят палки в колёса вашему бизнесу. Они могут снизить продуктивность труда. Они тянут за собой дополнительные расходы на перестройку ИТ-архитектуры. Однако защита данных повышает доверие и лояльность клиентов. К тому же, если качественная защита информации становится конкурентным преимуществом на рынке». Исследования подтверждают слова эксперта DIS Group. Harwarwad Buisness Review в августе 2017 спросила ведущие компании, как по их мнению, их клиенты относятся к безопасности своих данных. 90% респондентов рассказали, что для их клиентов всё большое значение имеет качество защиты персональных данных. 81% опрошенных заявили, что их клиенты хотят знать, были ли их данных переданы или проданы третьим лицам. Потребители также всё больше хотят иметь доступ к своим данным так и тогда, когда им это удобно (81%). Кроме того, им важно знать, будут ли удалены их данные, когда в их хранении не будет необходимости (66%). 78% опрошенных заявило, что сильная стратегия по защите данных помогает усилить бренд, а также выделить его на фоне конкурентов.

Глубже разобраться подробнее в хитросплетениях GDPR помогут следующие источники на английском языке:

• EUGDPR.org – общая информация о регламенте
• Data-Centric Approach to GDPR Compliance – практические советы по тому, как компаниям соответствовать GDPR
• Recommendations on How to Tackle the “D” in GDP – GDPR в вопросах и ответах.

Также эксперты DIS Group готовы помочь вам разобраться в тонкостях европейских регламентов по обработке данных и технологических решениях по управлению данными, которые позволят облегчить их выполнение.

Прошло больше двух месяцев с тех пор, как в Европе вступил в силу GDPR. В регламенте описана необходимая защита данных граждан ЕС. С первого взгляда может показаться, что к российскому бизнесу он не имеет отношения. Это заблуждение. И оно может стоить вам 20 миллионов евро. Если ваша организация работает с гражданами Евросоюза, имеет юридическое лицо на его территории, GDPR соблюдать вам придётся. А вычислять тех, кто работает с европейцами будут и по косвенным признакам. Например, под действие регламента попадают компании, которые принимает оплату в евро, имеют сайт на одном из языков ЕС или европейский домен для сайта. «Получается, что многие российские организации попадают под действие GDPR. Но волноваться по этому поводу не стоит. GDPR по своей сути очень похож на российский закон по защите данных – 152-ФЗ. Всё, что потребуется от российского бизнеса – понять различия и подстроиться только под них», объясняет Павел Лихницкий, генеральный директор DIS Group.

Требования GDPR во многом повторяют требования российского 152-ФЗ. Но европейский собрат менее детально описывает, как именно должна обеспечиваться защита данных клиентов, в том числе персональных данных. В связи с нашумевшей блокировкой мессенджера Telegram, даже простые обыватели знают, что данные российских граждан должны храниться внутри нашей страны. GDPR не требует этого для данных европейцев. Но он обязывает сообщать регулятору и владельцу персональной информации об утечках. В России организация самостоятельно может справиться с инцидентом и никому о нём не рассказывать. Кроме того, европейский бизнес будет должен минимизировать объем собираемых данных и сроки их обработки. А также – еще на этапе планирования процедур обработки данных думать об их защите. GDPR более детально описывает, что относится к персональным данным. Кроме тех, которые у всех у нас на слуху (ФИО, адрес, телефон), это и cookies, и IP-адреса. Многие российские компании напугало положение о забвении: по требованию клиента они должны удалить все данные о нём. Но всё не так страшно, как кажется на первый взгляд. Удалить данные будет нужно только в том случае, если вы не сможете объяснить, для какой бизнес-задачи они используются. Похожая ситуация и с получением согласия клиента на обработку данных. Его придётся получить только в тех ситуациях, когда нет других правовых оснований для сбора данных. Полный перечень таких оснований можно найти в тексте самого регламента. Ещё одно значимое различие – величина штрафов. За нарушение 152-ФЗ придётся заплатить всего 75 тысяч рублей. Несоблюдение GDPR может повлечь за собой штраф до 20 миллионов евро или 4% от дохода компании.

Эксперты отмечают, что бояться стоит не строгих законов, а утечек данных. Законы и регламенты, наоборот, служат улучшению защиты данных. Роберт Шилдс, руководитель маркетинга решений для защиты данных, Informatica, объясняет: «Бизнес сегодня столкнутся с «идеальным штормом» конфиденциальности данных и их защиты. Шторм этот вызван непрекращающимися потоками утечек данных, введением в силу законов и ростом осознания клиентов своих прав контролировать персональную информацию». Даже высокотехнологические крупные игроки рынка не всегда способны эффективно защитить свои данные. В марте 2018 Facebook допустил утечку данных 50 миллионов пользователей. Уже через неделю акции компании упали на 6,8%, а Марк Цукерберг, основной владелец социальной сети, потерял несколько миллиардов долларов. В 2017 году из-за утечки в Equifax (американское бюро кредитной истории) были обнародованы номера социальной страховки 143 миллионов американцев, информации по их кредитным картам, персональным данным. В 2015 году был взломан сайт британского телекома Talk Talk. Утечка данных коснулась почти 157 тысяч клиентов компании. В результате, Talk Talk получил рекордный штраф в 400 тысяч фунтов, стоимость её упала вдвое, 101 тысяча абонентов отказалось от услуг телекома, прибыль сократилась на 60 миллионов фунтов, а генеральному директору пришлось покинуть свой пост. Эти случаи подтверждают, что защита данных своих клиентов стала важной частью любой компании, работающей на европейском рынке. О том, как правильно защищать данные и какие выгоды вам это принесёт читайте во второй части статьи по ссылке

Директор департамента информационных технологий (CIO) должен уметь успешно вести переговоры. Особенно сейчас, когда во многих компаниях идёт цифровая трансформация. А она требует тесного взаимодействия ИТ-службы с другими отделами и руководством организации. Если директор департамента информационных технологий не умеет эффективно и убедительно доносить свою точку зрения, его инициативы по цифровой трансформации не будут иметь успеха. Иногда CIO вынужден убеждать специалистов другого отдела поддержать сложную кросс-функциональную программу. Иногда – своих подчинённых в том, что стратегия обеспечит их успех. Другими словами, обязанность CIO – убеждать людей принять многие вещи на веру. Но не просто принять, а инвестировать в них своё время, бюджет организации, усилия и инициативы. А такие инвестиции могут быть связаны с рисками. Это значительно усложняют задачу. Именно поэтому я начал читать книгу Симона Синека «Начни с почему», которая считается самой настоящей библией коммуникации. Синек стал популярным благодаря своему тезису о том, что люди не покупают то, что ты делаешь, они покупают то, почему ты это делаешь. Это довольно сильное и противоречивое заявление, уходящее корнями в биологию и нейронауки. Оно может имеет большое значение для тех, кто старается вдохновить на перемены. В частности, для CIO. Синек объясняет, что несмотря на то, что многие из нас понимают, что и как они делают, немногие понимают – зачем. Мы теряем связи с причинами наших действий. А именно они вдохновляют нас и заставляют выбирать, что делать. Именно они в первую очередь определяют те или иные наши решения. Мне повезло. У меня есть вдохновение приходить каждое утро на работу, потому что я вижу, что моя компания успешно проходит цифровую трансформацию. Моя обязанность как CIO – обеспечить, чтобы моя команда также чувствовала это вдохновение. В такой ситуации Синек посоветовал бы мне сказать своими сотрудниками примерно следующее: «Мы можем поднять продажи минимум на 10% на следующий год. Это гарантирует, что все сотрудники получат бонус. Но для этого мы должны понять, какими функциями наших решений больше всего пользуются клиенты. Для этого нам нужно организовать новое озеро данных». Вдохновляя таким образом свою команду, руководство организации и специалистов других отделов, директор департамента информационных технологий сможет легче реализовывать свои инициативы по цифровой трансформации. «Начни с почему» доступна на русском языке на Ozon.ru.

Книга Томаса Л. Фридмана «Спасибо за то, что вы опаздываете: руководство оптимиста по процветанию в эпоху увеличения скоростей» — это широкомасштабное размышление о постоянно ускоряющихся переменах. Именно они определяют время, в котором мы сейчас живём. Название – отсылка к известной истории, которая произошла с колумнистом New York Times. Однажды он понял, что благодарит коллегу за опоздание на деловой обед. Именно это опоздание подарило ему время, чтобы просто посидеть и подумать. А это редкая возможность в мире постоянной активности. Движущей силой ускорения нашей жизни, несомненно, являются технологии. Как директор департамента информационных технологий я чувствую, что слежу за изменениями, которые описывает Фридман, из первого ряда. Но даже я нашёл в его работе много нового для себя. Амбиции автора и масштабы его размышлений впечатляют. Визионерский взгляд, авторитет и логика помогают Фридману описать, как технический процесс, глобализация и климатические изменения меняют мир, в котором мы живём. А технические изменения произошли действительно впечатляющие. Всего через 45 лет после изобретения мобильного телефона альпинисты на Эвересте уже свободно пользуются мобильной связью. В книге вдохновляет всё, даже само её повествование. Смелое упрощение проблем и оптимистичная точка зрения Фридмана мотивируют и вселяют уверенность сами по себе. А здравый оптимизм и уверенность имеют большое значение для CIO при проведении цифровой трансформации, когда нововведения могут вызывать сомнения у других сотрудников организации. В «Спасибо за то, что вы опаздываете: руководство оптимиста по процветанию в эпоху увеличения скоростей» вы не найдёте смелых откровений из мира бизнеса. Скорее — множество полезных напоминаний о том, что может помочь нам нащупать твердую почву под ногами во время перемен. Автор указывает на то, что компромисс сейчас нужен больше, чем когда-либо. А разрушение сложившегося порядка – то, что происходит, когда «кто-то делает что-то умное, что заставляет вашу компанию выглядеть устаревшей». В книге приводятся интервью с целой плеядой ИТ-первопроходцев: от Дуга Каттинга, соучредителя Hadoop, до Рида Хоффмана, основателя LinkedIn. Из этих интервью вы сможете почерпнуть множество интересных инсайтов. Мне особенно запомнился разговор Фридмана с Гордоном Муром (основатель Intel). Гордон Мур до сих пор кажется удивлённым, что его предсказание о транзисторах, которое он озвучил в 1965 году для статьи в журнале про электронику, стало известным законом, который актуален и сегодня. Директор департамента информационных технологий найдёт полезным и истории о последних датацентричных трансформациях в таких компаниях, как AT&T и IBM. Ещё вас ждут экскурсы в важные уголки технической вселенной – в GitHub и озёра данных, а также интересное объяснение того, как работают микрочипы. Эту книгу я порекомендовал бы широкому кругу читателей: и новичкам в мире ИТ, и СIO. «Спасибо за то, что вы опаздываете: руководство оптимиста по процветанию в эпоху увеличения скоростей» доступна на английском языке на Ozon.ru.

Подходит ли блокчейн, или, по-другому, распределённый реестр, для работы с большими данными? Этот вопрос подняли в свой недавней статье эксперты исследовательской компании Eckerson Group. Они советуют: не спешите с этой идеей. «Пока неясно, сможет ли блокчейн встроиться в архитектуры, которые используют организации для обработки и хранения больших данных», – считают специалисты.

Сейчас главные приоритеты многих компаний – переход на хранение данных в облаках и аналитику больших данных внутри организации. В основе этих процессов лежит именно централизация. Сама суть блокчейна, когда копии цепочек блоков хранятся на множестве разных компьютеров, противоречит этому.

«Блокчейн был разработан для решения узкого набора проблем, где требуется децентрализация и неизменяемость. Эти параметры технологии сужают круг задач, для которых его можно использовать», – объясняет Джулиан Эрес, эксперт в области BI и анализа данных. Недавний отчёт Международного экономического форума также советует с осторожностью относиться к блокчейну. Авторы отчёта: Кэти Маллиган, ДжП Гуруджи, Шейла Уоррен и Дженнифер Чжу Скотт. Они объясняют: «Руководители компании не должны соблазняться хайпом. Вместо этого они обязаны честно ответить себе на вопрос: будет ли блокчейн здравым бизнес-решением несмотря на ясно очерченные проблемы». По мнению авторов отчёта, те, кто рассматривает для себя применение блокчейна, должны понять бизнес-контекст, в котором оно планируется. По сути необходимо задать себе один вопрос: «Нужно ли для решения конкретной бизнес-проблемы устранить посредника?». «Может быть дешевле без посредника сотрудничать с поставщиками, чем работать через расчётно-клиринговую компанию. Так, блокчейн-платформа CORDA в банковской индустрии для управления денежными переводами позволяет предоставлять услуги быстрее, безопаснее и дешевле. То же касается устранения любых других посредников: технологического брокера или страхового агента».

Также стоит задуматься, нужно ли вам, чтобы данные хранились постоянно. «Необходима ли для ваших данных постоянная запись? Неизменяемая запись может быть излишней или контрпродуктивной. Например, она создаст дополнительные трудности в ситуации, когда важно удалять информацию. Так, нет смысла хранить обычный список покупок на блокчейне», – объясняют авторы отчёта Международного экономического форума.

Скорость – ещё одна проблема блокчейна. «Когда требуется обрабатывать транзакции за миллисекунды, распределённый реестр пока не может справиться с этим эффективно. Поэтому рекомендуется или работать с существующей технологией, или подождать, пока блокчейн научится работать транзакциями на таких скоростях. Сейчас этой технологии может потребоваться от 2 до 10 минут на обработку данных». Блокчейн – многообещающая технология, в будущем она будет применяться для решения многих задач, включающих в себя и большие данные. Однако, как и другие многообещающие технологии, распределённый реестр требует дальнейшего исследования и оценки выгод, которые он предоставляет бизнесу.