6 сентября эксперты DIS Group провели вебинар «DATA GOVERNANCE Бизнес-процессы – что первично? Офис Chief Data Officer (CDO). Кто? Где? Зачем?». Для тех, кто не успел подключиться к вебинару, Cтанислав Уштей, старший аналитик подразделения консалтинга DIS Group, подготовил обучающие статьи. Станислав хорошо знаком с корпоративными структурами крупнейших российских компаний и знает, какие из них самые успешные. Хотите знать больше? Смотрите запись вебинара. Что сложнее всего сделать организации, которая готова решать проблемы своего развития и не собирается «закрывать на них глаза», чтобы они из нормальных превратились в аномальные и в конце концов довели до катастрофы и неминуемой смерти. Вот что говорит по этому вопросу доктор Адизес (Гуру менеджмента, основатель Adizes Institute): «Чтобы организация была эффективной и продуктивной в краткосрочной и долгосрочной перспективе, она должна иметь полноценную систему управления». При этом, под такой системой, доктор Адизес имеет ввиду инструменты, позволяющие решать сегодняшние проблемы и быть готовыми решать завтрашние, позволяющие работать с нормальными проблемами и не допускать наличия аномальных. Некоторые проблемы, возникающие в организации, являются вполне нормальными, в то время, когда другие – аномальными. Нормальные проблемы – это как возрастные прыщики, поскольку организация вскоре перерастет их. Сосредоточить внимание необходимо на решении аномальных проблем, потому что они будут препятствовать её здоровому развитию. (И. Адизес) Или иными словами – иметь Систему управлению достаточно гибкую, чтобы управлять изменениями организации на любом этапе её жизненного цикла и обеспечить процветание. Расцвет-Взрослость – оптимальное состояние Жизненного цикла организации. Организации, находящиеся на этой стадии, управляемо растут как с точки зрения объемов бизнеса, так и с точки зрения прибыльности. Первая задача организации состоит в том, чтобы добраться до Расцвета, вторая – в том, чтобы как можно дольше удержаться там. Если руководство не будет принимать обдуманные шаги, необходимые для удержания организации на стадии Расцвета, организация начнет стареть. (И. Адизес) Итак, любой организации нужна Система управления – инструменты работы с «проблемами & изменениями». Безусловно «проблемы & изменения» существуют вокруг бизнес-объектов и связаны с управляющими ими Бизнес-функциями – их архитектурой, уровнем зрелости, эффективности. Если считать, что Бизнес-функция – это методологии, технологии, ресурсы и структуры, обеспечивающие управление уникальным бизнес-объектом и достижение соответствующих бизнес-целей – то организацию можно представить как уникальный набор Бизнес-функций, обеспечивающих реализацию Миссии организации, а умение управлять этим «уникальным набором» как единым целым – Системой её управления.

Если рассматривать Бизнес-функцию как самостоятельную Сущность, представляющую для организации ценность, необходимую для достижения её целей – то легко согласиться, что Бизнес-функция является первичной системой управления на уровне которой осуществляется управление конкретными бизнес-объектами, будь то цели или риски, данные или знания, контрагенты или комплектующие материалы, скважины или буровые вышки и т.д. – «Management» То есть мы можем говорить о Системе управления организации и как об управлении на уровне отдельных бизнес-функций – «Management», так и на уровне управления совокупностей Бизнес-функций – «Governance» (управление-управлением). Очевидно, что для этих типов управления «Management» и «Governance» – абсолютно различны ответственности и решаемые проблемы, скорости изменения и необходимость трансформаций. Очевидно, что «управление-управлением» – «Governance» требует постоянного и динамичного изменения, вызываемого всё новыми и новыми проблемами, которые бросает рынок и внешняя среда, которые ставят задачи вывода и удержания организации на уровне «Расцвет-Взрослость». То есть – это то, что должно постоянно перестраиваться, не давая организации застыть «как муха в янтаре», это то, что можно и нужно завязывать на личность руководителя и его глобальной компетенции (управленческой роли[1]): или рисковать и выбирать пути развития бизнеса (предприниматель), или обеспечивать стабильность производства (производитель), или получать синергетический эффект от синтеза и интеграции (интегратор), или администрировать и контролировать деятельность (администратор). В данном случае руководитель определяет каков будет состав и характеристики бизнес-функций, чтобы они служили ему. Очевидно, что «управление бизнес-объектами» – «Management», требует формализованности и методичности, постоянного и постепенного взросления, наращивания уровня зрелости методологий и технологий, процессов и взаимодействий, организационных и ролевых структур. То есть это то, что не может создаваться, разрушаться или полностью перестраиваться «каждые две минуты», это то, что нужно аккуратно взращивать и защищать от личностного влияния «вновь прибывших» руководителей, желающих лично всё сделать с «нуля», «разрушить до основанья, а затем…». В данном случае бизнес-функция определяет, каким должен быть менеджер, чтобы он служил ей. Если мы говорим о ситуации смены генерального директора и первых лиц организации – то это означает, что это безусловно жёсткое потрясение для организации, является поиском наиболее сбалансированной Системы управления – наиболее сбалансированного ролевого состава Системы управления организацией (Governance), которая обязана вывести или удержать организацию на уровне «Расцвет-Взрослость». И здесь понятно, что новые люди будут реализовывать основные стили управления (предприниматель – производитель – интегратор – администратор) каким-то новым способом, приближая свою деятельность к ИСКУСCТВУ. В данном случае необходима именно смена индивидуума, его философии, его энергии, его видения не только своей роли, но и МИРА. Но смена командования не должна менять свойств корабля, на который оно призвано. Это значит, что состав бизнес-функций, неважно операционных или управляющих, их предназначение, предоставляемые ими сервисы (ценности), их методологии, технологии, ресурсы и структуры – должны продолжить своё постоянно-поступательное и постепенное взросление, наращивание уровня зрелости. Вновь пришедший состав высших руководителей может поменять или сохранить менеджеров бизнес-функций. Кому с кем удобно работать – это проблема личного комфорта, и она важна для командообразования. Но смена Системы управления на уровне «Governance» НИ ПРИ КАКИХ ОБСТАЯТЕЛЬСТВАХ – НИ ПРИ КАКИХ – не может приводить к полному демонтажу ранее созданных бизнес-функций, ни операционных, ни тем более управляющих, не может вызывать полню перестройку их архитектуры и регламентно-методической базы.

Бизнес-функция – это методологии, технологии, ресурсы и структуры. На создание и ввод в промышленную эксплуатацию одной, любой, даже самой простой бизнес-функции, уходит минимум 2-3 года (этап проектирования и этап запуска-разворачивания-адаптации) – это миллионы затраченных рублей, это сотни потраченных человеко-лет своего персонала и привлечённого на внешнем рынке, это закупленные производственные и ИТ-мощности. Любая созданная бизнес-функция является интеллектуальным инструментом организации – бриллиантом, входящим в состав Системы управления организации. Организация должна всеми способами защищать свою интеллектуальную собственность – она не может себе позволить отдать уже созданную бизнес-функцию на произвол менеджера, даже пусть и очень талантливого, чтобы он переделал её под своё видение – менеджер должен служить, бизнес-функции, а не наоборот. БИЗНЕС-ФУНКЦИЯ – ЭТО ТО, ЧТО ОРГАНИЗАЦИЯ ДОЛЖНА ОБЕРЕГАТЬ КАК СВОЁ ДОСТОЯНИE, КОТОРОЕ ОНА ДОЛЖНА ПОСТОЯННО ПРЕУМНОЖАТЬ, А НЕ ПЕРЕРАСПРЕДЕЛЯТЬ В УГОДУ КОНЬЮКТУРЕ МОМЕНТА И УЖ ТЕМ БОЛЕЕ НЕ ТЕРЯТЬ В СЛЕДСТВИИ ТАКИХ ПЕРЕРАСПРЕДЕЛЕНИЙ. Умение же проектировать Бизнес-функции, встраивать их в общую архитектуру организации, сохранять их как НАИБОЛЬШУЮ ЦЕННОСТЬ ОРГАНИЗАЦЦИИ и гармонично развивать становиться приоритетной задачей высшего руководства организации. В рамках этой задачи, высшее руководство получает общую интеграционную площадку для взаимодействия и инструменты, позволяющие решать сегодняшние проблемы и быть готовыми решать завтрашние, позволяющие работать с нормальными проблемами и не допускать наличия аномальных. Если вы хотите узнать, как строятся бизнес-функции, относящиеся к области управления корпоративными данными, такие как «Управление НСИ и мастер-данными», «Управление качеством данных» «Управление архитектурой данных» «Управление безопасностью данных» и др. Если вы хотите узнать, как строятся бизнес-функции, относящиеся к области управления корпоративными знаниями, такие как «Управление знаниями о бизнес-процессах», «Управление знаниями о продуктах», «Управление знаниями о персонале» и др. Если вы хотите разобраться, как связывать различные бизнес-функции между собой и обеспечивать их постоянное совершенствование в рамках единой управляющей бизнес-функции и в конечном счёте в рамках единой Системы управления организации. Если вас интересуют эти проблемы и задачи – обращайтесь к компании DIS Group, которая предлагает все необходимые решения в области создания управляющих и операционных Бизнес-функций, обладающих как методологической, так и технологической составляющими и представляющих инновационные подходы в области создания Системы управления организации.   [1] Стили управления (управленческие роли) указаны в соответствии с методологией Адизеса

Business Intelligence (BI) – методы и инструменты, которые помогают компаниям использовать данные для бизнес-целей. Инструменты BI уже широко применяются во многих компаниях. ERP-системы (Enterprise Resource Planning) автоматизируют учёт и управление. CRM (Client Relational Management) управляет отношениями с клиентами. К Business Intelligence можно отнести и ETL-инструменты, которые интегрируют и трансформируют данные. Сейчас использование данных для бизнес-целей набирает всё большую популярность. Такая популярность вызвала изменения и в Business Intelligence. Не так давно BI-инструменты работали на персональный компьютерах и составляли отчёты на основе ограниченных данных или собирали данные в аналитические кубы (OLAP-кубы, многомерные массивы данных). Теперь Business Intelligence собирает данные и аналитику со всей компании. Всё реже BI функционирует на персональных компьютерах. Однако так же, как и раньше, применение Business Intelligence ограничено, полностью его потенциал не реализован.

Синди Хаусон — вице-президент по исследованиям исследовательской компании Gartner. В своей книге «Успешный Business Intelligence: раскройте ценность BI и Big Data» она рассуждает о том, что мешает компаниям извлекать максимальную пользу из BI. Синди отмечает, что успех Business Intelligence зависит в большей степени от одного фактора – корпоративной культуры в организации. Корпоративная культура всегда имела важное значение для внедрения новых инициатив. Но для BI, она играет главную роль. Некоторые компании уже смогли изменить свою культуру так, чтобы она подходила для эффективного Business Intelligence, и распространить её на все сферы деятельности организации. Но для большинства решение этой задачи остаётся проблемой. Хаусон приводит пример того, как корпоративная культура тормозит BI. «У компаний много данных и естественно они ценят эти данные. Но иногда сотрудники бояться делиться данными друг с другом и с аналитиками. Они понимают, что, когда они начнут показывать данные, кто-то может попасть под угрозу увольнения. Данные могут выявить, что кто-то принимает неправильные решения. Возможно, они покажут, что кто-то потратил миллионы долларов в погоне за сегментом рынка или продвижении продукта. А прибыли, которую планировалось получить от этих инвестиций, на самом деле нет». Важно донести до сотрудников, что данные – это инструмент, который поможет увидеть проблемы и подкорректировать курс действий или использовать новые возможности. А не инструмент для того, чтобы наказать или разоблачить сотрудников, или целые отделы. Заниматься этим должно руководство организации. «Под руководителями компании я понимаю не только директора ИТ-отдела, но и генерального директора, и управляющего или операционного директора, руководителя отдела маркетинга, – объясняет Хаусон. – Корпоративная культура и руководство тесно связаны, сложно отделить одно от другого».

Ещё одну проблему использования Business Intelligence озвучил Бред Питерс, генеральный директор Birst. По его мнению, корпоративная культура мешает также перемещению данных и их анализа в облако. Такое перемещение необходимо, потому что облако обеспечивает большую масштабируемость и доступность для инициатив Business Intelligence. В своём недавнем интервью для издания Diginomica Бред Питерс рассказал, что ИТ-отделы могут сознательно тормозить использования облака. Они могут бояться, что из-за него их исключат из цепочки работы с данными. К тому же, существует мнение, что как только данные для BI попадут в облако, «с ними будет сложнее работать». Облачные сервисы, которые используют сразу несколько клиентов, имеют свои системы безопасности и протоколы. А это может ограничивать способность пользователей манипулировать данными или парсить их. Облачные сервисы, такие как Salesforce применяются всё шире. Это постепенно уменьшает сопротивление идее размещения BI в облаке. Особенно облака для работы с данными актуальны для организаций, чьи сотрудники находятся в разных городах и странах. При этом Питерс замечает, что он «не питает иллюзий, что переход Business Intelligence в облако произойдёт в одночасье». Вы уже создали прекрасную корпоративную культуру для работы с данными в своей компании, но BI все равно работает не так, как вы этого хотите? Ищите ещё подсказки по этой теме в статье Почему анализ данных не приносит пользы вашей компании.

Apache Spark – это технология, которая работает с Big Data. Если вы никогда не слышали об особенностях хранения и обработки больших данных, читайте сначала статью «Что такое Big Data? Азбука больших данных от А до Я».

MapReduce – компонент Hadoop для обработки данных (есть ещё HDFS для их хранения). Он проводит вычисления в два этапа. На первом этапе (Map) главный узел кластера Hadoop распределяет задачи по другим узлам (нодам). На втором – данные сворачиваются, передаются обратно на главный узел и формируется окончательный результат вычисления. Такая сложная схема приводит к задержкам в работе. Пока все процессы этапа Map не закончатся, процессы Reduce не начнутся. Замедляет работу технологии и то, что обрабатывает она в основном информацию на жёстких дисках. MapReduce прекрасно справляется с пакетной обработкой, но, когда требуется высокая скорость – низкая латентность – такая технология не подходит. В промежутке между 2007 и 20015 появилось множество независимых проектов по разработке решения, которое могло бы проводить вычисления на Hadoop, но с высокой латентностью. В частности, появились Apache Storm, GarphLab, Apache Tez, Giraph. Они и сейчас остаются полноценными частями экосистемы Hadoop. Наибольшую популярность приобрёл Apache Spark. Он сохранил главные преимущества MapReduce. В частности – неограниченную горизонтальную масштабируемость и способность восстанавливаться даже после серьезных ошибок системы. При этом Apache Spark проводит вычисления в оперативной памяти. Благодаря технологии RDD (resilient distributed dataset) Apache Spark не проводит всех вычислений сразу, а только тогда, когда требуется вывести готовый результат. Всё это позволяет ему в 10-100 раз работать быстрее своего старшего товарища.

Apache Spark – отдельное решение, которое теоретически может использоваться и для другой платформы хранения данных: для Apache Cassandra или Amazaon S3.

Apache Spark создавался для случаев, когда объёмы данных сравнительно небольшие, а латентность требуется высокая. Если у вас нет очень больших объёмов оперативной памяти, Spark не сможет обрабатывать очень большие данные.

Apache Spark был разработан так, что подходит и для пакетной и для итеративной обработки. Итеративная обработка нужна для машинного обучения (библиотека MLib), работы с графами (оптимально применять библиотеку GraphX) и обработки данных в потоковом режиме (SparkStreaming), оно активно применяется для IoT и кибербезопасности.

Вести разработку на Apache Spark можно с помощью множества языков, например, с помощью Java, Scala, Python и R. Писать код в Apache Spark намного проще, чем на MapReduce, а сам код получается короче и компактнее.

Решения Informatica для Big Data прекрасно работают с технологией Apache Spark. Кейсы успешной совместной работы есть уже и на международном, и на российском рынках. «Продукты Informatica работают с графами с помощью Apache Spark, — объясняет Сумиит Агравал, главный менеджер по продукту Informatica. — Потому что мы всегда стараемся использовать инновации open-source». При этом, Apache Spark не может составить конкуренцию Informatica Big Data Management в области пакетной обработки данных при ETL. Исследования показали, что собственная технология Informatica на основе технологии YARN – Blaze – работает в 2-3 раза быстрее при осуществлении ETL-процессов. Он также позволяет эффективнее использовать ресурсы при проведении нескольких операций и имеет целый ряд других преимуществ.

“Выживает не сильнейший из видов, а тот, кто способен лучше других приспосабливаться к изменяющимся условиям окружающей среды”, – Чарльз Дарвин.

Сейчас все говорят о цифровой трансформации и инновациях. При этом, как и в случае с Big Data, каждый вкладывает в это понятие что-то своё. А есть и те, кто просто старается следовать модному тренду, потому что боятся остаться позади. Но давайте разберёмся, в чем же причина такого интереса к цифровизации. На мой взгляд, причина в том, что с одной стороны рынок стал более конкурентным, с другой – он постоянно меняется. Появляются всё новые концепции, которые заменяют или сильно уменьшают роль традиционных бизнес-моделей. К тому же регулярно меняются ожидания клиентов, под которые бизнесу приходится подстраиваться. В таких условиях цифровая трансформация для организации – единственная возможность сохранить свои позиции на рынке.

Многие организации успешно приспосабливаются к новым условиям. Мы видим, как меняется структура крупнейших корпораций. Появляются департаменты по инновациям и такие должности как CINO (Chief Innovation Officer), CDO (Chief Digital Officer). В обязанности этих специалистов входит поиск новых технологий, их апробация и определение их полезности для бизнеса. Но создания новых должностей и департаментов недостаточно. В дополнение к ним нужно организовывать и новые бизнес-процессы. Также в погоне за цифровизацией корпорации начинают сотрудничать с цифровыми инкубаторами стартапов такими, как «Сколково», ФРИИ (Фонд развития интернет-инициатив) и другими. При этом компании забывают о том, что такое сотрудничество требует разработки отдельных процессов, требований и договоров. Нужно понимать, что в крупных организациях высокие требования к поставщику и SLA оказания услуг. За их неисполнение предусмотрены высокие штрафы. Стартапам может быть сложно соответствовать таким требованиям. Создать новые бизнес-процессы для работы с цифровыми инкубаторами стартапов поможет эффективное управление данными в компании.

Цифра — это данные. Именно они являются основой для успешной цифровизации, в том числе и для работы с цифровыми инкубаторами стартапов. Эффективное управление данными обеспечит понимание, где какая информация находятся в компании, какого она качества и кто за неё отвечает. Это позволяет выставлять требования к данным там, где они рождаются, в зависимости от критичности бизнес-процессов, в которых они будут использоваться. А самое главное это поможет быстро предоставить нужные данные в необходимом качестве для проверки той или иной бизнес-идеи. А это, в свою очередь, позволит значительно быстрее проводить апробацию идей и принимать решение о полезности или не полезности того или иного решения для бизнеса. Поэтому кроме должности CDO, которая расшифровывается как Chief Digital Officier, нужно вводить и позицию CDO, который отвечает за данные, — Chief Data Officier. Важно, чтобы функция управления данными также была выделена в отдельный департамент и отдельное направление бизнеса. Кроме того, необходимо внедрить программу сквозного и стратегического управления данными – Data Governance.

Для реализации программы Data Governance важна, как административная и процессная составляющая, так и технологическая. На технологическом уровне нужна масштабируемая и полностью интегрированная платформа, которая позволяет решать все задачи Data Governance. К таким задачам относятся:

• интеграция и преобразования данных;
• контроль и обеспечение их качества;
• управление метаданными (данные о данных);
• управление бизнес-глоссарием;
• реализация стратегии управления данными для обеспечения единого взгляда на все эти компоненты;
• маскирование данных.

Промышленная платформа Informatica – абсолютный лидер в каждой из указанных областей. Поэтому она прекрасно справляется со всеми указанными задачами и может стать эффективным техническим инструментом реализации программы Data Governance. Преимущества платформы уже оценили крупнейшие компании в России и СНГ. Она установлена в таких организациях, как Сбербанк, Альфа-банк, Россельхозбанк, «Ростелеком», ПАО «ВымпелКом», «Мегафон», «Магнит», «Аэрофлот», РЖД.

Может возникнуть вопрос почему я включил маскирование в Data Governance, ведь это же функция информационной безопасности? С одной стороны, это так. Но, если маскировать данные классическими методами, то они теряют все свои особенности и связанность, то есть они становятся бесполезными для апробации. Поэтому нужны решения, которые позволяют сохранять особенности данных и их связанность не только в рамках одной системы, но и нескольких систем. А обеспечить это может только маскирование в рамках Data Governance. Маскирование в рамках Data Governance позволит использовать релевантный набор данных для любых задач как внутри организации, так и вовне. Можно будет не бояться, что случится утечка, конфиденциальная информация перестанет быть конфиденциальной или к ней получит доступ тот, кто не должен. Эффективное техническое решение для маскирования – Informatica Data Masking. Оно используется в крупнейших компаниях России таких, как Сбербанк, Газпромбанк, HomeCredit Bank, ПАО «ВымпелКом» и других. Качественный процесс Data Governance – основа успешной цифровой трансформации. При выстроенных процессах DG организация сможет быстрее готовить необходимый срез данных для проверки той или иной бизнес-идеи и быстрее интегрироваться в новую экосистему или партнерскую модель. Поэтому крайне важно реализовать инициативы в этой области перед началом сотрудничества с цифровым инкубатором и трансформации компании.

Сейчас много восторженных размышлений (и переизбыток обычного хайпа) по поводу очень больших возможностей, которые открывает интернет вещей. IoT предлагает бизнесу информацию и прозрачность, которую тот ищет, чтобы лучше понять мир вокруг себя. Объёмы рынка, которые прогнозируют эксперты, достигают миллиардов долларов. В своём отчёте консалтинговая компания BCG указывает, что затраты b2b-компаний на IoT-технологии, приложения и решения составят 267 миллиардов долларов в следующие три года. А затраты на аналитику данных интернета вещей – 21,4 миллиарда.

Нет сомнений в том, что качество данных – основа эффективности IoT. Но нет сомнений и в том, что пока что качество данных, которые генерируются с помощью датчиков, подключенных к интернету вещей, требует улучшения. Ведь после сбора данные распространяются по всей организации. В частности, они поступают и тем, кто принимает решения. Поэтому очень важно, чтобы они были надёжными. Организации полагаются на интернет вещей для выполнения целого ряда функций. Сэм Рансботам – доцент Бостонского колледжа, приглашённый редактор журнала MIT Sloan Management Review. Он называет такие области использование IoT, как улучшение клиентского опыта, раннее предупреждение о плохой работе и ошибках оборудования, автоматизация оповещения о работе критичных систем. Поэтому в организации должно быть всё в порядке с доверием к качеству данных. Он подробно исследует значение проблемы доверия к данным в эру IoT. Сэм и его коллеги приходят к выводу, что доверие – необходимое связующее звено, которое позволит вашему интернету вещей успешно функционировать.

Хорошие новости: качество данных улучшается по мере того, как решения интернета вещей становятся более зрелыми. Это происходит благодаря тому, что сети интернета вещей становятся неотъемлемой частью бизнеса. Что в свою очередь стимулирует обучение и непрерывное улучшение IoT-технологий. «Мы считаем, что расширение внедрения проектов интернета вещей связано с улучшением актуальности, детализированности и надёжности данных», — считает Рансботам. — «Большие объёмы данных с сенсоров – само собой разумеющееся. Но с течением времени организации повышают не только количество собираемых данных, но и их качество».

Актуальность имеет самое большое влияние на восприятие качества данных, подчёркивает Рансботам. «Около 40% респондентов, чьи организации не очень активно внедряет технологии IoT, сообщают, что их данные «по большей части» или «полностью» актуальны. А для компаний, которые активно работают с технологиями IoT, это число составляет 76%. Важно заметить, что «чем ближе к источнику системы мониторят и перемещают данные, тем больше число задержек в сборе данных». Как обеспечивать высокое качество данных быстрорастущих ИТ-инициатив? Важно стандартизировать данные. Нужно быть уверенным, что данные, которые поступают из разных источников, имеют единую версию правды. Также важно, чтобы сенсоры и сеть IoT были хорошо защищены, чтобы избежать взлома.

Томас Давенпорт, эксперт в области аналитики (Массачусетский технологический университет и Бэбсон колледж), призывает организации «держать в ежовых рукавицах» производителей сенсоров. «Настаивайте на двух уровнях калибрования», – советовал он в своей статье в прошлом году. «В первый раз нужно калибровать сенсоры на заводе, во второй – при установке, чтобы проверить, что сенсор функционирует, как нужно. После этого нужно проводить постоянную калибровку, чтобы быть уверенным, что устройство продолжает правильно работать. Идеально, чтобы калибрование и при установке, и при последующей работе, было встроенным и автоматическим». Давенпорт предупреждает «Не нужно ожидать совершенства, особенно от новых сенсоров. Но нужно настаивать на быстрых улучшениях и доработках». Как и для всех ИТ-технологий в организации, для Big Data и IoT ключевое значение имеет постоянное улучшение. Особенно, когда речь идёт о качестве данных, которым мы доверяем не много не мало управлять нашими компаниями.

Есть много определений Big Data. Большинство экспертов описывает большие данные через их характеристики. К этим характеристикам относятся объём, скорость, многообразие. Ви Си Шоудары (доцент кафедры информационных систем, Калифорнийский университет в Ирвайне) считает, что «главное отличие Big Data от традиционных данных – это объём информации, скорости с которой она создаётся, многообразие источников, из которых она поступает». Эксперты консалтинговой компании в области BI Hurwitz and Associates придерживаются этого же определения. Они описывают технологии Big Data через их способность управлять большим объёмом разрозненных данных с необходимой скоростью и в необходимые временные рамки. А также – обеспечивать анализ таких данных и реакцию на них в реальном времени. А что насчёт точки зрения бизнеса? Недавно я слышал, как директор по ИТ очень крупной компании в области здравоохранения рассказывал о больших данных. Прежде чем дать определение Big Data, он объяснил, что такое «маленькие данные». Он считает, что «маленькие данные» — это данные из «одного источника, часто они обрабатываются пакетами, а управляют ими локально». Тогда что же такое Big Data? «Big Data имеют разные источники, требуют связи между источниками, могут быть структурированными и неструктурированными, поступают в реальном времени и используют информацию в совокупности». Этот эксперт также утверждает, что «Big Data нацелены на то, чтобы выстраивать модели из самих данных. Эффективнее искать связи сразу в больших данных, чем создавать такие связи в моделях». Этот механизм значительно отличается о того, который применяется в традиционном Business Intelligence (BI), который лучше использовать, когда вы лучше знаете, какой должна быть модель для ваших данных».

Работать с Big Data стало возможным благодаря архитектурам параллельной обработки. Если быть честным, параллельные архитектуры не новинка, они существуют уже какое-то время. Я помню, что впервые я столкнулся с параллельной архитектурой на сервере ещё в середине 90-х. А если быть совсем честным, автор знаменитого принципа Фон Нейман дал определение архитектур параллельной и последовательной обработки данных одновременно. Наши технологии потеряли способность обрабатывать данные параллельно, пока пытались их централизовать и защитить. Hadoop – самая известная сейчас программная платформа для параллельной обработки. Платформа распределяет данные и процессы по их обработке по нескольким своим узлам. Узлы находятся на разных компьютерах. Высокая производительность достигается за счёт того, что каждая партия данных обрабатывается на нескольких узлах. Шоудары считает, что Big Data – это не просто данные большого объёма, которые можно обрабатывать. Это и то, как вы можете их использовать. Он утверждает, что «Big Data могут кардинально изменить бизнес. Традиционные данные использовались как описательная статистика, для которой собирались и майнились все доступные данные. Big Data позволяет предсказать события на основе разрозненной информации, а это уже диктует, какие дальнейшие шаги стоит предпринять бизнесу».

Те данные, которые вы собираете, — ваш новый «цифровой продукт». Именно так вы должны позиционировать Big Data перед теми, кому собираетесь их продавать. Big Data давно уже стали полноценным «продуктом». Такие компании, как Nielsen Acxiom, D&B, TransUnion, Equifax, Bloomberg и IMS уже строят свой бизнес вокруг них. Эти компании продают возможность использовать свои необработанные данные, как если бы те были частью инфраструктуры. Вы должны равняться на такие примеры. Как и при выводе любого другого продукта на рынок, прежде всего необходимо оценить текущую ситуацию. Для этого честно ответьте себе на следующие вопросы:

• Доля рынка. Управляет ли ваша организация по крайней мере 20% основных транзакций на рынке?
• Новаторство. Является ли ваша организация первой, второй или, по крайней мере, входит ли она в 50% компаний своей индустрии, которые первыми выводят Big Data на рынок? Если это так, вы сможете заработать до 80% всей прибыли на рынке.
• Права использования. Есть ли у вас законные права передавать использование данных B2B и B2C клиентов третьим лицам?
• Конфиденциальность. Есть ли у вас глубокое понимание требований регуляторов, под которые попадают ваши большие данные?
• Готовность. Есть ли у вашей организации необходимая ИТ-инфраструктура, сотрудники для продажи и технической поддержки Big Data?
• Деловое предложение. Хорошо ли вы понимаете, как потребители вашей Big Data оценивают его возможности приносить прибыль? Ответить на этот вопрос необходимо, чтобы не ошибиться с ценой.

Если у вас всё в порядке с перечисленными вопросами, то можно переходить к позиционированию вашего «цифрового продукта» на рынке. Для этого важно понять, как потенциальный покупатель сможет использовать большие данные, которые вы собрали.

Цифровая трансформация может проходить в следующих форматах:

• Автоматизация;
• Расширение базы поставщиков;
• Цифровизация дистрибуции;
• Введение новой цифровой функциональной возможности;
• Создание нового кастомизированного продукта;
• Работа платформы;

Скорее всего собранные вами большие данные можно будет применить для решения задач одного или нескольких из перечисленных форматов цифровой трансформации.

Большие данные для автоматизации операционной работы

Автоматизация улучшает продуктивность и эффективность существующих процессов. Хорошими примерами автоматизации могут быть роботизированные механизмы, рекомендательные системы, витрины для самостоятельной аналитики и другое. Всё это невозможно осуществить без больших данных. Их анализ поможет понять, почему конкретные производственные роботы меньше ломаются в определённых условиях. Он покажет, почему отдельные схемы заказов влекут за собой новые покупки. Он поможет найти набор данных, который можно использовать для предсказания удовлетворённости клиента товаром или услугой.

Big Data для поиска новых поставщиков

Цифровая трансформация может значительно расширить базу поставщиков. А это привлечёт новые потоки прибыли в компанию. Особенно это касается бесчисленных маркетплейсов для перепродажи товаров. Примером такого маркетплейса может быть Poshmark (Юла и Avito в России). Анализ информации о настроении потребителей, а также соответствия спроса и предложения можно использовать для выбора оптимальной цены и запуска эффективных маркетинговых акций. А чем успешнее товары будут продаваться, тем больше поставщиков будут заинтересованы работать с маркетплейсом.

Big Data для онлайн дистрибуции

Цифровизация дистрибуции товара, услуги или контента — перемещение портфолио компании онлайн. Уход в онлайн помогает компаниям сократить траты на физическую инвентаризацию и инфраструктуру. Примером перехода на цифровую дистрибуцию могут быть обучающие курсы Khan Academy и новостной сайт New York Times Online Edition. Большие данные здесь нужны, чтобы улучшить таргетинг и предложение.

Big Data для новых возможностей старых приборов

Цифровая трансформация помогает приборам и аппаратам приобрести новые функциональные возможности. Хорошим примером этого является термостат NEST, который умеет проверять местонахождение хозяина через GPS на его телефоне. Если вас нет дома, термостат отключит отопление. Он же сможет понять, когда нужно понизить или повысить температуру, чтобы вам было комфортно. Самостоятельные решения такие аппараты и приборы принимают на основе больших данных.

Big Data как часть кастомизированного продукта

Эта задача немного сложнее предыдущих. Организации меняют структуры товаров и услуг, чтобы они соответствовали новым моделям использования. Пример этого – когда клиент не приобретает товар, а подписывается на него. В основном такие модели внедряются, чтобы избежать цикла продаж, ориентированного на капитальные траты. Так, компания GE Aviation производит реактивные двигатели для самолётов. Она предлагает возможность своим клиентам не покупать турбины за 24 миллиона долларов, а взять их в аренду. В этом случае платить придётся только за то время, которое турбины работают в полёте. Компания выбрала такой способ оплаты, чтобы извлечь выгоду из двух долгоиграющих трендов. Количество миль, которые пролетали пассажиры, росло. А новые комплектующие перевозчики покупали один раз в девять лет. Big Data в этом случае становятся частью кастомизированного продукта, который продает GE Aviation. Компани активно занимается их сбором во время полёта, в том числе – с сенсоров интернета вещей. Она собирает клиентские, контрактные, геолокационные, атмосферные, данные, а также те, которые собираются с сенсора на планере (часть конструкции воздушного судна) и на двигателе. Эту информацию GE Aviation монетизирует: передаёт своим клиентам – авиаперевозчикам. Это позволяет им изменять маршрут самолёта по ходу движения, чтобы сократить потребление топлива и амортизацию. В то же время GE Aviation занимается и «внутренней монетизицией». Благодаря показателям с сенсоров компания всегда видит состояние своих двигателей. Она может заранее планировать ремонтные работы, производство запчастей для замены, их поставки, а также то, как это повлияет на договорные обязательства и ценообразование.

В последнее время мы наблюдаем расцвет платформ. Платформа – самая сложная форма цифрового продукта. Amazon, Apple AppStore, Spotify, OpenTable, AirBnB, Uber, LinkedIn, Facebook не просто так имеют такую высокую стоимость. Они вовремя начали применять цифровую интегрированную платформу для создания и распространения традиционных и цифровых продуктов от лица потребителей, партнёров и подчинённых. Такие компании предлагают приложения с широкой функциональностью. Но, по сути, они всего-навсего работают с данными. Зайдите на сайт для разработчиков Uber. Там вы увидите глубокую аналитику поездок, к которой они с удовольствием добавят собранные Big Data.

Организации должны аккуратно опускать свои руки в озёра данных. Предосторожности нужны не потому, что у компаний нет возможности технически поддерживать свои водоёмы информации. Дело скорее в том, что к работе с этим решением не готовы сотрудники, а бизнес-процессы к ней не приспособлены. На форуме Data Summit, который проходил в Нью-Йорке, обсуждались сложности озёр данных и возможности, которые открывает эта технология. Среди участников – Энн Бафф, менеджер по бизнес-решениям для передового опыта в Институте SAS; Абхик Рой, инженер базы данных Experian и Тассос Сарбейнс, математик и data scientist в области инвестиционно-банковского дела Credit Suisse.

В том, что касается технологий, большинство организаций легко могли бы применять озёра данных, считают участники дискуссии. «Мы движемся в верном направлении, – считает Сарбейнс. – Для эффективной работы достаточно интеграции сервисов, процессов и наборов инструментов, которые есть у компаний. Кроме того, мы каждый день слышим от сообщества open source о новых инструментах, которые раздвинут границы возможного ещё шире. Ограничений никаких нет. Сообщество open source постоянно создаёт всё новые и новые решения». Бафф давно выступает против самой концепции озера данных. Но она согласна с тем, что проблема не в технологии, а в людях, которые используют её. «Для меня данные – это как банка с шурупами, болтами и гвоздями. Такие многие держат у себя в гаражах. Шурупы, болты, гвозди и данные хранятся на случай, если они когда-нибудь понадобятся, на всякий случай. Но доступ к такой банке должны иметь только те, кто понимает, когда именно что можно применить». Бафф утверждает, что новые технологии, такие как озеро данных, могут появляться и исчезать. Важно, чтобы организация выращивала или нанимала сотрудников, которые смогут развиваться вместе с новыми требованиями бизнеса. Она считает, что не стоит искать специалистов с определённым набором навыков и умений. При найме нужно задавать соискателям один вопрос – «какая ваша главная задача в компании». Сотрудников нужно нанимать с условием, что они действительно понимают, чего пытаются достичь для компании. Также важно, чтобы работник был готов меняться вместе с технологией, когда она изменится».

Озёра данных – «это только точка на радаре» развития технологий, считает Бафф. Также она перечисляет новые решения, которые сейчас разрабатываются. Например, будут такие, которые смогут применять структуру ДНК для хранения данных. Модель ДНК потребует небольшую часть того места, которое занимают данные сейчас. Большие хранилища в таких условиях будут не нужны. Вопрос в том, будет ли озеро данных иметь такую же ценность для бизнеса через несколько лет? Особенно, когда активнее будет использоваться интернет и семантическая паутина для хранения данных онлайн, а также новые аналитические ресурсы. Скорее всего, да. Потому что некоторые данные, например, информация с сенсоров, настолько быстро меняется, что нужен специальный инструмент, который сможет поймать её и удержать. Сарбейнс считает, что озеро данных будет необходимо всегда, потому что «организациям нужно своё собственное место, где они могут в безопасности хранить свои данные», – говорит Сарбейнс. «Сейчас на рынке нет места банкам или финансовым организациям, которые бы хранили данные в интернете. Им пришлось бы уйти с рынка на следующий день после того, как они начали это делать». Бафф признаёт, что архитектуры с озёрами данных довольно эффективны. «Тревогу вызывают только организации, которые просто перемещают данные из разных источников в озеро и всё. Но идея, что связанные данные обязательно являются интегрированными, в корне неверная», – объясняет Бафф. Она добавляет, что озеро данных приносить пользу, если в нём работают «хорошо знающие данные и хорошо обученные люди». Однако «это не значит, что, если у вас есть озеро данных, доступ к нему можно давать всем. Специалисты без достаточной квалификации могут стать причиной нарушения работы всего решения». Рой считает, что нужно в первую очередь принимать во внимание бизнес-процессы, а не технические аспекты работы с данными. «Сначала нам нужно спросить себя, какую ценность озеро данных представляет для организации. Нашли ответ на этот вопрос? Вас подстерегает следующая проблема. Вам может быть сложно переместить слабо моделированные данные в среду озера. Нужно будет решить, как это сделать или научиться недорого создавать модели данных для каждого кейса». Вместе с настроенными процессами работы с данными и экспертизой сотрудников большую роль играет наличие онтологии (состоит из структуры данных, содержащей все релевантные классы объектов, их связи и правила и так далее). Она является ключевым требованием при работе в среде озера данных, считает Сарбейнс. «Онтология будет играть ведущую роль в вашем озере или озёрах. Сотрудник, который заходит в озеро данных, чтобы найти что-то и выполнить необходимый анализ, должен будет посмотреть в «словарь данных». Хотите узнать, какие ошибки чаще всего компании допускают при использовании озёр данных? Читайте об этом в другой статье в нашем блоге – Только начинаете работать с Big Data? Избегайте этих 5 ошибок!

Нам всем пора посмотреться в зеркало. В нём мы увидим себя и большие объёмы данных, которые мы собираем. Но значительных результатов применения Big Data пока мы увидеть не сможем. И дело тут не в данных и не в технологиях их сбора, обработки и анализа. Дело в людях. Если бы Big Data могли говорить, они бы сказали нам: «Дело не во мне, дело в тебе». Именно люди мешают большим данным приносить столько пользы, сколь обещает хайп, который создаётся вокруг них. Почему это происходит?

Компании не очень спешат создавать корпоративную культуру, которая будет ценить стандартизованную, эффективную и воспроизводимую информацию Эван Стабс – австралийский эксперт в области больших данный и автор книг по тематике, например «Big Data, Big Innovation: Enabling Competitive Differentiation through Business Analytics». Он считает плохое качество – общая проблема для всех аналитиков данных. Плохие данные хороши только тем, что про них можно постоянно шутить. Ещё можно находить утешение в том, что какими бы плохими не были ваши данные, у всех остальных они не лучше. Но ведь некачественные Big Data не берутся из ниоткуда. Они не падают на нас с неба. Мы сами их собираем. Оставьте надолго грязную посуду, и рано или поздно у вас заведутся тараканы. Игнорируйте качество данных, и рано или поздно в ваших Big Data образуются чёрные дыры, которые сделают их недостоверными. Эта правда, которую придётся принять: мы – причина существования некачественных Big Data. Специалисты, которые работают с Big Data, предпринимают «значительные усилия», чтобы почистить их. Но редкие «чистки», которые они проводят, вылечивают симптомы. А само заболевание низкого качества остаётся и приводит к неэффективности, новым тратам и ещё большему недовольству Big Data. С первого взгляда вам может показаться, что качество данных – технологическая проблема. Но это не так. На самом деле компаниям не хватает ни технологий, а корпоративной культуры, в которой ценится стандартизованная, эффективная и воспроизводимая информация. Если вы создадите такую культуру, то сможете генерировать данные, которые можно использовать много раз. Они будут эффективными и качественными. По-настоящему успешные команды сейчас не пытаются управлять лачугой непродуманных таблиц источника-данных. Они на постоянной основе интегрируют Big Data из этих таблиц, каталогизируют их, повышать их качество и так далее. Такая работа не одноразовый акт, она становится обычной частью бизнес-процессов, чем-то обыденным.

Однако, даже если качество Big Data прекрасное, всегда ли на их основе можно подготовить отличные инсайты о привычках, нуждах и желаниях клиента? Несмотря на значительный рост объёмов Big Data и успех нескольких компаний, таких как Amazon или Netflix, «реальность такова, что более глубокие инсайты для большинства организаций остаются иллюзорными», – объясняет в своей статье Миккель Расмуссен. А Кристиан Мадсбьерг в своём посте в блоге Bloomberg Businessweek говорит, что «Big Data неправильно понимает людей». Big Data представляет собой «недостаточные данные». В социальных науках различают 2 типа данных о поведении человека. Первый – «недостаточные данные». По сути, такие данные – следы нашего присутствия онлайн: наш размер одежды, цвет глаз, любимый напиток. Второй тип – «полные данные». Они помогают понять, как люди ощущают окружающий мир. Например, когда мы чувствуем запах травы после дождя, смотрим на кого-то особенным образом, не обращаем внимания на причинно-следственные связи. Что хорошего в том, чтобы собирать «недостаточные данные» в больших объёмах, когда вы не понимаете, как по-настоящему думает ваш клиент или что он ощущает? Компания Accenture сообщает, что только 20% организаций не может определить причинно-следственную связь между тем, «что они измеряют и какие результаты они собираются использовать». Прекрасно знаете, зачем вы собираете Big Data и как будете применять результаты их анализа? Но инструменты и технологии, которые вы используете, дают сбой? Понять, какую ошибку вы совершаете, вам поможет другая статья Амара Надига: Только начинаете работать с Big Data? Избегайте этих 5 ошибок!

Компании активно собирают и анализируют Big Data. Инструменты, которые для этого используются, отличаются от тех, которые раньше применялись для работы с данными. Решили заменить свою СУБД на Hadoop, а SQL на NoSQL? Постарайтесь не допустить ошибки, которые допускают все остальные.

Собираетесь внедрить эту платформу для Big Data? Спросите себя, почему. Эту NoSQL базу, сейчас ругают многие специалисты. Механизм агрегирования MongoDB похож на MapReduce или даже на коннектор Hadoop с очень плохой документацией. MongoDB хорошо работает как операционная база данных, для анализа она неудобна.

Вы вывалили данные из таблицы реляционной СУБД в файл и в таком виде храните его в Hadoop. Но ваш файл может быть совсем небольшого размера – всего несколько килобайт. Между разными узлами кластера небольшие файлы распределяться хуже, чем большие. А значит MapReduce не сможет работать достаточно быстро и эффективно. Например, когда решите использовать Hive, вам придётся очень долго ждать, пока он обработает ваши Big Data. Hadoop лучше всего работает с большими файлами сравнительно неструктурированных данных. Поэтому постарайтесь сгруппировать свои данные в более крупные файлы (например, данные, собранные с IoT-сенсора не за день, а за месяц).

Вместо того, чтобы создать единое озеро для Big Data, вы делаете несколько прудов или болот. Отдельные рабочие группы создают свои мини-репозитории и процессы анализа данных. Сначала может показаться, что это не очень плохо. Но когда данные каждый раз заново извлекаются и постоянно расчленяются и тасуются, это чревато разными версиями правды на основе одних и тех же данных. На один и тот же вопрос у вас будет много разных ответов.

Озёра данных эффективны. Но нужно понимать, для чего вы собираетесь их использовать. Конечно, вы можете это сделать и после установки озера. Но будет лучше, если вы сначала продумаете сценарии использования.

Конечно, вы уже привыкли к SQL. Но языки и техники постоянно развиваются. Если подсадить PL/SQL на стероиды, то получится Apache Pig (язык Pig Latin). Apache Pig отличается способностью быстро работать с Big Data. Если вам нужно больше аналитики, вам может понадобиться более широкий набор инструментов: MapReduce, R и другие. Вы не из тех, кто допускает такие ошибки? Но Big Data всё равно не приносит пользу вашей компании? Возможно, дело не в технических решениях, а в неправильно налаженных бизнес-процессах. В этом нет ничего удивительного, многие компании сталкиваются с такими же проблемами. Подробнее об этом читайте в статье «Почему анализ данных не приносит пользы вашей компании».