Олег Гиацинтов, технический директор DIS Group и эксперт в области цифровой трансформации, принял участие в создании навигатора “Управление данными в госсекторе”: вошел в состав редколлегии, а также выступил соавтором доклада. Цель навигатора — показать, в том числе на актуальных примерах, как использовать работу с данными для изменения жизни госслужащих. Работа с данными позволяет создавать новые сервисы, быстрее реагировать на события, снижать стоимость управления, принимать более обоснованные и прозрачные решения во всех отраслях. Однако осваивать эту область знаний непросто и госсектору, и бизнесу. Так, 85% компаний заявляют, что хотят улучшить использование данных для принятия решений, но при этом 91% считает эту задачу сложной. Навигатор будет полезен руководителям цифровой трансформации, CDO и членам их команд, а также всем, кто интересуется темами качества данных и их анализа. Он написан понятным языком и содержит как вводные теоретические положения, связанные с управлением данными, так и «живую» практику работы с данными в государственных и муниципальных органах.

Компания DIS Group приглашает Вас принять участие в серии вебинаров «Как поднять на 30% бизнес-эффективность от data-продуктов. Smart Data Lake». Низкое качество данных становится причиной до 30% всех временных издержек компаний, которые работают с большими данными. Ежегодный ущерб оценивается в десятки миллионов рублей. Как с помощью эффективного использования data-продуктов начать монетизировать данные, какие инструменты необходимы для успешного функционирования технологий и как на самом деле не превратить Smart Data Lake в болото мы расскажем в нашей серии вебинаров. Вебинары будут полезны бизнес-руководителям, CDO, CIO, бизнес-аналитикам, архитекторам, а также всем, кто интересуется неограниченными возможностями Smart Data Lake. Регистрация обязательна. Зарегистрироваться можно на всю серию или отдельные вебинары. Продолжительность – 1,5 часа. Зарегистрированным пользователям вебинары будут доступны в записи после их проведения.

Smart Data Lake в свете монетизации данных и управления информацией

Насыщение рынка – одна из главных проблем любой отрасли сегодня. Перед компаниями стоит задача удержать существующих клиентов, привлечь новых и достойно ответить на вызовы демпинга конкурентов. И чем лучше компания понимает своего клиента, тем лучше она сможет сделать ему оффер, что позволит повысить продажи и получить дополнительную прибыль. Как монетизировать данные и каких бизнес-результатов может достичь компания от внедрения Smart Data Lake мы расскажем в нашем вебинаре.

Smart Data Lake – ключевой элемент современного цифрового предприятия

Для получения бизнес-эффекта от Smart Data Lak необходимо правильно применить Data Governance, обеспечить защиту данных, а также настроить ролевую модель бизнес-процессов и процесс взаимодействия в рамках данной модели. Что из себя представляет Smart Data Lake? Как оно выглядит? Какие есть подходы к его реализации – об этом мы расскажем в нашем вебинаре.

Что нужно сделать, чтобы проект Smart Data Lake был успешным

Как правильно собрать рабочую группу для реализации проекта по Smart Data Lake? Какая минимальная команда нужна на начальных этапах? Какие факторы влияют на то, чтобы проект стал успешным? Примеры из практики. Об этом мы расскажем в нашем вебинаре.

• Александр Тарасов, Управляющий партнер DIS Group
• Олег Гиацинтов, Технический директор DIS Group

Бизнес-завтраки, состоявшиеся в Казахстане, были посвящены теме “Smart Data Lake – цифровой драйвер бизнеса“. Выступили представители «Халык Банка» и КазМунайГаз, рассказали о своем успешном опыте. Также кейсами поделились эксперты компаний DIS Group и Arenadata, раскрыли полезные нюансы. Мероприятия прошли в теплой, дружеской обстановке. Хотите узнать больше о том, что такое Smart Data Lake и как сделать так, чтобы озеро не превратилось в болото? Презентации и видеозаписи мероприятий уже доступны.

• 10:00-10:25

Изменения цифровой архитектуры во время цифровой трансформации. Время монетизировать данные. Канат Абиров, генеральный директор DIS Group KZ Александр Тарасов, управляющий партнер DIS Group

• 10:25-10:55

Что такое Smart Data Lake. Как сделать так, чтобы озеро не превратилось в болото, Практические бизнес-кейсы. Болат Таймагамбетов, бизнес-консультант DIS Group KZ

• 10: 55 – 11:15

Практический опыт внедрения Smart Data Lake. Асыл Нурмагамбетова , начальник отдела аналитики и консолидации данных департамента ИТ, НК «КазМунайГаз»

• 11:15 – 11:45

Практический опыт внедрения Smart Data Lake. Антон Мусин, первый заместитель председателя правления «Халык Банк» (Алматы) Айбек Оспанов, Начальник Управления разработки внешних интеграций, Офис CDO, «Халык Банк» (Нур-Султан)

• 11:45 – 12:20

Технологии реализации Smart Data Lake. Олег Гиацинтов, технический директор DIS Group Сергей Золотарев, генеральный директор Arenadata

• 12:20 – 12:50

Дискуссия, вопросы ответы

Data Lake, Smart Data Lake, озеро данных – что это и в чём его польза для бизнеса? Можно ли называть его Big Data Lake? Чем отличается озеро данных от базы данных? В своей новой статье технический директор DIS Group Олег Гиацинтов объясняет сложные вещи простыми словами.

Озеро данных – это средство организации данных для их хранения и использования. В настоящее время применение озера данных ограничивается несколькими направлениями:

• в качестве песочницы дата-саентистов для исследования данных, результаты которых будут использованы для развития продуктов и бизнеса в целом. Это первое направление встречается чаще всего;
• для хранения различных неструктурированных и сложных в использовании данных, включая различную медиаинформацию, которая уже используется или будет использоваться в будущем, но которую невозможно сохранить в каком-то удобном виде в единой зоне, будь то реляционная структура, такая как хранилище данных, или файловая структура.

Таким образом, Data Lake – удобный инструмент для хранения там данных. Однако следует понимать, что хранение любых данных, которые есть в организации, влечёт за собой определённые затраты на инфраструктуру и на системное программное обеспечение. Поэтому основной частью озера данных является именно песочница, то есть тот слой, в котором проводятся аналитические исследования (analytics).

В структуре озера данных можно выделить следующие ключевые элементы:

• Первоначальные (сырые) данные
• Возможно, какие-то зоны консолидации этих данных и связывания их между собой
• Огромная зона песочницы.

Озеро данных как единая среда для работы строится следующим образом. Обычно сначала строят слой первоначальных необработанных данных, которые загружаются из доступных источников. Чаще всего идёт разделение на данные из источников, которые не могут быть обработаны (например, всё, что касается интернета вещей, медиаресурсов и т.д.), и структурированные данные из систем-источников, которые используются для аналитики. Они уже не проходят слой первоначальных данных, за исключением случаев, когда требуется связать между собой данные из разных источников. Здесь есть некое сходство с хранилищем данных: внутри озера тоже промежуточные стейджинги (зоны хранения), но озеро покрывает их все, потому что все зоны хранения реализованы на одной и той же платформе. Это может быть Hadoop или различный набор нереляционных баз данных. Однако у озера данных есть одна очень важная функция, отличающая его от хранилища: это наличие у бизнес-пользователя возможности создавать новые структуры данных самостоятельно, без обращения к IT-разработчикам. Когда бизнес-пользователь что-то исследует, он перемещает данные из одних структур в другие и создаёт при этом новые структуры, в которые перекладываются результаты исследования. Именно поэтому песочница, как я уже говорил, является самым крупным блоком озера данных. Озеро данных в первую очередь моделируется с определённой структурой для тех целей, с которыми они будут использованы. Из-за особенностей индексации озеро данных редко используют для построения отчётности, хотя строгого запрета на это нет.

Озеро данных не следует путать с базами данных или корпоративными хранилищами данных (DWH). Озеро данных и база данных – понятия совершенно разного типа.

• Озеро данных предназначено для хранения данных и для аналитических исследований с возможностью обработки данных.
• База данных – это средство для хранения и использования данных в рамках какой-либо системы.

Таким образом, озеро предназначено в первую очередь для работы со сложными данными и с любыми вариациями аналитических построений, база данных – для их хранения, структурирования и обработки. Это абсолютно разные цели. Если базы используются чаще всего как основное средство для хранения данных в хранилище данных, то озеро – это механизм, в котором данные используют предложенную среду для хранения и для обработки. С точки зрения инфраструктурной части озеро может оказаться дешевле за счёт того, что затраты на аппаратную составляющую из расчёта на единицу информации будут ниже, чем в базе данных, поскольку кластер можно выстроить на довольно простых серверах.

Бизнес-пользователь может даже не подозревать о существовании озера данных, но при этом пользоваться результатами работы на нём, а именно – результатами обработки данных и исследований. Data Scientist – человек, который проводит исследование таких гипотез. Из числа всех гипотез, которые он сделал, совместно с бизнес-пользователем будет выбран именно тот набор гипотез, который даёт наилучший результат для того, чтобы создать новый продукт, поменять что-то существующее, изменить ценообразование, уменьшить объёмы оттока, увеличить приток новых клиентов или снизить свои затраты. Соответственно, пользователями являются, если говорить в самом широком смысле, всё руководство и все люди, принимающие решение о том, как будет развиваться бизнес, какие продукты надо использовать и каким образом. Другое дело, что для того, чтобы прийти к такому решению, есть Data Scientists, которые эти данные используют. Их работа, которая ведётся на озере данных, имеет для бизнеса важное значение, но люди, принимающие решение, могут об ней не знать и не задумываться. В этом заключаются основные преимущества озёр данных для всего бизнеса компании, в том числе для затратных подразделений, которые используют это для оптимизации своей работы.

Что касается недостатков, здесь есть как технические вопросы, так и вопросы, связанные с организационным использованием.

• Во-первых, неконтролируемое использование озёр данных большим количеством бизнес-пользователей чаще всего приводит к «замусориванию» озёр, то есть появлению большого количества структур данных, где они хранятся после различных вычислений. Это приводит к тому, что эти структуры появляются, но бизнес-пользователь или Data Scientist, приняв решение «а надо попробовать ещё и вот так», не удаляет предыдущую структуру, а просто создаёт всё новые и новые. Происходит бесконтрольное увеличение числа структур данных, и если подразделение архитектуры не отслеживает используемость этих данных и, соответственно, не подчищает эти структуры, это приводит к тому, что затраты на инфраструктуру растут очень серьёзно, а реальная используемость данных не увеличивается. Поэтому первая и основная вещь – надо следить именно за изменением используемости тех структур данных, которые создаются в озере.
• Второе – это не очень хороший набор знаний у специалистов, которые есть сейчас на рынке. Всё дело в том, что все озёра строятся, скажем так, не на самых привычных технологиях, которые есть на рынке. В связи с этим очень часто встречается применение озёр в качестве своего рода «решений для всего, на всякий случай на будущее». Например, там могут храниться биометрические данные, образцы голосов, которые компания ещё только планирует использовать, не располагая пока что нужными для этого технологиями. Другой вариант – складирование данных с нескольких тысяч промышленных датчиков «на будущее», в расчёте на то, что в дальнейшем в штате появятся аналитики, которые будут с этими данными работать. Таким образом, очень важно правильное архитектурное использование решения, то есть понимание, какую информацию в озеро складывают и для чего. Не менее важно понимать, кто эти данные запрашивает и нужны ли они для хранения дальше. Наконец, нужно понимать особенности программного обеспечения, лежащего под озером, чтобы принять правильное решение об использовании. Например, я уже говорил, что на озёрах данных редко стоят отчётность. Это можно сделать, но зачастую особенности программного обеспечения, которое обеспечивает кластер под озером, приводят к тому, что извлечение отчётности будет занимать очень много времени. Другой пример: очень редко данные из озера, особенно в больших объёмах, передают в какие-то реляционные базы данных.
• Третья большая проблема – это отсутствие каких-либо описаний того, что именно из данных используется. На самом деле появление и усиление направления Data Governance было связано с серьёзным, взрывным ростом направления Big Data. Появилось огромное количество типов новых данных, с которыми стало необходимо работать, но их описание сильно запаздывало. Бесконтрольное увеличение объёмов информации привело к тому, что значительная часть времени тратилась на то, чтобы понять: что же это за данные? Как мы их используем? Чего нам не хватает? Фактически бизнес-пользователь нередко не знает тех возможностей, какими располагает, поэтому возможно многократное дублирование информации, использование одних и тех же источников. И чтобы ваше озеро данных не превратилось в болото, необходимо внедрение механизмов Data Governance с учётом той информации, которая в озеро попадает и которая постоянно меняется. Это в первую очередь применение каталогов данных на техническом уровне, которые позволяют понять зависимость данных между собой и увидеть их реальную используемость.

Олег Гиацинтов – технический директор DIS Group с опытом руководства IT-проектами более 16 лет. Один из ведущих экспертов России во многих областях, связанных с Big Data и стратегическим управлением данными, включая интеграцию данных, обеспечение их качества, управления знаниями и построение датацентричных бизнес-процессов. Один из авторов «Учебника 4CIO» – самого современного пособия по управлению IT-структурой предприятий и организаций. Области экспертизы:

• Стратегическое управление данными
• Интеграция данных
• Качество данных
• Управление мастер-данными
• Управление знаниями
• Защита данных и антифрод
• Big Data.

Хранилище данных – единая зона хранения данных, в которой в детальном или агрегированном виде сохраняются данные как единая версия правды для последующей отчётности или ad-hoc аналитики. Отчётность, которая строится на данных из хранилища, бывает управленческая, финансовая, регуляторная или аналитическая. Корпоративное хранилище данных специально строится в т.н. оффлайн-режиме (то есть опаздывает на один день по отношению к сформированным данным), чтобы иметь возможность делать агрегаты и предоставлять показатели, которые демонстрируют, каким образом изменяются параметры бизнеса, на основании каких продуктов бизнес получает прибыль или несёт убытки, каким образом формируются затраты и т.д. Всё это делается специально для того, чтобы можно было получить дневной срез или более серьёзный исторический взгляд на данные, не обращаясь напрямую к источникам данных. Основная задача хранилищ изначально и состояла в том, чтобы:

• отделить источники данных и не нагружать их дополнительной аналитикой и отчётностью;
• структурировать информацию таким образом, чтобы бизнес-пользователь мог быстро и легко пользоваться своими отчётами;
• объединить разноформатные данные из различных систем в единую структуру для удобства работы и возможности аналитики с использованием данных из разных систем.

Классическое применение баз данных обычно раскладывается на базы, которые находятся в рамках каких-либо OLTP-систем, т.е. систем, которые используются в качестве репозиториев, или для хранилищ данных. То есть хранилища всегда используют базы данных для своей работы, однако эти данные структурированы таким образом, чтобы их можно было максимально быстро предоставить в качестве отчётности или для построения агрегатов. Такая часть хранилища называется витриной данных. Она позволяет получить отчёт в течение 2-3 секунд, даже если дневной объём данных содержит в себе миллионы или миллиарды записей. Поэтому хранилище – это структурированная база данных, и структурирование – это отдельная часть проекта по внедрению хранилища, поскольку оно должно быть построено так, чтобы работа была быстрой, но при этом была учтена вся историчность изменений данных. Сама применимость базы данных под хранилище отличается от применимости любой другой базы данных.

Хранилище данных – единая версия правды, которая может быть использована и другими системами, и бизнес-пользователями, и аналитиками. Наличие лишний записей в хранилище или отсутствие нужной информации может привести к тому, что хранилище фактически потеряет свою функцию именно по той причине, что оно не валидно. Основными бизнес-пользователями хранилища выступают:

• различные финансовые структуры. Они используют хранилище для обработки управленческой отчётности, на основании которой принимают свои решения о дальнейшем развитии бизнеса;
• все виды подразделений, которые работают с продажами, маркетингом и производством;
• все подразделения, деятельность которых связана с регуляторной отчётностью.

Вторым видом использования является ad-hoc аналитика. Она представляет собой возможность использования ранее рассчитанных показателей для аналитических исследований. Однако сейчас всё больше эта функция перекладывается на уровень озёр данных именно за счёт того, что озёра более эффективны для бизнес-пользователей за счёт возможности подтягивать дополнительную информацию. В хранилище же сложно подтянуть себе для дальнейших исследований дополнительную информацию, которой ещё нет в системных источниках. Т.е. в хранилище бизнес-пользователь ограничен тем набором данных, который в хранилище уже загружен, а озеро снимает эту проблему. Таким образом, применение хранилища для ad-hoc аналитики характерно скорее для среднего бизнеса, либо крупного бизнеса, который пока не готов к использованию озёр.

Хранилище данных предназначено в первую очередь для анализа оттока и для предиктивной аналитики. Для этого было создано много аналитических решений, в том числе весьма мощных, использующих модели на основе данных, чаще всего – детальных данных. Однако сейчас в бизнес-аналитике фокус постепенно смещается в сторону использования озёр данных.

О структуре хранилища данных можно рассуждать с классической точки зрения, а можно взглянуть более широко. Если мы говорим о классической схеме, то хранилище обычно содержит в себе детальный слой информации и слой витрин данных. Есть отдельное направление развития хранилищ данных, при котором витрины заменяются на OLAP-кубы. В этом случае средства, которые работают с кубами, также пользуются детальной информацией, но витрины, заполняемые данными в жёстком режиме, при этом не строятся. Однако для наполнения хранилища данных чаще всего вводятся дополнительные зоны хранения данных при их перемещении для того, чтобы данные приобрели свою ценность и единую версию:

• ODS (Operational Data Store) – зона реплики системы-источника. Это зона данных, в которой в первую очередь перегружаются копии системы-источника, той части, которая нужна для формирования хранилища, чтобы быстро отпустить систему-источник и не влиять на неё своими запросами. Как правило, эта зона наполняется раз в сутки, после полуночи. Иногда это происходит чаще: например, в том случае, если на данных из этой зоны формируется оперативная отчётность, допустим, отчёт о продажах за последний час. Эта зона обычно обладает неконсолидированным набором данных, фактически копирующим структуру системы-источника.
• Набор стейджингов, или дополнительных зон хранения данных, которые используются, во-первых, для приведения данных в состояние требуемого качества, а также для консолидации данных разного формата. Подобные перемещения данных между зонами обычно решаются с помощью средств класса ETL (Extract, Transform, Load). Чтобы использовать данные хранилища, обычно применяются решения класса BI (Business Intelligence), средства построения отчётности и ad-hoc аналитики, средства дата-майнинга, т.е. предиктивной аналитики, или любые системы компании, которые уже должны пользоваться чистыми данными, собранными в компании.

Корпоративным хранилищем данных (enterprise data warehouse, EDW) называют хранилище данных, включающее все данные организации из всех источников в масштабах всего бизнеса. Источниками данных в EDW могут быть операционные и транзакционные учетные контуры предприятия (ERP, CRM, бухгалтерские и складские платформы, базы данных Интернета вещей (IoT). Отличия EDW от DWH в охвате данных. Например, DWH в рамках корпоративного хранилища данных может охватывать только данные отдельного бизнес-юнита или направления (в этом случае можно говорить о витрине данных). Таким образом, EDW — единый репозиторий всех данных организации, которые хранятся в DWH уровня бизнес-юнита или направления. Данные для EDW, как было указано выше, перед включением в корпоративное хранилище данных подготавливают особым образом, чтобы они всегда находились в структурированном и готовом для использования формате, в том числе для дальнейшей обработки и анализа.

Облачное хранилище данных (Cloud Data Warehouse, CDW) — разновидность DWH, данные в котором хранятся в публичном или корпоративном облаке. Они оптимизированы для быстрого масштабирования, бизнес-аналитики и адаптации для различных пользовательских сценариев. Облачное DWH в максимальной степени соответствует взрывному росту генерируемых в бизнесе данных, наблюдаемому в последние годы. Вторая особенность облачного DWH – быстрая адаптация под постоянно меняющиеся потребности как бизнеса в целом, так и различных групп конечных бизнес-пользователей. Поскольку потребители данных облачного DWH не привязаны к физическому центру обработки данных, объем такого DWH динамически меняется для почти мгновенной подстройки под быстро меняющиеся бюджеты и запросы бизнеса. Как и традиционное корпоративное DWH, облачное хранилище данных может работать с различными разрозненными источниками данных (бухгалтерская отчетность, ERP, CRM, IoT и т.д.). К ключевым особенностям облачного хранилища можно отнести массово-параллельную архитектуру (Massive Parallel Processing, MPP) для высокопроизводительной обработки множества запросов к большим объемам данных. Архитектуру MPP отличает множество серверов, работающих параллельно, что позволяет гибко распределять нагрузку как с точки зрения обработки, так и ввода-вывода (I/O) данных.

В подавляющем большинстве случаев архитектура DWH описывается трех- или двухуровневой моделями. Трехуровневая архитектура включает нижний уровень, основа которого – сервер базы данных (database server). По сути, на этом уровне речь идет о Data Warehouse, состоящем из озёр данных, реляционных баз данных (в них данные представлены в виде связанных таблиц) или облачных DWH. На среднем уровне реализуются средства аналитики, а также средства преобразования данных для последующей обработки. Верхний уровень позволяет пользователям загружать и извлекать необходимые данные, генерировать отчеты. Эти функции реализованы посредством клиентского интерфейса, присутствующем в любом хранилище данных. Двухуровневая архитектура по сравнению с трехуровневой несколько проще, поскольку в таком Data Warehouse сервер базы данных интегрирован с блоком аналитики и обработки данных.

Бизнес в современных условиях не может существовать без анализа данных. Это аксиома. Но важно понимать, что никакая сколько-нибудь работоспособная корпоративная система анализа данных невозможна без Data Warehouse. Поэтому архитектура хранилища данных в бизнесе должна быть нацелена на его центральную функцию: быть единым репозиторием, который структурирует и хранит все данные для последующей бизнес-аналитики. Для целей анализа данных архитектура Data Warehouse должна включать инструменты извлечения, преобразования и загрузки необходимых данных (extract, transform, and load, ETL), базы данных Data Warehouse, инструментов доступа к ней и средств генерации отчетности. Комбинация перечисленных инструментов позволяет автоматизировать процесс анализа данных, уменьшив или сведя к нулю задачи написания кода для конвейерной обработки данных. ETL предназначены для извлечения данных из исходных систем, преобразования их в нужный формат и загрузки подготовленных данных в Data Warehouse. Собственно база данных хранит структурированные данные, включаемые в отчетность. Инструменты доступа дают возможность аналитикам взаимодействовать с данными в Data Warehouse. Средства генерации отчетности по сути представляют собой интерфейс бизнес-аналитики, в котором помимо непосредственно аналитических инструментов должен быть блок визуализации данных, представленных в хранилище.

Фабрика данных – это архитектура для работы с данными, включающая в себя процессы по управлению данными и технологии для их осуществления. Это своего рода высокоскоростной конвейер для создания цифрового продукта. Цифровые продукты, основывающиеся на корпоративных данных, нацелены на монетизацию, дополнительный заработок и сокращение затрат. Это не только отчётность, но и результаты анализа предиктивных моделей, интеграционные сценарии с партнёрами, внешними сервисами (в том числе государственными) и многое другое. Но разработка цифровых продуктов невозможна в традиционной парадигме хранилища данных, поскольку она подразумевает только сбор этих данных, обработку и хранение. Вопросы же качества данных, привязки ответственности за данные к бизнес-функциям и организационной структуре, унификации данных, извлечения из них информации оказываются не на первом плане, а зачастую вообще не ставятся. Хранилище подходит для создания управленческой и других видов отчётности. Она, безусловно, важна, ведь именно на её основе компании принимают решения о развитии бизнеса, но такая модель эффективна для предприятия, которое работает в «традиционной», оффлайновой среде. Однако последние 10 лет открыли иные перспективы и помогли превратить данные в главный бизнес-актив. Для работы с ним нужен более современный подход, каким и стала фабрика данных.

Всем компаниям, работающим с Big Data, то есть с большими данными. Лидируют здесь финансовая сфера и ритейл.

1. Ни один банк не может работать без управления данными, ведь на их основе в режиме онлайн принимается большое количество решений. Это продажи (например, одобрить или не одобрить выдачу кредита), проверка операций на законность, борьба с мошенничеством, обеспечение безопасности счетов.
2. Ещё раньше банков свои данные стал монетизировать ритейл. Механизмы фабрик данных используются для прогнозирования спроса, чтобы на его основании назначить оптимальную цену и повысить оборачиваемость.
3. Промышленные, в том числе нефтегазовые компании также активно используют технологии Data Fabric – в основном для оптимизации внутренних процессов и сокращения издержек.
4. Телекоммуникационные компании реализуют у себя проекты фабрик данных для повышения внутренней эффективности и прозрачности процессов, а также для лучшей коммуникации с целевой аудиторией.
5. Не отстают и государственные структуры: к примеру, механизмы фабрик данных активно применяются для работы порталов госуслуг.

Главное преимущество фабрики данных – возможность не только создавать цифровые продукты, но и делать это быстро. Это очень важно, ведь в условиях цифровой трансформации важнейшим ресурсом для бизнеса становится время, которое тратится на создание нового цифрового продукта и вывод его на трек монетизации. Если продолжать сравнения, то хранилище – это склад. Искать нужные данные в нём приходится долго, и никто не гарантирует, что они окажутся нужного качества. Фабрика данных же – это высокоскоростной, супертехнологичный конвейер создания цифрового продукта. Кроме того, фабрика данных позволяет пользоваться отчётностью, выполнять аналитику в оффлайн- и онлайн-режимах, а также ускорять процессы поиска и предоставления данных для этих задач. Автор: Александр Тарасов, управляющий партнер DIS Group

Также вам может быть интересна статья Как понять, насколько успешно организовано управление клиентским опытом в вашей компании.

Кол-центры уже давно стали основой эффективного управления клиентским опытом, поэтому важно видеть различия между ним и обслуживанием клиентов. Обслуживание клиентов заключается в том, что сотрудник компании консультирует потребителя по телефону, электронной почте, через чат, сайт или социальные сети. Обычно сотрудник отвечает на вопросы, которые возникают у клиента уже после того, как товар или услуга были приобретены. Среди вопросов, по которым ведётся консультация, – вопросы о том, как лучше всего использовать продукт, вернуть его или решить проблемы, которые с ним возникли. Управление клиентским опытом же должно осуществляться на протяжении всего цикла взаимодействия потребителя и компании: от поиска продукта или товара до коммуникации после покупки. При это важно, как клиент себя чувствует на протяжении всего взаимодействия с вашим бизнесом и вашими товарами и услугами. И управление клиентским опытом, и обслуживание нацелены на то, чтобы выполнить те обещания, которые компания даёт потребителю перед покупкой, и заслужить его лояльность. Различие небольшое, но его важно понимать, в частности, чтобы максимально эффективно выстроить работу в кол-центре.

Пандемия коронавируса вывела операторов кол-центров на передовую, где им пришлось много консультировать клиентов по тому, как изменились товары и услуги компаний. В этой кризисной ситуации стало видно, насколько хорошо функционирующий кол-центр может помочь клиентам почувствовать себя ценными и хорошо информированными. Сейчас, когда бизнес постепенно возвращается к привычной работе, нельзя забывать о тех уроках, которые преподала нам всем пандемия. В частности, важно уделять большое внимание управлению клиентским опытом в кол-центрах. При этом Колин Шоу, генеральный директор и основатель Beyond Philosophy рассказал, что его компания провела исследование, в ходе которого 66% респондентов сообщили, что не считают важным выстраивать стратегию управления клиентским опытом в принципе. Сам Колин с таким подходом не согласен. «Внедрять стратегию управления клиентским опытом нужно обязательно, – замечает он. – прежде всего организация обязательно должна провести исследование в этой области и на его основе внедрить у себя подходящую политику». Что такое качественное управление клиентским опытом в кол-центре? Это когда операторы с готовностью приходят на помощь клиентам и легко решают их проблемы. Стратегия тут может помочь точнее определить каналы коммуникации, которые предпочитают потребители, мотивировать персонал контакт-центра и даже стимулировать клиентов самим искать ответы на свои вопросы на корпоративном сайте компании или открытых базах знаний. При разработке стратегии управления клиентским опытом, учитывайте рекомендации ниже.

• Инвестируйте в решения для удалённой работы сотрудников. Некоторые компании уже давно сумели разработать процедуры для организации удалёнки. Остальным же пришлось экстренно эти процедуры разрабатывать, чтобы не останавливать работу во время пандемии Covid-19. Во многом переход на удалёнку упростили системы, которые позволяют управлять корпоративными знаниями из облака. Однако выбирать ИТ-решения для дистанционного формата работы нужно очень аккуратно. Они должны не только позволять добиваться бизнес-целей в короткой перспективе, но обеспечивать широкие возможности для мониторинга, отчётности, обеспечения информационной безопасности и прочего.
• Придерживайтесь омниканального подхода в коммуникации с клиентом: последний должен получать одну и ту же информацию во всех каналах: в кол-центре, в чате, на сайте, в розничной точке. У сотрудников вашей компании должен быть лёгкий доступ к одной и той же релевантной информации. Кроме того, важно постоянно собирать обратную связь, чтобы понять, чего не хватает именно вам для эффективного управления клиентским опытом.
• Обязательно используйте инновационные технологии в кол-центре: инструменты для анализа данных, технологии искусственного интеллекта и машинного обучения. Анализ данных позволит улучшать коммуникацию с клиентами, управлять звонками и операционной деятельностью контакт-центра. Технологии искусственного интеллекта и машинного обучения помогут собрать больше сведений о звонивших, правильно распределить входящие вызовы среди операторов и подскажут сотрудникам, что лучше сделать в той или иной ситуации.
• Старайтесь управлять знаниями в компании как можно эффективнее. Это поможет операторам больше проблем решить при первом обращении, а новичкам в кол-центре быстрее пройти обучение и сразу начать качественно работать.

Если у вас остались вопросы о том, как организовать качественное управление клиентским опытом в своей компании, присылайте их на почту info@dis-group.ru

Кирсти работает консультантом в области ITSM в течение 15 лет. Читайте первую часть статьи по ссылке.

В предыдущей части статьи мы обсудили, что в целом область управления ИТ-услугами чувствует себя довольно хорошо, продолжает расти и развиваться – внедрять новые принципы и методы работы. Кроме того, организации стремятся эффективнее управлять внутренними сервисами в целом в различных подразделениях и на различных уровнях. Это в свою очередь приводит к значительной трансформации компаний. Но, несмотря на неплохое положение дел в ITSM в 2020 году, расслаблять не стоит. Особенно важно сейчас уделять внимание двум следующим пяти аспектам:

• Искусственному интеллекту;
• Новым форматам работы;
• Цифровой трансформации;
• Переносу опыта управления ИТ-услугами на другие сервисы;
• ITIL 4.

Давайте разберём каждый из этих аспектов подробнее.

Искусственный интеллект (ИИ) сейчас применяется во многих организациях по всему миру. Конечно, пока нельзя сказать, что все службы технической поддержки активно используют ИИ. Но многие операции в области управления ИТ-услугами уже осуществляются с его применением. Искусственный интеллект в будущем будет применяться ещё шире. Исследовательское агентство Gartner предсказывает, что к 2022 году более 70% офисных сотрудников будут ежедневно общаться с голосовыми помощниками на основе ИИ по рабочим вопросам.

Работа из дома, работа с удалённым доступом и гибкий подход к организации трудовой деятельности в компании значительно меняют привычный мир. Сотрудники получают возможность оптимальнее выстроить баланс между работой и личной жизнью и организовать всё так, чтобы быть максимально продуктивным без привязки к офису. Те компании, в которых подобные новые форматы работы практиковались до карантина, пострадали от Covid-19 в меньшей степени. Остальным пришлось осваивать эти методы в авральном режиме, многие с этим не справились. Но даже карантин не смог сломить сопротивление нововведениям многих сотрудников. Поколение беби-бумеров и поколение X склонны не доверять новым условиям труда и сомневаются в способности коллег поддержать или увеличить продуктивность труда при работе из дома. Для миллениалов формат работы имеет куда меньшее значение. Но в целом новые форматы работы никуда не денутся. Компаниям придётся к ним приспособиться, иначе они рискуют потерять ценные кадры.

Цифровая трансформация – это не только применение новых технологий. Безусловно, технологии играют важную роль. Но успешная цифровая трансформация невозможна без изменений в корпоративной культуре компании, без непрерывных экспериментов и готовности к ошибкам и неудачным проектам. В целом, цифровая трансформация – это интеграция инноваций в каждое направление бизнеса и каждый бизнес-процесс. Изменения должны коснуться всего: от способа общения с клиентами до того, как компания добивается бизнес-результатов. Также читайте статью Как выбрать ITSM-систему. Чек-лист от экспертов в управлении ИТ-услугами

Как я уже говорила в первой части статьи, успех управления ИТ-услугами (в частности ITIL) привёл к тому, что практики из этого направления начали активно применяться в других департаментах: в HR и в департаментах, которые отвечают за эксплуатацию оборудования. Теперь инструменты для управления ИТ-услугами могут использоваться в разных направлениях бизнеса и для разных бизнес-задач. Это в свою очередь заставляет вендоров этих инструментов их адаптировать под новые нужды. Адаптируются и методологии управления ИТ-услугами.

Согласно исследованию ITSM.Tools, ITIL 4 пользуется значительной популярностью. Более 50% опрошенных в ходе этого исследования рассказала, что или находятся в процессе внедрения различных элементов ITIL 4, или планируют этим заняться. Интерес к методологии вызван тем, что четвёртая версия сфокусирована на достижение бизнес-результатов и продвижение Agile-методологии. В целом можно говорить о том, что ITIL фактически переродился в 2020 году.

Управление ИТ-услугами ждём блестящее будущее, как с точки зрения ИТ, так и с точки зрения бизнеса. Однако, думаю, что в новом десятилетии мы увидим много кардинальных изменений, от которых нужно будет не отстать и к которым нужно будет быстро приспособиться. Также вам могут быть интересны статьи 5 трендов управления ИТ-услугами, которые нельзя оставить без внимания и 5 книг по управлению ИТ-услугами, которые нужно прочитать каждому специалисту.

Решение Sisense помогает анализировать большие данные из разных источников и для различных сценариев использования. Наша команда работает с клиентами по всему миру. Это даёт нам уникальную возможность следить за трендами на рынке управления данными, выделять тренды на основе запросов заказчиков и сценариев использование нашего решения. Самый яркий тренд, который сейчас можно заметить на рынке, – значительный рост популярности озера данных в облаках, в частности популярности Amazon S3, Snowflake и Google BigQuery. Только за последние несколько кварталов количество запросов клиентов на подключение Sisense к облачному озеру данных выросло вдвое. Для сравнения запросов на подключение к самой популярной базе данных для аналитики Amazon Redshift в последнее время стало больше только на 20%.

Озеро данных – это среда, где можно аккумулировать очень большие объёмы данных, чаще всего в полуструктурированном виде. Современные озёра данных также:

• Позволяют разделять хранение и обработку данных с точки зрения инфраструктуры и затрат;
• Подходят для хранения информации любого типа;
• Обеспечивают возможность бесконечного масштабирования.

Что же приводит к росту популярности озера данных в облаке? Давайте рассмотрим четыре причины для этого.

Из-за перехода в облака растут объёмы данных, которые собирают компании. Совсем недавно только у самых крупных компаний было достаточно информации, чтобы наполнить озеро данных. Но эти крупные компании легко могли себе позволить тратить значительные средства на персонал по обслуживанию озёр и на инфраструктуру. А технологии больших данных, в частности Hadoop требуют действительно значительных затрат. Тогда появилось множество ИТ-компаний, которые предлагают услуги по управлению озером данных. В целом это удешевило проекты в озере данных. Но нехватка высококвалифицированных специалистов и необходимость значительных инвестиций на старте всё равно оставались значительными сдерживающими факторами для многих организаций на пути к Big Data. Сейчас даже небольшие компании генерируют петабайты информации. Чаще всего это данные интернет-траффика, данные о клиентах и пользователях в облаках. В день в небольшой организации могут генерироваться десятки миллионов записей. Бизнес в целом стал лучше понимать ценность данных. Возникла потребность в доступных способах сбора, хранения и обработки информации. Это привело к развитию спроса на удобные ИТ-инструменты с выгодным и гибким ценообразованием.

Озеро данных чаще всего создаётся на основе кластера Hadoop. Сам Hadoop – это open-source решение. Но, чтобы его эффективно внедрить, может потребоваться несколько миллионов долларов. Это будут траты на инфраструктуру, разработчиков, консультантов, а также инвестиции времени и денег непосредственно в установку решения и его эксплуатацию. В последние несколько лет на рынке появились предложения использовать Hadoop в облаке. Эта схема освобождает компанию-заказчика от нагрузки по поддержанию инфраструктуры. Так, в качестве аналитического озера данных можно использовать Amazon S3. Изначально S3 разрабатывался для различных сценариев и форматов хранения данных, но оказалось, что для озера данных решение Amazon особенно хорошо подходит благодаря своей простоте в управлении и новым SQL-интерфейсам. Сейчас компания может хранить в S3 любую информацию, а об автоматическом масштабировании, шифровании и многом другом позаботится AWS.

Если вы внедряете озеро данных в облаке, затраты на него будут очень небольшими. На рынке есть схемы ценообразования, по которым вы платите только за запросы к данным. Такие схемы не требуют значительной первоначальной инвестиции. Например, есть вам нужно осущетвить запрос к данным в S3, сделать это можно с помощью Athena или Spectrum, стоимость запроса будет от 5$. То есть, начать можно совсем с небольших инвестиций! Кроме того, модель раздельной оплаты хранения данных и их обработки позволяет бизнесу быть гибче в работе с Big Data. Если само по себе хранение информации не требует значительных затрат, а платить в основном приходится за запросы, в озеро данных можно собрать все сведения, которые потенциально могли бы принести пользу. И только потом уже по ходу работы можно будет решить, какая информация действительно нужна компании, а какая нет. Этот подход может оказать более эффективным, чем подход, когда приходится заранее определять, какие данные собирать, а какие – нет. Аналитик может сделать запрос к уже собранным данным за несколько часов или даже минут. А вот на то, чтобы настроить новый поток сбора данных может уйти очень много времени. Кроме того, может оказаться, что для такого потока нужны дополнительные ИТ-решения или человеческие ресурсы, которых нет в наличии. При этом, если текущие запросы к информации в озере данных перерастут в более постоянные задачи (например, построение отчётности), возможно, будет необходимо пересмотреть модель оплаты.

Сам процесс запросов к сведениям в озере данных также изменился. Появились новые методы на основе SQL-инструментов, которые прекрасно сочетаются с решениями для аналитики. Среди них:

• Athena и Spectrum компании AWS;
• open-source решения такие, как Apache Drill, Presto и Hive;
• интегрированные решения такие, как Snowflake и BigQuery.

Появление этих новых SQL-инструментов значительно расширил выбор пользователей. Теперь они могут самостоятельно решить, что важнее всего именно для них: простота управления, продуктивность, масштабируемость или цена. А на основе этого – выбирать наиболее подходящий инструмент.

В целом облачные решения для работы с данными становятся всё более востребованными. При этом озеро данных имеет все шансы отвоевать долю рынка реляционных баз данных. Вам также может быть интересна статья Озеро данных: как с помощью искусственного интеллекта извлекать максимальную пользу?

О том, что такое MDM-система читайте в другой статье блога.

Из-за эпидемии Covid-19, карантина и необходимости соблюдать социальную дистанцию пострадали многие компании, которые работали офлайн. Сейчас они вынуждены оперативно разрабатывать стратегии по переводу своего бизнеса онлайн, чтобы сохранить его. Экономическая ситуация сейчас ухудшается в странах по всему миру, конкуренция растёт, нельзя упускать ни одного клиента. К тому же стиль жизни, а значит и покупательские привычки многих людей изменились. Бизнесу приходится оперативно подстраиваться под эти новые привычки. Тут интересна ситуация с резким ростом популярности туалетной бумаги. Спрос на многие товары значительно вырос. Среди них – пищевые добавки с витамином D, расширенные подписки на стриминговые сервисы, доставка еды, спортивный инвентарь для занятий спортом дома, игрушки, книги и прочее. На другие товары спрос наоборот значительно упал. Из-за карантина люди стали меньше покупать кремы от загара, снаряжение для занятий на свежем воздухе и для командных видов спорта, косметику. В таких условиях многим компаниям стоит пересмотреть тот набор товаров и услуг, которые они предлагали на рынке ранее. Традиционный подход к ведению бизнеса изменился и в ритейле, и в промышленности, и в секторе производства товаров широкого потребления, и в медицине, и во многих других индустриях. Те компании, которые смогут оперативно приспособиться к этим изменениям, лучше всего восстановятся после кризиса.

Ответьте себе на следующие вопросы:

• Продуктовые данные в вашей компании надёжные, полные и релевантные? Легко ли потенциальному покупателю найти всё, что нужно?
• Приходится сотрудникам компании тратить много времени на то, чтобы вручную готовить данные о продукте или услуге, которые вы предлагаете?
• Приходится ли тратить много времени на изменение ассортимента товаров, когда спрос на них меняется?
• Сможет ли ваша компания освоить цифровой рынок?
• Подойдут ли ваши продуктовые данные для использования на сайтах (в том числе на сайтах партнёров) и в онлайн-магазинах, на онлайн-маркетплейсах, в социальных сетях, мобильных приложений, электронных каталогов?

Если вы ответили на эти вопросы честно, вы уже сами можете сказать, насколько эффективно в вашей компании выстроено управление продуктовыми данными. Улучшить этот момент может помочь MDM-система.

MDM-система (в частности специализированное решение для управления данными о продуктах – PIM – Product Information Management) помогают эффективно управлять информацией о товарах и услугах компании, организовать совместную работу при создании контента и распространить его через каналы маркетинга и продаж. При этом решение позволяет поддерживать продуктовые данные надёжными, релевантными и полными. Благодаря MDM-системе ритейлеры, производители и дистрибуторы могут реализовать эффективные стратегии для адаптации к нестабильной ситуации на рынке. В частности, MDM-система может помочь:

• Гибче подстраиваться под спрос и быстрее менять ассортимент при необходимости;
• Эффективнее создавать полную, релевантную и надёжную продуктовую информацию;
• Оперативнее распространять информацию по цифровым каналам с учётом требований к формату этой информации;

Подробнее о результатах использования MDM-системы Informatica читайте в другой статье блога. Давайте разберёмся, почему MDM-система необходима для ведения бизнеса онлайн в условиях эпидемии коронавируса.

Ни для кого не секрет, что покупательские привычки значительно изменились из-за пандемии. Изменилось не только то, что люди покупают, но и то, как они это делают. Безусловно, на первый план вышли онлайн-каналы продаж. Для всех компаний всех индустрий стало обязательным не только присутствие онлайн, но и использование широкого перечня онлайн-каналов для ведения бизнеса.  После пандемии какие-то из покупательских привычек могут снова измениться, но значительная их доля останется.

Уметь продавать товары сейчас важно, как никогда.  Даже после окончания карантина, скорее всего, люди будут меньше ходить в магазины, в личные встречи уже не будут проводиться так часто, как раньше.  При этом клиенты в B2B-сегменте будут ждать от онлайн-продаж того же уровня клиентского опыта, который сейчас предоставляется в B2C.

Когда покупатели ищут информацию о каком-то товаре или услуге, они рассчитывают быстро найти и описание продукта, и перечень его ключевых свойств и многое другое. При этом ожидается, что формат информации будет соответствовать цифровому каналу, на котором она размещена. Также её формат должен соответствовать устройству, с которого сведения просматриваются.

Если ваши клиенты не смогут сразу найти то, что ищут, скорее всего они уйдут к конкуренту. Бороться буквально приходится за каждый клик. Некачественные данные, негативный опыт в ваших онлайн-каналах или ваша неспособность выполнять те требования, которые диктует онлайн-бизнес, могут грозить потерей доли рынка и лояльности клиентов.

Скорее всего, даже после завершения карантина онлайн-каналы продолжат играть ключевую роль для бизнеса многих компаний. То, как сейчас преуспевают Zoom, Teladoc, Amazon, Uber Eats и другие подтверждает это.

В будущем преуспеют компании, которые смогут эффективно выстроить бизнес онлайн, научатся извлекать надёжные инсайты из своих данных, а также будут способны быстро и правильно позиционировать свои продукты и услуги на рынке через цифровые каналы. Будет ли ваша компания среди них, это зависит только от вас. Также читайте MDM-система: решаем 5 проблем цепочки поставок