В компании около 10 000 пользователей данных, которые используют многоуровневую платформу, содержащую >1 Пб данных. Более 2000 пользователей обращаются напрямую к центральному элементу платформы, корпоративному хранилищу данных, которое развивается уже 12 лет и содержит 420 Тб данных. За это время в система стала сверхсложной: в неё интегрировано более 200 систем источников данных, а пользователи обращаются к 5000 витринам данных. Такое количество разработанного функционала требовало продвинутых возможностей для поиска нужной информации. Перед руководством стояла задача повысить эффективность компании при помощи:

• обеспечения прозрачности информационных активов и знаний о них (что позволило бы ускорить поиск данных, сократить время на разбор происхождения данных и импакт-анализ, ускорить внедрение изменений);
• повышения доверия к существующим наработкам и создания условий их переиспользования (что позволило бы снизить затраты на дублирующие разработки, сдерживать расширения “теневого” ИТ и ускорить получение бизнесом желаемых активов);
• разделения ответственности за данные и работу над повышением их качества.

В середине 2022 года было принято решение об одновременном внедрении полного стека инструментов Data Governance & Data Quality и методологии работы с ними. Проект стартовал 01.11.2022. За 6 месяцев разработали, внедрили и опубликовали для целевой аудитории такие инструменты, как:

• бизнес-глоссарий,
• каталог данных,
• автоматизированную систему контроля качества данных,
• виртуальный data-помощник.

В рамках проекта специалисты прорабатывали следующие задачи:

• Развернуть и сконфигурировать инструменты в двух средах, развернуть в облачной среде, обеспечить соответствие всем нормам компании с точки зрения архитектуры и информационной безопасности.
• Разработать концепцию управления данным с использованием инструментов (процессы управления данными в обвязке с внедряемым инструментарием).
• Наполнить инструментарий минимальным контентом (100 терминов, 25 проверок качества данных в критичных элементах данных, отсканировать 6 центральных систем, на которых строится аналитика Компании, включая Корпоративное хранилища данных, ETL-инструмент по BI-система) для подтверждения работоспособности разработанных процессов и подхода к тиражированию на всю компанию.
• Вовлечь бизнес-подразделения в процессы управления данным, выстроенные в инструментах.
• Разработать интеграции с корпоративными системами таск-трекинга и управления доступами для повышения эффективности пользовательских сценариев в инструментах (автоматическая генерация задач, запрос доступов к информационным активам из единого окна в 2 клика).
• Мигрировать существующие наработки компании в части графов происхождения данных и бизнес-глоссариев.
• Перенять экспертизу у интегратора по сопровождению и развитию инструментов для снижения дальнейших костов на поддержку.

Magnit Data сегодня — это центральный портал, через который осуществляется поиск данных, изучение их описания, анализ происхождения, запрос доступов и многое другое. Инструменты встроены в действующие производственные процессы развития и сопровождения хранилищ данных и аналитической отчетности; встраиваются в процессы управления информационной безопасностью и архитектурного надзора. План проекта был перевыполнен: A) Все системы с полной функциональностью были поставлены бизнесу не за 9 месяцев, а за 6. B) Благодаря хорошо организованной передаче знаний, внутренняя команда Магнита приступила к самостоятельному развитию функциональности и наполнению контента сразу же после выхода системы в промышленный контур. C) Всего за 6 месяцев со старта проекта были уже получены следующие активы:

1. 5700+ описанных информационных активов (справочников, витрин КХД, отчетов).
2. 252 утвержденных с бизнесом терминов бизнес-глоссария; 3 описанных предметных области
3. 11 подключенных систем.
4. 7 миллионов отсканированных и каталогизированных объектов данных, по которым можно анализировать линедж данных и влияние изменений.
5. Разработано 74 проверки качества данных.
6. Утверждено и опубликовано 7 внутренних-нормативных документа, включая Политику по управлению качеством данных.

D) Получили ежемесячную базу пользователей новых инструментов в размере 1000 сотрудников, которые создают более 5000 запросов на поиск данных ежемесячно. Проект «Внедрение платформы управления данными Magnit Data» стал победителем конкурса “Проект года 2023” от GlobalCIO в номинации «Розничная торговля / E-commerce». Больше подробностей о проекте на сайте конкурса.

Создание единой точки входа в ландшафт данных, с которыми работает Счетная палата РФ. Также в число задач входило:

• Ускорение процесса подготовки необходимых данных для контрольных и экспертно-аналитических мероприятий;
• Прозрачная инвентаризация источников данных, наборов данных, витрин данных и терминов, их каталогизация, учет ресурсов на управление ими при проведении КМ и ЭАМ.

Счетная палата РФ создала собственный центр компетенций в виде Службы управления данными (СУД) и института специалистов по описанию данных (дата стюардов). Также был сформирован продукт «СУД как сервис» и разработана новая продуктовая модель управления. Продукт внедрен одновременно для всех департаментов аудита. Это полностью российское решение.

Проект охватывает всю страну. Витрины данных и аналитические инструменты Системы управления данными Счетной палаты могут быть оперативно развернуты в любом субъекте Российской Федерации, в котором сотрудники Счетной палаты проводят контрольные и экспертно аналитические мероприятия.

Перед руководством банка стоял ряд важных задач:

• Быстрое слияние с поглощенными банками (объединение клиентских данных Альфа-Банка и Банка «Северная казна»)​
• Построение центральной управленческой отчетности на базе качественных данных​
• Внедрение AML-системы (Anti-Money Laundering – противодействие легализации доходов, полученных преступным путем)

Внедрение мониторинга качества данных: очистка, стандартизация, обогащение и преобразование данных к единому формату​.

Объединение клиентов поглощенных банков​. Консолидация данных из всех систем, унификация справочной информации​. Успешное внедрение AML-системы благодаря наполнению качественными данными из DWH.

Для повышения эффективности процессов взаимодействия с клиентами компании было необходимо внедрить единую комплексную систему по управлению данными в Дирекции региональных продаж. Основные ожидаемые бизнес-эффекты внедренного решения: снижение затрат на интеграцию данных, реализацию продуктивных аналитических проектов за счет централизованных инфраструктуры и сервисов, демократизация данных через общий пользовательский портал (доступ к единому бизнес-словарю всех аналитических витрин и приложений, актуальным картам происхождения, правилам и метрикам по качеству данных), повышение доступности данных и быстрое развертывание сред и предоставление датасетов для инициатив data science (с месяцев – до дней), повышение эффективности работы аналитиков (паспорта источников, объектов данных и их происхождение, инструменты профилирования и автоматической разметки всех данных в едином каталоге), обеспечение промышленных инструментов контроля и улучшения качества данных.

Для выполнения стратегических и тактических задач ПАО «Газпром нефть» было выбрано комплексное решение Smart Data Lake. Решение Smart Data Lake позволяет не только собирать большие данные и работать с ними, но также профилировать качество данных, строить карты их трансформации, формировать каталоги данных, глоссарии. «Умное озеро данных» имеет два ландшафта (тестовый и продуктивный) и три зоны («Сырой слой» для хранения копий данных из источников, «Продуктивная фабрика данных» с фокусом на оптимизацию, производительность и управление, «Исследовательская лаборатория» для задач прототипирования аналитических моделей) с различным уровнем управления данными для разных режимов работы. В каталоге данных производится паспортизация источников данных, таблиц и витрин, разметка данных по доменам с помощью настроенных шаблонов (например, для коммерческой тайны и персональных данных), а также профилирование данных (выявление типов и масок для полей данных, схожесть с полями других таблиц и т.д.). Кроме этого, в каталоге данных настраивается связь между объектами технических метаданных и бизнес-метаданных, что в дальнейшем обеспечивает бесшовную интеграцию с бизнес-глоссарием. В ходе проекта при разработке озера данных и хранилища данных апробировались и применялись подходы, которые в итоге позволили получить уникальный функционал: автоматическое построение происхождения данных (data lineage) до полей и автоматическая разметка в каталоге данных, единый управляемый каталог правил по качеству данных, интегрированный с ETL и бизнес-глоссарием, автоматический мониторинг качества данных по каждому датасету и др. Для этого пришлось значительно изменить культуру разработки и создать большое количество инструментов для автоматической передачи данных и метаданных между компонентами решения.

Итогом проекта стало создание гибкой инфраструктуры для любых задач анализа и системного улучшения качества данных. Внедрение аналитической платформы является частью стратегии цифровой трансформации дирекции региональных продаж, где около 50% всех аналитических проектов и инициатив уже реализуются в контуре «умного озера данных». Комплексное решение создает гибкую инфраструктуру для любых задач анализа и системного улучшения качества данных, что позволяют бизнесу быстро разрабатывать и внедрять клиентские решения и повышать операционную эффективность сбытового бизнеса. За счет централизации обработки и хранения данных снижаются затраты на инфраструктуру и подготовку данных для проектов компании. Сотрудники получают мгновенный доступ через единый пользовательский портал к описаниям любых объектов и наборов данных. Компания может предугадывать предпочтения клиентов и персонализировать предложения.

Создание целевого единого хранилища как высокодоступного масштабируемого сервиса. Компания «Дататех» входит в состав ГК «Иннотех» и занимается внедрением полного цикла управления данными: от построения корпоративного хранилища данных до платформы анализа Больших Данных на базе передового отечественного ПО с открытым исходным кодом. «Дататех» также разрабатывает индустриальные решения с использованием современных методов моделирования и технологий ML&AI. В рамках работы над проектом Банка ВТБ представители компании столкнулись с задачей создания целевого единого хранилища как высокодоступного масштабируемого сервиса для управления информационными активами банка. Также важно было разработать фреймворк управления регламентом и загрузкой данных на базе решений open source для снижения стоимости владения информационными активами Банка.

Сервис, адаптированный под работу с real-time регламентами и требованиями по доступности данных. Arenadata DB – аналитическая распределённая СУБД – была выбрана в качестве платформы обработки и хранения данных. Проект является одной из крупнейших установок Arenadata DB в России: суммарный объем дискового пространства всех сред разработки и тестирования превышает 0,5 Петабайта. Informatica Axon Data Governance использовался для создания бизнес-глоссария. Это решение обеспечивает консолидацию всех знаний о данных, структурирует совместную работу с ними и облегчает понимание, как данные влияют на бизнес, с каким бизнес-контекстом они связаны. Informatica Enterprise Data Catalog консолидирует все метаданные в едином репозитории, обеспечивает управление единым каталогом метаданных и эффективный поиск и анализ метаданных. Эта технология позволяет заложить надежную основу при реализации любых проектов, опирающихся на данные. За управление мастер-данными отвечает технология Informatica Master Data Management, благодаря которой бизнес-пользователи получают мгновенный доступ к единой и наиболее полной информации о критических бизнес-данных. Informatica PowerCenter используется для обеспечения интеграции и синхронизации данных в проекте, а также для миграции данных в новые приложения, обмена информацией с контрагентами. Informatica Data Quality также используется в проекте: это решение позволяет на уровне настраиваемых бизнес-правил проводить анализ качества данных, стандартизировать и очищать данные, распознавать и выявлять дубликаты для очищенных и стандартизованных данных, осуществлять консолидацию данных, вести мониторинг и получать отчетность по качеству данных.

Создана единая аналитическая экосистема и платформа для управления информационными активами Банка ВТБ. Она представляет собой сервис, адаптированный под работу с real-time регламентами и требованиями по доступности данных в рамках большого MPP-кластера, способного масштабироваться в любой момент времени. Единую аналитическую модель данных универсального банка, а также собственный фреймворк можно тиражировать для банковской отрасли, предлагая качественный российский продукт как полноценную альтернативу иностранным решениям. Опыт с точки зрения масштаба внедрения является уникальным для российского рынка и интересен банковскому сообществу как решение на технологиях с импортозамещением.

Обеспечить «единую версию правды». Требовалось разработать новое хранилище данных, предусматривающее решение ключевых задач Data Governance. Другими словами, перед руководством стояла задача обеспечить «единую версию правды», включающую в себя:

• понимание источников происхождения данных в хранилище;
• единые методики формирования и расчета данных: важно было достичь единого бизнес- и технического представления, какие показатели используются, как они должны быть рассчитаны и так далее;
• единый доступ к data lineage для аналитиков и разработчиков.

Работы по созданию единого бизнес-глоссария проводились на платформе Informatica Business Glossary. Проект построения хранилища реализовывался совместной командой банка и подрядчиков. Компания DIS Group обеспечила экспертную консультацию в рамках проекта. Работы по созданию единого бизнес-глоссария проводились на платформе Informatica Business Glossary. Единый доступ к data lineage для аналитиков и разработчиков был основан на данных решения Informatica Metadata Manager. Была разработана система контроля качества, включающая модуль Data Quality. Работу системы обеспечивает группа контроля качества данных, а также стюарды данных по основным бизнес-процессам. Также был создан реестр общебанковских и пользовательских проверок качества данных.

Все аналитические подразделения имеют максимально удобный инструмент поиска данных. Сегодня единый бизнес-глоссарий – полноценно работающий инструмент, служащий источником полной и корректной информации о данных, доступных в хранилище, методиках их формирования и трансформациях. Все аналитические подразделения имеют максимально удобный инструмент поиска данных в хранилище для принятия решения по их использованию. Скорость получения данных радикально выросла. При этом важно, что пользователь получает доступ к четко описанным данным, находящимся на централизованном сопровождении у отвечающей за них команды. Все это позволяет реализовывать генерацию и проверку бизнес гипотез, а также стартовать организацию новых проектов, основанных на данных, максимально оперативно и гибко.

Чтобы снизить участие человека в процессе, сократить время коммуникации и уменьшить стоимость владения данными было принято решение разработать платформу для сбора, обработки и хранения данных в рамках стратегии цифровой трансформации.

Для реализации проекта был выбран подход на основе гибридного размещения компонентов платформы данных. Для каждой из подсистем сервисы могут размещаться как в облачной, так и в локальной инфраструктуре, что обеспечивает гибкость при распределении нагрузки и предоставлении сервисов по обработке и хранению данных. За управление и описание данных совместно с другим решением отвечает Informatica Axon; также платформа включает в себя подсистему сбора данных, подсистему хранения, лабораторию ИИ.

Создание единой платформы снижает стоимость владения данными за счет того, что теперь потребители из разных бизнес-направлений могут повторно их использовать. С помощью компонентов платформы решается задача учета данных в компании, обеспечивается их защита, а также эффективная интеграция между информационными системами. Важно, что в ходе проекта формируются data-продукты — цифровые модели, такие как прогноз валютного риска, дебиторской и кредиторской задолженностей, роста цен на основании внешних факторов, объема запаса ТМЦ на складах. Также выполняется предиктивная аналитика по валковому прессу и производится автоматическое распределение заявок пользователей на первой линии поддержки. Отдельно можно выделить возможность построения «цифровых двойников» оборудования на основе исторических данных, что позволит заблаговременно обнаруживать проблемы в работе и оповещать о вероятности поломок оборудования.

Цель, стоящая перед руководством, заключалась в повышении эффективности принятия управленческих решений и сокращении затрат на работу с данными. В качестве приоритетов были выделены следующие задачи:

• Внедрение подхода по управлению данными для повышения эффективности аналитических работ и качественного описания данных;
• Создание хранилища данных корпоративного уровня для расширения возможностей анализа данных.

Было принято решение о разработке информационной системы «Корпоративный аналитический портал» для использования в качества единого источника достоверной, наглядно визуализированной аналитической информации. Портал предназначен для руководителей высшего звена, а также начальников управлений, отделов, аналитиков и специалистов по функциональным областям. В качестве технологической платформы была выбрана связка СУБД Arenadata DB и Arenadata Hadoop. Для эффективного управления данными используются решения Informatica: Axon Data Governance, Enterprise Data Catalog, Data Quality. «Выбор в пользу платформы Informatica был сделан исходя из нескольких факторов. Первый из них — комплексный подход: все компоненты платформы тесно взаимосвязаны друг с другом и в совокупности решают задачи как для ИТ, так и для бизнес-подразделений. Во-вторых, каталог данных Informatica EDC позволяет полноценно отсканировать технические метаданные источников данных, имеется процесс интеграции полученных метаданных с терминами бизнес-глоссария», – отметил Дмитрий Ганаев, начальник офиса управления данными «ММК-Информсервис».

Аналитический портал позволяет более оперативно принимать ключевые управленческие решения, что напрямую влияет на эффективность компании и ее финансовый результат. Корпоративное хранилище данных позволяет строить расширенную аналитику, развивающиеся процессы управления данными делают аналитику более оперативной и эффективной.

Новый этап стратегии предполагает переход на следующую ступень развития офиса управления данными: внедрение гибкой платформы управления данными, новые модели взаимодействия с бизнес-подразделениями и трансформацию восприятия ценности данных в компании. Основная цель — переход к технологиям самообслуживания, создание простой и понятной экосистемы, в которой все подразделения банка смогут самостоятельно извлекать ценность из данных и оперативно использовать их в работе.

Одним из первых проектов в рамках общей ИТ-стратегии стала миграция корпоративного хранилища данных на новую платформу Arenadata DB (ADB). В качестве значимых нюансов проекта можно выделить две технологические особенности:

• для миграции на новую платформу частично переписывалась логика исходных ETL-сценариев;
• процесс миграции на новую платформу происходил бесшовно параллельно с реализаций актуальных бизнес-задач.

Реализация выбранной ИТ-стратегии позволила компании добиться синергетического эффекта в работе команды, участвующей в разработке новых продуктов и, как следствие, улучшить ключевой бизнес-показатель «Time to Market». Кроме того, она обеспечила появление одного из наиболее значимых компонентов в работе с Big Data — бизнес-глоссария управления данными. Этот инструмент ориентирован на то, чтобы сделать работу с большими данными более понятной, прозрачной и удобной для всех заказчиков и участников процесса.

Бизнес-модель Ассоциации независимых аптек требует быстрого и удобного доступа к большим данным не только собственных сотрудников организации (менеджеры и аналитики), но и сотрудникам компаний-партнёров (собственники, заведующие аптек, первостольники). Для того, чтобы такой доступ обеспечить организация создала экосистему управления большими данными с применением Hadoop. В решении был использован целый ряд решений, в качестве инструмента для интеграции АСНА выбрала Informatica Big Data Management.

В качестве инструмента для интеграции АСНА выбрала Informatica Big Data Management. Экосистема поддерживает обработку данных в нескольких форматах. Партнеры АСНА работают на разных учетных системах, по последним аналитическим данным – это более 50 видов программного обеспечения. Informatica BDM проводит парсинг полученных файлов, преобразовывает данные в структурированный формат для загрузки в традиционное хранилище. Уже структурированные данные поступают в аналитические системы и становятся доступны конечным потребителям.

Уже структурированные данные поступают в аналитические системы и становятся доступны конечным потребителям. Экосистема помогает потребителям данных принимать управленческие решения, разрабатывать модели данных, для определения эффективность бизнес-инициатив, формировать отчётность. В частности, рассчитывать фактические показатели по продажам; возвратам, остаткам, закупкам, маркетинговым активностям и много другое.