Внедрение платформы управления данными Magnit Data
Бизнес-задачи
Сеть магазинов «Магнит» является одной из ведущих розничных сетей по торговле продуктами питания в России. По состоянию на 2023 г. сеть «Магнит» насчитывала 28 309 магазинов, расположенных в 4 183 населенных пунктах Российской Федерации и Республике Узбекистан.
В компании около 10 000 пользователей данных, которые используют многоуровневую платформу, содержащую >1 Пб данных. Более 2000 пользователей обращаются напрямую к центральному элементу платформы, корпоративному хранилищу данных, которое развивается уже 12 лет и содержит 420 Тб данных. За это время в система стала сверхсложной: в неё интегрировано более 200 систем источников данных, а пользователи обращаются к 5000 витринам данных. Такое количество разработанного функционала требовало продвинутых возможностей для поиска нужной информации.
Перед руководством стояла задача повысить эффективность компании при помощи:
- обеспечения прозрачности информационных активов и знаний о них (что позволило бы ускорить поиск данных, сократить время на разбор происхождения данных и импакт-анализ, ускорить внедрение изменений);
- повышения доверия к существующим наработкам и создания условий их переиспользования (что позволило бы снизить затраты на дублирующие разработки, сдерживать расширения “теневого” ИТ и ускорить получение бизнесом желаемых активов)
- разделения ответственности за данные и работу над повышением их качества.
Решение
В середине 2022 года было принято решение об одновременном внедрении полного стека инструментов Data Governance & Data Quality и методологии работы с ними.
Проект стартовал 01.11.2022. За 6 месяцев разработали, внедрили и опубликовали для целевой аудитории такие инструменты, как:
- бизнес-глоссарий,
- каталог данных,
- автоматизированную систему контроля качества данных,
- виртуальный data-помощник.
В рамках проекта специалисты прорабатывали следующие задачи:
- Развернуть и сконфигурировать инструменты в двух средах, развернуть в облачной среде, обеспечить соответствие всем нормам компании с точки зрения архитектуры и информационной безопасности.
- Разработать концепцию управления данным с использованием инструментов (процессы управления данными в обвязке с внедряемым инструментарием).
- Наполнить инструментарий минимальным контентом (100 терминов, 25 проверок качества данных в критичных элементах данных, отсканировать 6 центральных систем, на которых строится аналитика Компании, включая Корпоративное хранилища данных, ETL-инструмент по BI-система) для подтверждения работоспособности разработанных процессов и подхода к тиражированию на всю компанию.
- Вовлечь бизнес-подразделения в процессы управления данным, выстроенные в инструментах.
- Разработать интеграции с корпоративными системами таск-трекинга и управления доступами для повышения эффективности пользовательских сценариев в инструментах (автоматическая генерация задач, запрос доступов к информационным активам из единого окна в 2 клика).
- Мигрировать существующие наработки компании в части графов происхождения данных и бизнес-глоссариев.
- Перенять экспертизу у интегратора по сопровождению и развитию инструментов для снижения дальнейших костов на поддержку.
Результат
Magnit Data сегодня — это центральный портал, через который осуществляется поиск данных, изучение их описания, анализ происхождения, запрос доступов и многое другое. Инструменты встроены в действующие производственные процессы развития и сопровождения хранилищ данных и аналитической отчетности; встраиваются в процессы управления информационной безопасностью и архитектурного надзора.
План проекта был перевыполнен:
A) Все системы с полной функциональностью были поставлены бизнесу не за 9 месяцев, а за 6.
B) Благодаря хорошо организованной передаче знаний, внутренняя команда Магнита приступила к самостоятельному развитию функциональности и наполнению контента сразу же после выхода системы в промышленный контур
C) Всего за 6 месяцев со старта проекта были уже получены следующие активы:
1. 5700+ описанных информационных активов (справочников, витрин КХД, отчетов)
2. 252 утвержденных с бизнесом терминов бизнес-глоссария; 3 описанных предметных области
3. 11 подключенных систем,
4. 7 миллионов отсканированных и каталогизированных объектов данных, по которым можно анализировать линедж данных и влияние изменений
5. Разработано 74 проверки качества данных.
6. Утверждено и опубликовано 7 внутренних-нормативных документа, включая Политику по управлению качеством данных.
D) Получили ежемесячную базу пользователей новых инструментов в размере 1000 сотрудников, которые создают более 5000 запросов на поиск данных ежемесячно.
Проект «Внедрение платформы управления данными Magnit Data» стал победителем конкурса “Проект года 2023” от GlobalCIO в номинации «Розничная торговля / E-commerce». Больше подробностей о проекте на сайте конкурса.