Внедрение платформы управления данными Magnit Data

Сеть магазинов «Магнит» является одной из ведущих розничных сетей по торговле продуктами питания в России. По состоянию на 2023 г. сеть «Магнит» насчитывала 28 309 магазинов, расположенных в 4 183 населенных пунктах Российской Федерации и Республике Узбекистан.

Бизнес-задачи

В компании около 10 000 пользователей данных, которые используют многоуровневую платформу, содержащую >1 Пб данных. Более 2000 пользователей обращаются напрямую к центральному элементу платформы, корпоративному хранилищу данных, которое развивается уже 12 лет и содержит 420 Тб данных. За это время в система стала сверхсложной: в неё интегрировано более 200 систем источников данных, а пользователи обращаются к 5000 витринам данных. Такое количество разработанного функционала требовало продвинутых возможностей для поиска нужной информации. Перед руководством стояла задача повысить эффективность компании при помощи:

обеспечения прозрачности информационных активов и знаний о них (что позволило бы ускорить поиск данных, сократить время на разбор происхождения данных и импакт-анализ, ускорить внедрение изменений);
повышения доверия к существующим наработкам и создания условий их переиспользования (что позволило бы снизить затраты на дублирующие разработки, сдерживать расширения “теневого” ИТ и ускорить получение бизнесом желаемых активов);
разделения ответственности за данные и работу над повышением их качества.

Решение

В середине 2022 года было принято решение об одновременном внедрении полного стека инструментов Data Governance & Data Quality и методологии работы с ними. Проект стартовал 01.11.2022. За 6 месяцев разработали, внедрили и опубликовали для целевой аудитории такие инструменты, как:

бизнес-глоссарий,
каталог данных,
автоматизированную систему контроля качества данных,
виртуальный data-помощник.

В рамках проекта специалисты прорабатывали следующие задачи:

Развернуть и сконфигурировать инструменты в двух средах, развернуть в облачной среде, обеспечить соответствие всем нормам компании с точки зрения архитектуры и информационной безопасности.
Разработать концепцию управления данным с использованием инструментов (процессы управления данными в обвязке с внедряемым инструментарием).
Наполнить инструментарий минимальным контентом (100 терминов, 25 проверок качества данных в критичных элементах данных, отсканировать 6 центральных систем, на которых строится аналитика Компании, включая Корпоративное хранилища данных, ETL-инструмент по BI-система) для подтверждения работоспособности разработанных процессов и подхода к тиражированию на всю компанию.
Вовлечь бизнес-подразделения в процессы управления данным, выстроенные в инструментах.
Разработать интеграции с корпоративными системами таск-трекинга и управления доступами для повышения эффективности пользовательских сценариев в инструментах (автоматическая генерация задач, запрос доступов к информационным активам из единого окна в 2 клика).
Мигрировать существующие наработки компании в части графов происхождения данных и бизнес-глоссариев.
Перенять экспертизу у интегратора по сопровождению и развитию инструментов для снижения дальнейших костов на поддержку.

Результат

Magnit Data сегодня — это центральный портал, через который осуществляется поиск данных, изучение их описания, анализ происхождения, запрос доступов и многое другое. Инструменты встроены в действующие производственные процессы развития и сопровождения хранилищ данных и аналитической отчетности; встраиваются в процессы управления информационной безопасностью и архитектурного надзора. План проекта был перевыполнен: A) Все системы с полной функциональностью были поставлены бизнесу не за 9 месяцев, а за 6. B) Благодаря хорошо организованной передаче знаний, внутренняя команда Магнита приступила к самостоятельному развитию функциональности и наполнению контента сразу же после выхода системы в промышленный контур. C) Всего за 6 месяцев со старта проекта были уже получены следующие активы:

5700+ описанных информационных активов (справочников, витрин КХД, отчетов).
252 утвержденных с бизнесом терминов бизнес-глоссария; 3 описанных предметных области
11 подключенных систем.
7 миллионов отсканированных и каталогизированных объектов данных, по которым можно анализировать линедж данных и влияние изменений.
Разработано 74 проверки качества данных.
Утверждено и опубликовано 7 внутренних-нормативных документа, включая Политику по управлению качеством данных.

D) Получили ежемесячную базу пользователей новых инструментов в размере 1000 сотрудников, которые создают более 5000 запросов на поиск данных ежемесячно. Проект «Внедрение платформы управления данными Magnit Data» стал победителем конкурса “Проект года 2023” от GlobalCIO в номинации «Розничная торговля / E-commerce». Больше подробностей о проекте на сайте конкурса.

Олег Молчанов

Руководитель направления по метаданным в департаменте по работе с данными розничной сети «Магнит»

«У «Магнита» большой опыт в создании и эксплуатации собственных решений по управлению данными: каталог витрин корпоративного хранилища данных, портал корпоративной отчетности, виртуальный помощник в виде чат-бота, инструменты для анализа происхождения и зависимостей между объектами хранилища, их разметки и управления доступами к данным. На старте проекта у нас было четкое представление, чего не хватало для успешного развития. DIS Group показал богатую техническую экспертизу во внедряемых решениях и наличие опыта работы с нестандартными кейсами».

Читать статью