Top.Mail.Ru

Внедрение платформы управления данными Magnit Data

Индустрия:
Ритейл
Решение:
Data Governance
Продукт:
Платформа управления данными

Бизнес-задачи

Сеть магазинов «Магнит» является одной из ведущих розничных сетей по торговле продуктами питания в России. По состоянию на 2023 г. сеть «Магнит» насчитывала 28 309 магазинов, расположенных в 4 183 населенных пунктах Российской Федерации и Республике Узбекистан.

В компании около 10 000 пользователей данных, которые используют многоуровневую платформу, содержащую >1 Пб данных. Более 2000 пользователей обращаются напрямую к центральному элементу платформы, корпоративному хранилищу данных, которое развивается уже 12 лет и содержит 420 Тб данных. За это время в система стала сверхсложной: в неё интегрировано более 200 систем источников данных, а пользователи обращаются к 5000 витринам данных. Такое количество разработанного функционала требовало продвинутых возможностей для поиска нужной информации.

Перед руководством стояла задача повысить эффективность компании при помощи:

  • обеспечения прозрачности информационных активов и знаний о них (что позволило бы ускорить поиск данных, сократить время на разбор происхождения данных и импакт-анализ, ускорить внедрение изменений);
  • повышения доверия к существующим наработкам и создания условий их переиспользования (что позволило бы снизить затраты на дублирующие разработки, сдерживать расширения “теневого” ИТ и ускорить получение бизнесом желаемых активов)
  • разделения ответственности за данные и работу над повышением их качества.

Решение

В середине 2022 года было принято решение об одновременном внедрении полного стека инструментов Data Governance & Data Quality и методологии работы с ними.

Проект стартовал 01.11.2022. За 6 месяцев разработали, внедрили и опубликовали для целевой аудитории такие инструменты, как:

  • бизнес-глоссарий,
  • каталог данных,
  • автоматизированную систему контроля качества данных,
  • виртуальный data-помощник.

В рамках проекта специалисты прорабатывали следующие задачи:

  • Развернуть и сконфигурировать инструменты в двух средах, развернуть в облачной среде, обеспечить соответствие всем нормам компании с точки зрения архитектуры и информационной безопасности.
  • Разработать концепцию управления данным с использованием инструментов (процессы управления данными в обвязке с внедряемым инструментарием).
  • Наполнить инструментарий минимальным контентом (100 терминов, 25 проверок качества данных в критичных элементах данных, отсканировать 6 центральных систем, на которых строится аналитика Компании, включая Корпоративное хранилища данных, ETL-инструмент по BI-система) для подтверждения работоспособности разработанных процессов и подхода к тиражированию на всю компанию.
  • Вовлечь бизнес-подразделения в процессы управления данным, выстроенные в инструментах.
  • Разработать интеграции с корпоративными системами таск-трекинга и управления доступами для повышения эффективности пользовательских сценариев в инструментах (автоматическая генерация задач, запрос доступов к информационным активам из единого окна в 2 клика).
  • Мигрировать существующие наработки компании в части графов происхождения данных и бизнес-глоссариев.
  • Перенять экспертизу у интегратора по сопровождению и развитию инструментов для снижения дальнейших костов на поддержку.

Результат

Magnit Data сегодня — это центральный портал, через который осуществляется поиск данных, изучение их описания, анализ происхождения, запрос доступов и многое другое. Инструменты встроены в действующие производственные процессы развития и сопровождения хранилищ данных и аналитической отчетности; встраиваются в процессы управления информационной безопасностью и архитектурного надзора.

План проекта был перевыполнен:

A) Все системы с полной функциональностью были поставлены бизнесу не за 9 месяцев, а за 6.

B) Благодаря хорошо организованной передаче знаний, внутренняя команда Магнита приступила к самостоятельному развитию функциональности и наполнению контента сразу же после выхода системы в промышленный контур

C) Всего за 6 месяцев со старта проекта были уже получены следующие активы:

1. 5700+ описанных информационных активов (справочников, витрин КХД, отчетов)

2. 252 утвержденных с бизнесом терминов бизнес-глоссария; 3 описанных предметных области

3. 11 подключенных систем,

4. 7 миллионов отсканированных и каталогизированных объектов данных, по которым можно анализировать линедж данных и влияние изменений

5. Разработано 74 проверки качества данных.

6. Утверждено и опубликовано 7 внутренних-нормативных документа, включая Политику по управлению качеством данных.

D) Получили ежемесячную базу пользователей новых инструментов в размере 1000 сотрудников, которые создают более 5000 запросов на поиск данных ежемесячно.

 

Проект «Внедрение платформы управления данными Magnit Data» стал победителем конкурса “Проект года 2023” от GlobalCIO в номинации «Розничная торговля / E-commerce». Больше подробностей о проекте на сайте конкурса.

«У «Магнита» большой опыт в создании и эксплуатации собственных решений по управлению данными: каталог витрин корпоративного хранилища данных, портал корпоративной отчетности, виртуальный помощник в виде чат-бота, инструменты для анализа происхождения и зависимостей между объектами хранилища, их разметки и управления доступами к данным. На старте проекта у нас было четкое представление, чего не хватало для успешного развития. DIS Group показал богатую техническую экспертизу во внедряемых решениях и наличие опыта работы с нестандартными кейсами».

Олег Молчанов
Руководитель направления по метаданным в департаменте по работе с данными розничной сети «Магнит»
Продолжая пользоваться сайтом, вы даёте Согласие на автоматический сбор и анализ ваших данных, необходимых для работы сайта и его улучшения, использование файлов cookie.