Что такое MDM-системы и мастер-данные?

1. Что такое master-данные?
2. Инструменты MDM
3. Big Data и машинное обучение для MDM
4. Актуальность внедрения MDM-систем

Что такое мастер-данные?

Мастер-данные («основные данные» или «нормативно-справочная информация») — это данные, представляющие справочную информацию, то есть значения или описывающие какие-либо сущности или позволяющие указать, к чему какие данные относятся. Самый простой пример мастер-данных – разного рода справочники или классификаторы.

MDM-системы, или системы управления мастер-данными — это решения, которые позволяют этими данными управлять. Их главная цель — обеспечить единство представления массивов справочных данных во всех информационных системах. Кроме того, такой тип решений позволяет решить проблемы несоответствия, дублирования и несопоставимости данных.

Для того, чтобы разобраться в том, как MDM-система должна функционировать, важно понять, какие бывают мастер-данные. Их можно поделить на несколько видов:

1. Референсные данные (Reference Data), очень часто называемые нормативно-справочной информацией, — это простые линейные справочники, практически не меняемые во времени, в которых как правило не требуется какая-либо сложная логика, например, справочники стран или валют. К референсным данным относятся все общероссийские классификаторы. Это самый многочисленный набор справочных данных, с которыми приходится работать. Референсные данные, – это те данные, которые в основном ведутся централизованно, очень часто на основе внешнего для компании источника.
2. Основные данные (Master Data) — это данные линейных или иерархических структур, где каждая запись по своему составу и атрибутам похожа на другую, как и для референсных данных, но при этом данные меняются практически постоянно и очень часто имеют более сложную, комплексную структуру. Пример таких справочников: клиенты, контрагенты, абоненты, сотрудники, активы.

Такие данные чаще всего подвергаются обязательной функции дедубликации (выявление дубликатов данных и формирование золотых записей), поскольку работа с дублирующимися справочными данными может приводить к несоответствию отчетности, неверным решениям в части работы с клиентами и т.д. Для части справочников, например банковских счетов, недвижимости, характерно централизованное ведение, для других, например справочников физических или юридических лиц, используют схемы работы, которые называются консолидацией или гармонизацией мастер-данных.

Процесс консолидации начинается с появления данных во фронтальных системах, системах, с которыми работают пользователи или даже сами клиенты, например, на интернет-порталах, после чего происходит их трансформация и перемещение в систему управления нормативно-справочной информацией для поиска дубликатов, далее начинается формирование единой записи на основе всех тех дублей, которые были найдены ранее. Затем сформированные золотые записи направляются в хранилища, озера данных и другие системы как единая версия правды.

3. Сложные иерархические справочники, описывающие сущности разного рода и характера. Самый частый пример — продукты, товары, материалы.

Такие справочники как правило ведутся централизованно. Их отличительной чертой является отличие атрибутного состава для разных уровней иерархии. Например, разные товары описываются разным набором характеристик, часть из которых может быть общей. Телевизор, с одной стороны описывается весовыми характеристиками и размером, с другой стороны возможностями подключения интернета и устройств. А рюкзак помимо веса и размеров описывается типом ткани, количеством лямок и количеством разделов.

Исходя из потребностей работы с мастер-данными, промышленные системы MDM в своем составе имеют возможности:

• гибкого моделирования справочников, структура справочников не должна быть жестко зафиксированной вендором, должна быть возможность ее изменить, расширить атрибутный состав для любого справочника или скорректировать те атрибуты, которые уже есть;
• параметрическая классификация данных, обеспечивающая гибкий атрибутный состав записей мастер-данных в тех справочниках, где это требуется;
• обеспечения интеграционных процессов по наполнению справочников и последующему предоставлению мастер-данных во внешние системы;
• обеспечения качества данных, позволяя как контролировать соответствие атрибутов записи определенным правилам в зависимости от источника исходных данных, так и обогащать справочники дополнительной информацией;
• поиска дубликатов по правилам и слияния записей, которые были найдены как потенциальные дубликаты, или их разделения, если автоматически слитые записи на самом деле дубликатами не являются. Поскольку система может принять неверное решение, признав дубликатами абсолютно идентичные записи, специалист должен иметь возможность вручную разделить записи и указать, что они уникальны. Как пример, тут можно привести близнецов, у которых и ФИО и дата рождения одинаковы;
• установки вертикальных и горизонтальных связей между используемыми данными в справочниках. Так, если справочники иерархические, — например, справочник холдингов, — специалистам необходимо управлять как всем холдингом, так и его частями, например, дочерними организациями, и соотносить туда работающих сотрудников. При этом между справочниками должны быть и горизонтальные связи. Например, есть клиент, у которого есть продукт, который он приобрел в конкретной торговой точке. Горизонтальные связи здесь формируется между этими тремя объектами;
• проведения согласования изменений в записях или создания новых записей, добавляемых в справочники. Как правило, любое изменение в справочнике, — это результат того, что пользователю в какой-либо внешней системе чего-то не хватило, нет клиента или поставщика, отсутствует код классификации. И в этом случае пользователь стремится или скорректировать запись, если он ее нашел, но считает, что какие-то атрибуты записи некорректны, или создать новую запись мастер-данных, если запись по мнению пользователя не нашлась. Очень часто такие изменения могут приводить к ухудшению качества мастер-данных или появлению дублей. Чтобы этого не происходило такие изменения должны согласовываться с ответственными сотрудниками. Для этого используется механизм бизнес-процессов;
• бывает так, что в записи произошли изменения, но не всегда очевидно кто и почему их внес в мастер-данные. В этом случае на помощь приходит журнал аудита, где фиксируются как все события, произошедшие в системе, включая доступ к мастер-данным, так и все изменения в записях, без ограничения времени хранения таких событий;
• обеспечение ролевого доступа к данным, так как очевидно, что не все сотрудники в организации должны иметь доступ к чувствительным данным по клиентам или даже к отдельным атрибутам этих данных.

Инструменты MDM

Обычно для того, чтобы устранить разрозненность данных, создать единый источник достоверной информации, а также значительно улучшить управление данными, компании используют специализированные инструменты.

Кроме того, такие инструменты подходят для обработки не только структурированной информации, но и неструктурированных, а также операционных и аналитических данных. Благодаря этому правильное решение позволяет предприятиям создавать получать точную и качественную информацию, которая способствует более эффективному менеджменту.

Обычно инструменты для управления мастер-данными разделяются на три основных направления.

• Системы Reference Data Management (RDM): ведение линейных справочников как правило с возможностью у пользователей создавать свои собственные справочники без привлечения администраторов;
• Системы класса мультидоменного Master Data Management: они используются для клиентской информации, данных по контрагентам или поставщикам, организационных структур, сотрудников и так далее;
• Среди систем MDM очень часто выделяют системы Customer Data Integration (CDI) – подкласс MDM-систем, предназначенный исключительно для ведения справочника клиентов и вспомогательных для него;
• Инструменты Product Information Management (PIM) для ведения классификаторов: в первую очередь, это продукты, товары, другие товарно-материальные ценности.

При выборе MDM-решения компаниям следует определить, как это решение планируется развернуть — в локальном центре обработки данных, в общедоступном, частном или гибридном облаке, поскольку некоторые MDM-системы могут быть развернуты только конкретным способом.

Big Data и машинное обучение для MDM

Для того чтобы увеличить производительность процессов управления данными, многие предприятия в 2021 году начали активно использовать MDM-процессы в сочетании с машинным обучением и Big Data.

Так, технология MDM улучшает качество данных, используемых для машинного обучения, автоматизируя процесс подготовки данных и повышая точность модели. И наоборот, машинное обучение позволяет MDM автоматизировать процесс дедубликации и выявления взаимосвязей между записями, что помогает компании более эффективно управлять ресурсами.

Более того, внедрение Big Data и машинного обучения значительно сокращают нагрузку на сотрудников. Так, согласно исследованию, бизнес-аналитики и другие специалисты по анализу данных тратят 80% своего времени на поиск, очистку и реорганизацию соответствующих наборов данных. В этом случае машинное обучение можно использовать для автоматизации исправлений, внесенных ранее вручную, которые платформа в дальнейшем запомнит и будет применять самостоятельно.

Чем быстрее и эффективнее управление данными, тем больше новых данных можно внести в справочники и тем лучше общие данные, доступные для управления бизнес-аналитикой, операциями и прогнозной аналитикой на основе машинного обучения.

Актуальность внедрения MDM-систем

Сегодня справочные данные играют ключевую роль в работе любого бизнеса, поскольку они влияют практически на все существующие транзакционные данные. Любая информация о перемещении денежных средств, о поведении клиентов сопровождается справкой о том, что из себя представляет этот объект, как он называется, какой у него тип. Для того, чтобы грамотно и эффективно управлять всей этой информацией, компании необходима MDM-система, построенная на современной архитектура.

При этом стоит помнить, что подходы по организации управлением нормативно-справочной информацией крайне тяжелы с точки зрения компании. В первую очередь, любому заказчику нужно найти бизнес-спонсора. Так как практически все подразделения задействованы тем или иным образом в работе со справочниками, то найти поэтому найти единственного заинтересованного бизнес-драйвера для такого проекта бывает очень сложно.

Вторая трудность связана с аналитическими вопросами, а именно: каким образом искать дубликаты, как объединять данные, а также кто должен брать на себя ответственность за то, что это может оказаться неверная или неактуальная информация.

Однако, преодолев все эти трудности и внедрив MDM систему, организация получит видимый эффект от такого внедрения, решение позволит компании не только наладить процессы управления данными, но и увеличить производительность труда сотрудников и улучшить качество используемых данных, а также сократить количество ручного труда.

Выбор MDM-решений

У решений по управлению мастер-данными должно быть четыре главных характеристики: комплексный подход, управление данными, поддержка поэтапной реализации и современная архитектура. Если решения использовать по модели SaaS, то это позволяет ускорить ввод в эксплуатацию систем благодаря автоматической подготовке инфраструктуры MDM, снять с ИТ-специалистов задачи по обслуживанию сложных MDM-систем, сразу использовать все функции и обновления, сократить затраты на покупку и обслуживание оборудования с помощью экономичной инфраструктуры, сократить капитальные и операционные расходы с помощью подписки, получить решение, масштабирующееся вместе с бизнесом. В то же время, решения, устанавливаемые на инфраструктуру заказчика более гибкие с точки зрения возможных кастомизаций и доработок функционала

При выборе важно обращать внимание на комплексные интегрированные решения, которые представляют собой единый инструмент с простым управлением. Это позволяет сотрудникам сосредоточиться на более важных задачах, например, на улучшении показателей эффективности с помощью MDM-системы.

Такие решения должны включать несколько инструментов:

• каталог данных. Компания располагает большим объемом данных, разбросанных по разным отделам, приложениям и хранилищам в локальных и облачных средах, MDM-система должна иметь доступ к этим данным. Решение должно использовать искусственный интеллект и машинное обучение, чтобы находить и каталогизировать все мастер-данные;
• интеграция данных. Она необходима для объединения всех разрозненных источников. Решение должно обеспечить высокую производительность и доступность работы с большими объемами критически важных данных;
• качество данных. В разных источниках данные хранятся в разных форматах. Инструменты по контролю качества данных стандартизируют данные, обеспечивают их полноту и согласованность. По возможности система должна проверять данные на наличие неполных или недопустимых записей, разрешать конфликты и добавлять недостающую информацию из сторонних источников;
• управление бизнес-процессами. Когда решение имеет настраиваемые рабочие процессы, функции голосования, оценки и чаты, массовое управление данными и машинное обучение на основе рекомендованных пользователем потенциальных действий, тогда это повышает продуктивность сотрудников всех департаментов организации;
• управление справочными данными. Компаниям сложно запустит проект по реализации MDM потому, что зачастую специалисты не могут договориться об определенных и стандартных значениях для дат, стран, отраслевых кодов и т.п. Встроенные возможности управления справочными данными помогают ИТ-специалистам и бизнес-пользователям оптимизировать управление данными.

Многие MDM-системы на рынке предназначены для отдельных департаментов в компании и не отвечают требованиям всей организации. Они хорошо подходят для конкретных задач, но не масштабируются. Поэтому компании важно ответственно подойти к выбору решения, чтобы оно удовлетворяло всем требованиям бизнеса. Гибкое решение MDM должно обладать следующими характеристиками: переносимость (должна быть возможность перенести решение от одного провайдера SaaS к другому или с одной платформы на другую), масштабируемость (MDM-системы должны поддерживать масштабирование, чтобы можно было расширять их при необходимости), модульность.

Как пример таких решений – Юниверс MDM. Это комплексное решение, которое упрощает и автоматизирует сложное управление мастер-данными, их контроль и передачу согласованной информации между разными областями, включая клиентов, продукты, поставщиков и многое другое. Использование этого решения позволяет повысить операционную эффективность компании: на 39,6% ускоряется процесс закупок, в 2,5 раза сокращается число ошибок в снабжении производства, на 27% возрастают вторичные продажи, в 5 раз быстрее формируется и выдается отчетность. Ключевые возможности решения: управление основными справочниками информации (номенклатура, контрагенты, клиенты, продукция – всё в единой системе), единые и чёткие регламенты управления данными, управление качеством данных, поиск дубликатов и консолидация, централизация управления данными и визуализация связанных с этим процессов, обеспечение безопасности данных.

Внедрение MDM-систем

Компании редко реализуют систему управления данными для всех областей и вариантов применения сразу. Чтобы внедрение MDM-системы было максимально эффективно, следует применять поэтапный подход, начиная с простых случаев использования и двигаясь к более сложным, влияющим на каждое подразделение компании.

Современное решение по управлению мастер-данными должно поддерживать поэтапный подход, позволяя без задержек переходить от этапа к этапу по мере изменений требований и роста бизнеса.

Существует несколько подходов к поэтапной реализации MDM-системы:

1. По предметным областям: начиная с одной предметной области и по очереди добавляя следующие.
2. По источникам: объединяя данные сперва из двух-трех источников, а со временем добавляя новые.
3. По записям: начиная с ограниченного количества записей и затем увеличивая это число.
4. По задачам: сначала удовлетворяя насущные потребности, а затем расширяя охват.
5. По функциям: начиная с базовых возможностей объединения и добавляя контекстуальные соответствия, связи, управление иерархией и т.д.
6. По отделам: начиная с задач одного отдела, а затем включая потребности других подразделений.

Гибкое решение по управлению мастер-данными будет развиваться вместе с вашим бизнесом и помогать в создании комплексного представления всех доменов данных. Оно поддерживает модульный подход, позволяя начать с любого домена, а затем переходить к другим типам данных в удобном темпе, менять масштаб в зависимости от объема данных, пробовать разные варианты применения: электронная коммерция, управление финансовыми данными и другое.

Для успешной реализации MDM-системы:

• разделите проект на небольшие этапы;
• определите измеримые результаты для каждого этапа;
• продумайте варианты применения, которые позволят адаптироваться к изменениям потребностей бизнеса и не потеряют актуальности;
• запишите цели на ближайшие 3-5 лет, чтобы двигаться в контексте общей стратегии.

Управление мастер-данными

Стратегия управления мастер-данными определяет, как организация преодолевает сложности по работе с данными и достигает конкретных бизнес-целей через управление и целенаправленное использование мастер-данных. Поэтому стратегия управления занимает место между общей стратегией бизнеса и подходом к управлению данными. Она определяет, как бизнес будет извлекать максимальную ценность из своих данных.

В современной конкурентной среде сотрудникам необходима возможность применять политики и процедуры для таких процессов, как сбор, контроль качества, защита, использование и хранение данных. Ключевые области управления данными, поддерживаемые MDM-системой:

• аудит и отчетность. Система позволяет отслеживать историю изменений с указанием содержимого и авторов изменений, использованных правил сопоставления и сохранения, а также утверждающего лица;
• мониторинг и анализ. Система осуществляет мониторинг на уровне политик, правил, метрик, объектов мастер-данных;
• встроенные функции контроля. Система проводит проверки допустимости значений при вводе, обеспечивает динамическое маскирование данных при доступе и удалении по истечении заданного периода хранения;
• конфиденциальность и защита данных. Система обеспечивает контроль доступа, шифрование данных, управление согласием пользователей и т.д.

Вопрос управления мастер-данными актуален для многих сфер. Например, перед девелоперской компанией стояли задачи по снижению издержек при формировании строительных смет (за счет создания централизованного справочника ТМЦ), формированию единого реестра поставщиков с автоматизированным бизнес-процессом по проверке достоверности сведений, управлению ценовыми предложениями от разных поставщиков, выстраиванию бизнес-процессов по согласованию изменений в двух основных реестрах и использованию правил качества и правил очистки данных. По результатам анализа проблемы с дублированием и расхождением данных в различных системах в компании создали единое пространство для НСИ, с последующей интеграцией мастер-данных во все системы холдинга. Это позволило собирать различные данные в строительные сметы, совершенствовать процесс анализа информации по клиентам. Провести такую работу помогло решение Юниверс MDM. Как результат, были созданы эталонные записи о контрагентах и ТМЦ, проведена очистка записей, определены ошибки и настроены правила для поиска дублирующихся записей.

Управление мастер-данными также используется в государственном секторе. Например, ДИТ Москвы благодаря использованию Юниверс MDM решил следующие бизнес-задачи: обеспечил устойчивый рост качества жизни горожан и благоприятных условий ведения предпринимательской деятельности за счет использования цифровых технологий​, обеспечил централизованное, сквозное и прозрачное управление городом на основе больших данных с использованием искусственного интеллекта​, повысил эффективность государственных расходов, за счет внедрения государственно-частного партнерства в сфере информационных и цифровых технологий и связи. В результате была решена задача импортозамещения и интегрированы свыше 40 систем источников/получателей.

Другой пример работы с мастер-данными – ПАО «РусГидро», крупнейший российский электроэнергетический холдинг. Перед компанией стояли следующие задачи: необходимость типизации учета основных средств по группе «РусГидро», снижение налоговых рисков по судебным практикам, устранение дублирования записей, снижение затрат на обработку информации по номенклатуре и другие. Для решения поставленных задач был введен классификатор основных фондов с интеграцией в системы-приемники ПАО «РусГидро», актуализированы связи этого классификатора со стандартным общероссийским классификатором ОКОФ2 на регулярной основе, что позволило снизить налоговые риски, создан единый реестр номенклатуры и нормализованы записи контрагентов.

Работа с мастер-данными проводится и в сфере транспорта: в РЖД запускался большой проект, для которого требовался компонент, обеспечивающий работу с мастер-данными. Юниверс MDM решил ряд задач, стоявших перед компанией: создание и ведение различных справочников, необходимых для решения задачи передачи данных о предупреждениях на борт локомотива, единовременная работа с большим объемом данных, интеграция с подсистемой управления доступом и внешними системами, создание средств автоматизации операций.

Таким образом, управление мастер-данными позволяет развивать единую систему управления ключевыми данными и повышать тем самым операционную эффективность компании и её ключевых бизнес-процессов.

Узнать подробности про решение и запросить демо:

Вам может быть интересно

Запись вебинара

Данные в энергетике:
MDM как инструмент для ведения активов (кейс РусГидро)

Получить запись

Электронная книга

Управление мастер-данными:
4 простых шага, как получить комплексное представление о бизнесе

Получить книгу

Олег Гиацинтов

Технический директор DIS Group

Один из ведущих экспертов России во многих областях, связанных с Big Data и стратегическим управлением данными, включая интеграцию данных, обеспечение их качества, управления знаниями и построение датацентричных бизнес-процессов.