Данные решают всё. Понимание необходимости применения методологии Data Governance вырабатывалось десятилетиями, и к настоящему времени многие компании достигли того уровня зрелости, когда данные стали цифровым активом компании, а работа с ними является неотъемлемой частью жизни всех сотрудников. Проекты по внедрению Data Governance имеют долгий срок, но правильно выстроенная этапность внедрения гарантирует успех. Приглашаем вас к участию в вебинаре, на котором мы расскажем какие этапы должны предшествовать внедрению Data Governance. Вопросы, которые мы будем обсуждать на вебинаре – это основополагающие моменты в подготовке к внедрению методологии Data Governance. Ключевые темы вебинара:

• Что такое Data Governance;
• Предпосылки развития направления Data Governance в компании;
• С чего начать?
• Как обосновать Data Governance перед бизнесом;
• Как развивать Data Governance.

Вебинар будет интересен сотрудникам офиса CDO, руководителям направлений по работе с данными, руководителям направлений по качеству данных, руководителям отдела НСИ, руководителям направлений внутри ИТ-службы, руководителям направлений по инжинирингу данных, архитекторам хранилищ озер и фабрик данных. Регистрация обязательна. Зарегистрироваться можно на всю серию или отдельные вебинары. Зарегистрированным пользователям вебинары будут доступны в записи после их проведения.

• Гиацинтов Олег, Технический директор DIS Group
• Кулик Александр, Директор практики Digital & Data Transformation DIS Group
• Алексей Нейман, Исполнительный директор Ассоциации больших данных

Серия вебинаров «Простыми словами» включает в себя 6 практических вебинаров о современных инструментах для эффективного управления данными. Все вебинары серии объединены одной целью – рассказать простыми словами о сложных решениях для цифровизации бизнеса. Мы стартуем с обзорного вебинара по построению референсной архитектуры и далее каждый последующий вебинар расскажет о подходах и решениях, составляющих экосистему управления данными. Регистрируйтесь также на следующие вебинары серии:

• Data-driven подход помогает выявлять закономерности и прогнозировать будущие тренды
• Личное: Репликация данных в современных условиях. Решение Датафлот Репликация – сделано и работает в РФ

Вопрос качества данных чрезвычайно важен для банков и финансовых организаций, поэтому им озаботились на государственном уровне. Данные служат основой для принятия управленческих решений, следовательно, важна их точность, доступность, достоверность, актуальность, целостность. Совокупность оценок перечисленных и других показателей демонстрирует качество данных и их соответствие обязательным и специальным требованиям, которые определяет государство.

Банк России обозначил требования к качеству данных в рамках Положения Банка России от 06.08.2015 г. №483-П «О порядке расчета величины кредитного риска на основе внутренних рейтингов» и Положения Банка России от 08.04.2020 г. №716-П «О требованиях к системе управления операционным риском в кредитной организации и банковской группе». В Положении №716-П перечислены требования к управлению модельным риском, обеспечению качества данных (КД) в информационных системах (ИС), методике и порядку обеспечения качества данных. В приложении 3 Положения Банка России №483-П перечислены требования к качеству данных, используемых банками для создания и применения моделей количественной оценки кредитного риска для расчета нормативов достаточности капитала. Согласно документу, ключевые характеристики качества данных:

• точность и достоверность данных – отсутствие синтаксических и семантических ошибок в данных, их соответствие реальным и статистически наиболее вероятным значениям свойств, характеристик и параметров, зафиксированных в данных;
• полнота данных – достаточность объема данных (количества хранящихся в ИС записей), глубины данных (периода данных, необходимого для создания и применения моделей оценки риска) и широты данных (охвата данными всех разрезов, свойств и характеристик объектов, к которым применяются модели оценки риска);
• актуальность данных – обязательность фиксирования и использования для создания и применения моделей оценки риска данных на дату, требуемую для указанных моделей;
• согласованность данных – взаимная непротиворечивость данных, хранящихся во всех внутренних ИС банка, в том числе обеспечивающих бухгалтерский учет, и во всех доступных банку внешних ИС и иных источниках, а также целостность соответствующих идентификационных ссылок в структурах баз данных;
• доступность данных (для обработки) – возможность использования данных в существующей форме представления в моделях оценки риска;
• контролируемость данных – возможность осуществления контроля качества и происхождения данных, в том числе посредством отражения в ИС источников данных, истории создания, изменения, преобразования, удаления, хранения и передачи данных;
• восстанавливаемость данных – возможность сохранять установленный уровень функциональности и качества данных после их утраты, повреждения или изменения в результате сбоев или иных нарушений работы ИС, ошибок или иных непредусмотренных действий персонала.

Также в документе перечислены элементы методики обеспечения качества данных, которые включают:

• классификатор возможных источников и причин образования некачественных данных в ИС; показатели (индикаторы) для оценки характеристик, разрабатываемые банком для различных функциональных областей бизнеса;
• показатели (индикаторы) эффективности инструментов (методов, алгоритмов, средств) обеспечения КД, под которой понимается способность инструмента своевременно выявлять и/или устранять в данных ошибки, неточности и иные нарушения, негативно влияющие на результаты;
• методы и алгоритмы расчета, правила измерения показателей, в т.ч. с использованием контрольных выборок данных;
• критерии оценки КД и эффективности;
• предельно допустимые значения показателей.

Согласно документу, порядок обеспечения качества данных предполагает проведение следующих процедур:

• процедуры измерения показателей;
• процедуры обоснования, утверждения и корректировки предельно допустимых значений показателей;
• процедуры реагирования на нарушения установленных банком предельно допустимых значений показателей, установленных критериев оценки КД и эффективности;
• процедуры, правила и периодичность контроля и формирования отчетов о КД и эффективности, соблюдении мер контроля;
• процедуры исправления ошибок в данных и документирования внесенных изменений;
• порядок взаимодействия по вопросам обеспечения КД (полномочия, ответственность, подотчетность и обеспечение ресурсами, в т.ч. определение должностных лиц, несущих персональную ответственность за обеспечение КД);
• порядок и периодичность сверки данных с данными бухгалтерского учета;
• порядок и периодичность проведения аудита КД и эффективности мер контроля КД.

Управление качеством данных в компании необходимо начинать с разработки методик и порядков обеспечения качества данных. Структура такой документации должна включать документы, содержащие положения корпоративной политики, положения частных политик, требования к процедурам, свидетельства выполненной деятельности (отчеты). Оценку существующего уровня качества данных и выстраивание процессов управления качеством следует начать с аудиторской проверки документации на соответствие требованиям, утверждения перечня лиц, ответственных за качество данных на административном и техническом уровнях и определения перечня существующих правил качества данных. Управление качеством данных состоит не только из разработки методик, порядков и составления документации, но и из внедрения программных решений, которые помогут обеспечить качество данных. Например, решения Data Governance включают в себя ведение единого реестра правил качества, наличие владельцев (ответственных лиц) правил качества, использование data lineage для соответствия требованиям по контролируемости, создание правил проверки и обеспечения качества данных по всем ранее приведенным характеристикам. Также важно провести учет существующих правил качества и поиск избыточности среди них и реализовать шаблоны правил для многократного использования без доработки (в том числе с применением бизнес-глоссария).

Из-за геополитических событий, начавшихся в 2022 году, и ухода многих зарубежных компаний на российском ИТ-рынке сейчас не так много промышленных решений по управлению качеством данных. Часть этого ПО специализируется на определенных видах данных. Также все еще активно бизнес использует установленное зарубежное ПО, либо организации переходят к инструментам на основе решений класса ETL и к собственным разработкам для конкретных нужд компаний. Тем не менее в 2023 году расходы на импортозамещение ПО достигли 53% от общих инвестиций в ИТ, что способствует появлению и развитию отечественных продуктов, в том числе в сфере управления качеством данных. Соблюсти требования к качеству данных помогают продукты DIS Group. Плюс7 ФормИТ DQ обеспечивает соответствие требованиям регулятора к точности, достоверности, полноте, актуальности, доступности данных. Решение эффективно работает при наличии задач по обеспечению качества данных, мониторингу полноты и качества данных, выявлению дубликатов и обеспечению чистоты данных, стандартизации и консолидации данных. В результате использования Плюс7 ФормИТ DQ возрастает доверие к данным, предоставляемым бизнес-подразделениями, осуществляется проактивный мониторинг качества данных с оповещением владельцев данных в случае изменения уровня качества, а также проводится сквозной мониторинг качества данных в каждой точке их преобразования. Юниверс DG (Data Governance) позволяет соответствовать требованиям регулятора к согласованности данных, к процедурам согласования изменений требований к качеству, к определению ответственных лиц и к контролируемости данных. Решение помогает выстроить полный цикл управления данными в организации, в том числе: осуществлять ведение общей бизнес-терминологии, визуализацию потоков происхождения данных, мониторинг и поддержку целевого уровня качества данных, построение моделей и аналитики любой сложности, анализ отчетности и поиск ошибок. В проектах с Data Governance эффективно себя показал Юниверс DQ – программный компонент, трансформирующий входные данные в выходные. Он предоставляет возможность разработать и подключить сторонние функции​, а также настраивать новые функции как композиции существующих функций. Решение помогает хранить и классифицировать найденные ошибки, фильтровать записи с ошибками в пользовательском интерфейсе, экспортировать обнаруженные ошибки с данными. Качество данных обеспечивается за счет нескольких фаз: фильтрация данных, их валидация, очистка и проверка согласованности, а также обогащение внутренними и внешними источниками.

Управление данными является стратегической задачей органов власти и государственных организаций. Она напрямую связана с ускорением реализации социально значимых проектов, улучшением качества сервисов для населения, увеличением доли цифровых услуг и оценкой эффективности государственной деятельности. Работа с качеством данных важна в проектах при построении хранилищ и озер данных. Чтобы данные, которые попадают в эти структуры, в последующие отчетности и аналитику были качественными, приемлемого уровня согласно требованиям, которые выдвигает заказчик и госрегулятор. Второй вид проектов, где есть работа с качеством данных: управление нормативно-справочной информацией, ведение справочников, выявление дубликатов данных, приведение данных к необходимому виду для дальнейшего использования. Третий вид проектов – управление данными Data Governance, содержащие информацию о проверках качества, об уровне и показателях качества данных по тем метрикам, которые заказчик выбрал, чтобы понять, насколько можно и нужно использовать данные, получаемые пользователем при выгрузке информации или в отчетах. Сегодня вопрос управления данными и их качеством особо актуален потому, что усложнился слой систем (он содержит сотни новых программ, которые используются в различных направлениях деятельности органов власти и госорганизаций), более сложным стал слой данных и слой инфраструктуры (облачные технологии и интернет вещей кардинально изменили ИТ-архитектуру), при этом обеспечивать конфиденциальность и защищенность данных стало сложнее. Поэтому решения в сфере оценки и управления качеством данных так эффективны в работе бизнеса.

Розничные компании собирают огромное количество данных, включая информацию о продажах, запасах, клиентах и маркетинговых активностях. Обработка и управление этими данными требует мощных систем и инфраструктуры для обеспечения эффективности и точности. Специальный гость, компания “Magnit Data”, поделился опытом внедрения Data Governance и рассказал о преимуществах использования решения по управлению данными в организации. Из записи вебинара вы узнаете:

• как визуализировать потоки происхождения данных, чтобы иметь полное представление о том, откуда берутся данные и как они используются в различных процессах;
• как мониторить и поддерживать целевой уровень качества данных, чтобы обеспечить надежность и точность информации, используемой в вашей компании;
• как строить модели и аналитику любой сложности, что поможет вам принимать обоснованные решения на основе надежных данных.

Запись вебинара будет полезна директорам по развитию и цифровой трансформации, ИТ-директорам и директорам по данным из ритейла, e-commerce, логистики и других отраслей.

• Олег Молчанов, Руководитель направления по метаданным и качеству данных, Magnit Data
• Олег Гиацинтов, Технический директор DIS Group
• Евтушенко Сергей, Заместитель директора подразделения консалтинга DIS Group

Обратите внимание на другие онлайн-мероприятия серии:

• Данные в масштабах банков: ETL-решение для финансовой отрасли (кейс МКБ)
• Миграция данных: как выбрать правильный подход

В цифровую эпоху, где данные стали новой нефтью, критически важно эффективно управлять информацией, чтобы обеспечить успешную цифровую трансформацию. Директора по управлению данными играют ключевую роль в этом процессе, поскольку они отвечают за разработку и реализацию стратегий управления данными. Смотрите запись вебинара, чтобы узнать о последних тенденциях и инновациях в области управления данными и преимуществах, которые может предложить единая российская платформа управления данными. На вебинаре вы узнаете:

• как собирать, анализировать и интерпретировать данные для принятия обоснованных решений на основе информации;
• как управлять основными справочниками информации;
• как автоматизировать процессы сбора, обработки и анализа данных, снизить ручной труд и увеличить производительность вашей компании;
• что необходимо для эффективного управления данными и успешной цифровой трансформации вашего бизнеса.

Запись вебинара будет полезна представителям крупного бизнеса, директорам по управлению данными, директорам по цифровому развитию и цифровой трансформации, ИТ-директорам.

• Олег Гиацинтов, Технический директор DIS Group

Обратите внимание на другие онлайн-мероприятия серии:

• Данные в энергетике: MDM как инструмент для ведения активов (кейс РусГидро)
• Data Governance в ритейле: специфика и особенности (Magnit Data)

Разработка и запуск программы управления данными – сложная задача. На разработку такой программы потребуется время. Лучше начать с малого — выберите конкретную бизнес-возможность или задачу и направьте на нее всю свою энергию и бюджет. Увидев, какую ценность дает управление данными, вы можете расширить сферу действия. Вам придется привлечь заинтересованных лиц, привести к общему знаменателю различные процессы и наладить связи между отдельными командами. Более того, вам потребуются эффективные технологии, способные обрабатывать огромные объемы разрозненных данных по всей организации. В этом руководстве вы узнаете, как выбрать и запустить первый проект по управлению данными и подготовить организацию к дальнейшим шагам на пути цифровой трансформации. Мы работали со многими компаниями, успешно реализующими программы по управлению данными. На страницах этого руководства поделимся опытом и расскажем, как заложить надежную основу для цифровой трансформации. Освоив материал и выполнив приведенные упражнения, вы будете лучше понимать, что ждет вас впереди и как эффективно реализовать потенциал управления данными, чтобы получить ощутимую пользу для бизнеса.

Дата Саммит “Вселенная ваших данных” уже доступен в записи! Вселенная данных постоянно расширяется. По самым скромным подсчётам, к 2025 году их объём составит более 180 зеттабайт. Чтобы покорять эти космические просторы, нужны современная методология, профессиональная команда и мощные российские технологии.

• Как принимать ключевые решения со скоростью света?
• Чёрные дыры и «чёрные лебеди»: как предсказать их появление?
• Как с помощью данных сделать компанию центром притяжения для клиентов?

Ответы на эти вопросы можно получить на капитанском мостике Дата Саммит.

Вы услышите выступления представителей госсектора: ФКУ «ГосТех», РКС, Счетной палаты РФ, Совета по цифровой экономике, Совета Федерации ФС РФ, Департамента информационных технологий города Москвы, а также представителей других организаций из госсектора и крупнейших частных компаний. Узнаете про новейшие российские технологии в области управления данных, разберете практические кейсы, которые уже успешно реализованы.

При работе с корпоративными данными важна их точность, непротиворечивость, доступность, достоверность, актуальность, целостность, измеримость, управляемость, релевантность. Совокупность оценок перечисленных показателей демонстрирует качество данных (Data Quality). Эта характеристика обозначает пригодность данных к обработке и анализу, их соответствие обязательным и специальным требованиям. На пригодность данных для работы влияет сфера бизнеса или отдела, который с ними работает, а также критерии оценки. Одни и те же данные для финансового отдела могут быть пригодны для работы, а для аналитиков – нет. Анализ качества данных и работа с ним важна в проектах при построении хранилищ и озер данных. Чтобы данные, которые попадают в эти структуры, в последующие отчетности и аналитику данных были качественными, приемлемого уровня согласно требованиям, которые выдвигает заказчик. Это первая и наиболее частая задача при построении интеграционных и миграционных проектов. Также при перемещении систем важно восстановление качества данных до уровня требуемого другой системой. Второй вид проектов, где есть работа с качеством данных: управление нормативно-справочной информацией, ведение справочников, выявление дубликатов данных, приведение данных к необходимому виду для дальнейшего использования. Например, приведение адресов в стандартизированный вид для сегментации данных. Третий вид проектов – управление данными Data Governance, содержащее информацию о проверках качества, об уровне и показателях качества данных по тем метрикам, которые заказчик выбрал, чтобы понять, насколько можно и нужно использовать данные, получаемые пользователем при выгрузке информации или в отчетах. В таких проектах вопросы восстановления решаются отдельно в зависимости от того, что необходимо пользователю. Вопросы качества важны и в процессах защиты данных. Например, при обезличивании тестовых сред.

Качество данных тесно связано с продуктами, которые обеспечивают проверку и приведение качества в необходимый вид, согласно выдвигаемым требованиям со стороны владельцев данных. Поэтому инструменты, направленные на работу с качеством данных, должны содержать в себе набор характеристик и функций, которые не зависят от типа данных (важна возможность работы с данными любого формата) и имеют широкие возможности. В первую очередь функции должны включать возможность разного рода проверок качества данных. Унифицированный формат стандартных проверок с техническими метриками – профилирование (первоначальная оценка данных, чтобы понять их текущее состояние). Оно включает в себя построение профиля данных, которое позволяет определить, что представляют данные с точки зрения технического заполнения, какого они формата, их максимальные и минимальные значения, полноту данных, соответствие требованиям по актуальности, распределение по основным профилям. Вторая функция – проверка качества данных, согласно требованиям, выдвигаемым бизнесом. Например, попадают ли данные в нужный набор условий согласно бизнес-процессам. Так, для нефтегазовой отрасли актуален показатель условий погружения насоса в слой нефти и т.п. Третья функция связана с возможностью восстановления качества данных и механизмами обогащения данных, их доставки из других систем и источников, стандартизации данных, то есть их приведение к нужному виду по тому, как данные стоят внутри поля (например, адрес, номер телефона, e-mail). Четвертая функция – наличие системы отчетности, которая показывает текущий уровень качества данных, изменение уровня качества и те наборы данных, которые не соответствуют нужным параметрам с уведомлением, что качество изменилось с указанием сути проблемы. Широкий функционал по управлению качеством данных есть у решения ФормИТ DQ. Оно решает следующие задачи: обеспечение качества данных, мониторинг полноты и качества данных, выявление дубликатов и обеспечение чистоты данных, стандартизация и консолидация данных. Решение обеспечивает качество данных путем создания проверок силами бизнес-пользователей, проверок и обеспечения качества данных на основе технических требований, единого реестра проверок качества данных, валидации данных при их передаче, выявления дубликатов и построения мастер-записей для всех видов данных, а также мониторинга проверок качества и профилирования данных на всех этапах. Как результат, растет доверие к данным, предоставляемым бизнес-подразделениями, осуществляется проактивный мониторинг качества данных с оповещением владельцев данных в случае изменения уровня качества, сквозной мониторинг качества данных в каждой точке их преобразования. В управлении качеством может помочь и решение Юниверс DQ в проектах с Data Governance. Оно имеет программный компонент, трансформирующий входные данные в выходные, набор стандартных функций по очистке данных, возможность разработать и подключить сторонние функции, построить новые функции как композиции существующих функций. Решение помогает хранить и классифицировать найденные ошибки, фильтровать записи с ошибками в пользовательском интерфейсе, экспортировать обнаруженные ошибки с данными. Качество данных обеспечивается за счет нескольких фаз: фильтрация данных, их валидация, очистка и проверка согласованности, а также обогащение внутренними и внешними источниками.

Метрики качества данных могут быть разнообразны. Есть методика оценки качества данных и метрики, которые определяются регулятором. К ним относятся:

• полнота – содержат ли данные информацию, необходимую для конкретного бизнес-процесса;
• точность – полностью ли соответствуют данные необходимым требованиям по значениям и заполнению;
• актуальность данных, своевременность – описываются ли данные события в требуемом временном интервале;
• согласованность – не противоречат ли данные друг другу
• доступность – время и усилия, которые требуются для получения данных в определенном формате и др.

Есть более детализированные метрики, которые могут понадобиться бизнес-пользователю. Например, валидность данных, когда при их перемещении они соответствуют данным источников, или возможность использования данных в том или ином диапазоне. Инструменты, которые отвечают за качество данных, должны уметь работать с проверками и требованиями по восстановлению данных. Не все можно восстановить и проверить с точки зрения качества данных, поэтому инструменты, которые есть на рынке, занимаются чаще всего строчными данными, числовыми, но не работают на уровне бинарных данных или не поддерживают возможность работы с большими объемами или бизнес-логикой. Если важна метрика контролируемости данных (указание на то, что данные приходят из нужного источника), согласованность данных, соответствие хранимых данных в системе наименованиям, которые им присвоены, то используется Data Governance – платформа для управления корпоративными данными. Она позволяет быстро находить любые данные, выстраивать единую понятийную основу, обеспечивать быстрый поиск терминов, анализировать связи. Решение обеспечивает консолидацию знаний о данных, структурирует совместную работу с ними и облегчает понимание, как данные влияют на бизнес.

Среди ошибок чаще всего встречается неполнота данных. В некоторых случаях в зависимости от выдвигаемых заказчиком требований и матрицы критериев такие данные могут считаться качественными и использоваться в определенных сферах. Например, в банке при создании единого клиентского справочника заказчик поставил задачу, что данные должны содержать ФИО, дату и место рождения клиента. В ходе работы выяснилось, что место рождения указано только у 2% клиентов. Такие данные можно использовать только в ограниченном сегменте, а для составления справочника их недостаточно. Среди ошибок не редко возникает недостоверность данных. Например, когда имеет место неверный тип данных (значения в определенном столбце должны иметь определенный тип данных), диапазон (временной, числовой и др.), неверный набор значений. Иногда встречается несоответствие данных. Оно возникает, когда два значения в наборе данных противоречат друг другу. При выявлении ошибок их можно исправить вручную, автоматически при помощи инструментов обеспечения качества данных, при обработке данных с помощью скриптов. Исправление данных включает в себя анализ причин ошибок (определяется источник ошибочных данных, причины возникновения ошибок, изолируются факторы, влияющие на эту проблему), парсинг и стандартизацию (сопоставление записей в базах данных с заданными паттернами, грамматикой и репрезентациями для выявления неверных значений), сопоставление данных (выявление одинаковых данных и их объединение), добавление новых данных и их мониторинг. Все это осуществляют разные решения и платформы после оценки качества данных и выявления ошибок. Низкокачественные данные препятствуют принятию эффективных бизнес-решений, проведению точных аналитических исследований, прогнозированию будущих процессов в бизнесе. Поэтому решения в сфере оценки и управления качеством данных так эффективны в работе бизнеса.

Компания DIS Group приглашает Вас посмотреть вебинар «Ускоренная разработка внутренних корпоративных систем. Примеры из жизни».

• Как автоматизировать ключевые бизнес-процессы «ещё вчера» и сократить time-to-market?
• Я знаю точно, невозможное возможно: как подружить новые решения с системой сквозной корпоративной автоматизации?
• «По запросу гуглится только одна статья – твоя»: что делать, если на рынке нет решения под потребности вашей отрасли?
• От гипотезы – к факту. Как пройти этот путь быстрее и избежать подводных камней?

На эти и другие вопросы мы ответим на нашем вебинаре.

Компания DIS Group приглашает Вас посмотреть запись вебинара «Как повысить операционную эффективность на основе данных?».

• Почему корпоративный каталог данных ускоряет окупаемость инвестиций в 3 раза?
• Как повышение качества данных снижает операционные риски и затраты?
• Почему крупные компании в период турбулентности делают ставку на MDM-проекты?

На эти и другие вопросы мы ответим на нашем вебинаре.

• Серафим Бородин, Бизнес-аналитик DIS Group

Приглашаем Вас посмотреть запись вебинара «Ускорение окупаемости и повышение прибыли от инвестиций. Данные – новая нефть»

• Как окупаются data-проекты?
• В каких областях data-проекты приносят максимальную прибыль?
• И как с помощью данных повысить ROI других проектов?

Получите ответы на эти и другие вопросы на нашем вебинаре

• Александр Утюгов, Руководитель направления управления данными (Data Governance), DIS Group