Качество данных: требования центрального банка

Вопрос качества данных чрезвычайно важен для банков и финансовых организаций, поэтому им озаботились на государственном уровне. Данные служат основой для принятия управленческих решений, следовательно, важна их точность, доступность, достоверность, актуальность, целостность. Совокупность оценок перечисленных и других показателей демонстрирует качество данных и их соответствие обязательным и специальным требованиям, которые определяет государство.

Требования к качеству данных

Банк России обозначил требования к качеству данных в рамках Положения Банка России от 06.08.2015 г. №483-П «О порядке расчета величины кредитного риска на основе внутренних рейтингов» и Положения Банка России от 08.04.2020 г. №716-П «О требованиях к системе управления операционным риском в кредитной организации и банковской группе». В Положении №716-П перечислены требования к управлению модельным риском, обеспечению качества данных (КД) в информационных системах (ИС), методике и порядку обеспечения качества данных.

В приложении 3 Положения Банка России №483-П перечислены требования к качеству данных, используемых банками для создания и применения моделей количественной оценки кредитного риска для расчета нормативов достаточности капитала. Согласно документу, ключевые характеристики качества данных:

• точность и достоверность данных – отсутствие синтаксических и семантических ошибок в данных, их соответствие реальным и статистически наиболее вероятным значениям свойств, характеристик и параметров, зафиксированных в данных;
• полнота данных – достаточность объема данных (количества хранящихся в ИС записей), глубины данных (периода данных, необходимого для создания и применения моделей оценки риска) и широты данных (охвата данными всех разрезов, свойств и характеристик объектов, к которым применяются модели оценки риска);
• актуальность данных – обязательность фиксирования и использования для создания и применения моделей оценки риска данных на дату, требуемую для указанных моделей;
• согласованность данных – взаимная непротиворечивость данных, хранящихся во всех внутренних ИС банка, в том числе обеспечивающих бухгалтерский учет, и во всех доступных банку внешних ИС и иных источниках, а также целостность соответствующих идентификационных ссылок в структурах баз данных;
• доступность данных (для обработки) – возможность использования данных в существующей форме представления в моделях оценки риска;
• контролируемость данных – возможность осуществления контроля качества и происхождения данных, в том числе посредством отражения в ИС источников данных, истории создания, изменения, преобразования, удаления, хранения и передачи данных;
• восстанавливаемость данных – возможность сохранять установленный уровень функциональности и качества данных после их утраты, повреждения или изменения в результате сбоев или иных нарушений работы ИС, ошибок или иных непредусмотренных действий персонала.

Также в документе перечислены элементы методики обеспечения качества данных, которые включают:

• классификатор возможных источников и причин образования некачественных данных в ИС;
• показатели (индикаторы) для оценки характеристик, разрабатываемые банком для различных функциональных областей бизнеса;
• показатели (индикаторы) эффективности инструментов (методов, алгоритмов, средств) обеспечения КД, под которой понимается способность инструмента своевременно  выявлять и/или устранять в данных ошибки, неточности и иные нарушения, негативно влияющие на результаты;
• методы и алгоритмы расчета, правила измерения показателей, в т.ч. с использованием контрольных выборок данных;
• критерии оценки КД и эффективности;
• предельно допустимые значения показателей.

Согласно документу, порядок обеспечения качества данных предполагает проведение следующих процедур:

• процедуры измерения показателей;
• процедуры обоснования, утверждения и корректировки предельно допустимых значений показателей;
• процедуры реагирования на нарушения установленных банком предельно допустимых значений показателей, установленных критериев оценки КД и эффективности;
• процедуры, правила и периодичность контроля и формирования отчетов о КД и эффективности, соблюдении мер контроля;
• процедуры исправления ошибок в данных и документирования внесенных изменений;
• порядок взаимодействия по вопросам обеспечения КД (полномочия, ответственность, подотчетность и обеспечение ресурсами, в т.ч. определение должностных лиц, несущих персональную ответственность за обеспечение КД);  
• порядок и периодичность сверки данных с данными бухгалтерского учета;
• порядок и периодичность проведения аудита КД и эффективности мер контроля КД.

Управление качеством данных в компании

Управление качеством данных в компании необходимо начинать с разработки методик

и порядков обеспечения качества данных. Структура такой документации должна включать документы, содержащие положения корпоративной политики, положения частных политик, требования к процедурам, свидетельства выполненной деятельности (отчеты).

Оценку существующего уровня качества данных и выстраивание процессов

управления качеством следует начать с аудиторской проверки документации на соответствие требованиям, утверждения перечня лиц, ответственных за качество данных на административном и техническом уровнях и определения перечня существующих правил качества данных.

Управление качеством данных состоит не только из разработки методик, порядков и составления документации, но и из внедрения программных решений, которые помогут обеспечить качество данных. Например, решения Data Governance включают в себя ведение единого реестра правил качества, наличие владельцев (ответственных лиц) правил качества, использование data lineage для соответствия требованиям по контролируемости, создание правил проверки и обеспечения качества данных по всем ранее приведенным характеристикам. Также важно провести учет существующих правил качества и поиск избыточности среди них и реализовать шаблоны правил для многократного использования без доработки (в том числе с применением бизнес-глоссария).

Решения по управлению качеством данных

Из-за геополитических событий, начавшихся в 2022 году, и ухода многих зарубежных компаний на российском ИТ-рынке сейчас не так много промышленных решений по управлению качеством данных. Часть этого ПО специализируется на определенных видах данных. Также все еще активно бизнес использует установленное зарубежное ПО, либо организации переходят к инструментам на основе решений класса ETL и к собственным разработкам для конкретных нужд компаний. Тем не менее в 2023 году расходы на импортозамещение ПО достигли 53% от общих инвестиций в ИТ, что способствует появлению и развитию отечественных продуктов, в том числе в сфере управления качеством данных.

Соблюсти требования к качеству данных помогают продукты DIS Group. Плюс7 ФормИТ DQ обеспечивает соответствие требованиям регулятора к точности, достоверности, полноте, актуальности, доступности данных. Решение эффективно работает при наличии задач по обеспечению качества данных, мониторингу полноты и качества данных, выявлению дубликатов и обеспечению чистоты данных, стандартизации и консолидации данных. В результате использования Плюс7 ФормИТ DQ возрастает доверие к данным, предоставляемым бизнес-подразделениями, осуществляется проактивный мониторинг качества данных с оповещением владельцев данных в случае изменения уровня качества, а также проводится сквозной мониторинг качества данных в каждой точке их преобразования.

Юниверс DG (Data Governance) позволяет соответствовать требованиям регулятора к согласованности данных, к процедурам согласования изменений требований к качеству, к определению ответственных лиц и к контролируемости данных. Решение помогает выстроить полный цикл управления данными в организации, в том числе: осуществлять ведение общей бизнес-терминологии, визуализацию потоков происхождения данных, мониторинг и поддержку целевого уровня качества данных, построение моделей и аналитики любой сложности, анализ отчетности и поиск ошибок.

В проектах с Data Governance эффективно себя показал Юниверс DQ – программный компонент, трансформирующий входные данные в выходные. Он предоставляет возможность разработать и подключить сторонние функции​, а также настраивать новые функции как композиции существующих функций. Решение помогает хранить и классифицировать найденные ошибки, фильтровать записи с ошибками в пользовательском интерфейсе, экспортировать обнаруженные ошибки с данными. Качество данных обеспечивается за счет нескольких фаз: фильтрация данных, их валидация, очистка и проверка согласованности, а также обогащение внутренними и внешними источниками.

Важность управления данными и их качеством

Управление данными является стратегической задачей органов власти и государственных организаций. Она напрямую связана с ускорением реализации социально значимых проектов, улучшением качества сервисов для населения, увеличением доли цифровых услуг и оценкой эффективности государственной деятельности.

Работа с качеством данных важна в проектах при построении хранилищ и озер данных. Чтобы данные, которые попадают в эти структуры, в последующие отчетности и аналитику были качественными, приемлемого уровня согласно требованиям, которые выдвигает заказчик и госрегулятор. Второй вид проектов, где есть работа с качеством данных: управление нормативно-справочной информацией, ведение справочников, выявление дубликатов данных, приведение данных к необходимому виду для дальнейшего использования. Третий вид проектов – управление данными Data Governance, содержащие информацию о проверках качества, об уровне и показателях качества данных по тем метрикам, которые заказчик выбрал, чтобы понять, насколько можно и нужно использовать данные, получаемые пользователем при выгрузке информации или в отчетах.

Сегодня вопрос управления данными и их качеством особо актуален потому, что усложнился слой систем (он содержит сотни новых программ, которые используются в различных направлениях деятельности органов власти и госорганизаций), более сложным стал слой данных и слой инфраструктуры (облачные технологии и интернет вещей кардинально изменили ИТ-архитектуру), при этом обеспечивать конфиденциальность и защищенность данных стало сложнее. Поэтому решения в сфере оценки и управления качеством данных так эффективны в работе бизнеса.