Создание целевого единого хранилища для проекта компании «Дататех» и Банка ВТБ (ПАО)

Бизнес-задача

Создание целевого единого хранилища как высокодоступного масштабируемого сервиса. Компания «Дататех» входит в состав ГК «Иннотех» и занимается внедрением полного цикла управления данными: от построения корпоративного хранилища данных до платформы анализа Больших Данных на базе передового отечественного ПО с открытым исходным кодом. «Дататех» также разрабатывает индустриальные решения с использованием современных методов моделирования и технологий ML&AI. В рамках работы над проектом Банка ВТБ представители компании столкнулись с задачей создания целевого единого хранилища как высокодоступного масштабируемого сервиса для управления информационными активами банка. Также важно было разработать фреймворк управления регламентом и загрузкой данных на базе решений open source для снижения стоимости владения информационными активами Банка.

Решение

Сервис, адаптированный под работу с real-time регламентами и требованиями по доступности данных. Arenadata DB – аналитическая распределённая СУБД – была выбрана в качестве платформы обработки и хранения данных. Проект является одной из крупнейших установок Arenadata DB в России: суммарный объем дискового пространства всех сред разработки и тестирования превышает 0,5 Петабайта. Informatica Axon Data Governance использовался для создания бизнес-глоссария. Это решение обеспечивает консолидацию всех знаний о данных, структурирует совместную работу с ними и облегчает понимание, как данные влияют на бизнес, с каким бизнес-контекстом они связаны. Informatica Enterprise Data Catalog консолидирует все метаданные в едином репозитории, обеспечивает управление единым каталогом метаданных и эффективный поиск и анализ метаданных. Эта технология позволяет заложить надежную основу при реализации любых проектов, опирающихся на данные. За управление мастер-данными отвечает технология Informatica Master Data Management, благодаря которой бизнес-пользователи получают мгновенный доступ к единой и наиболее полной информации о критических бизнес-данных. Informatica PowerCenter используется для обеспечения интеграции и синхронизации данных в проекте, а также для миграции данных в новые приложения, обмена информацией с контрагентами. Informatica Data Quality также используется в проекте: это решение позволяет на уровне настраиваемых бизнес-правил проводить анализ качества данных, стандартизировать и очищать данные, распознавать и выявлять дубликаты для очищенных и стандартизованных данных, осуществлять консолидацию данных, вести мониторинг и получать отчетность по качеству данных.

Результат

Создана единая аналитическая экосистема и платформа для управления информационными активами Банка ВТБ. Она представляет собой сервис, адаптированный под работу с real-time регламентами и требованиями по доступности данных в рамках большого MPP-кластера, способного масштабироваться в любой момент времени. Единую аналитическую модель данных универсального банка, а также собственный фреймворк можно тиражировать для банковской отрасли, предлагая качественный российский продукт как полноценную альтернативу иностранным решениям. Опыт с точки зрения масштаба внедрения является уникальным для российского рынка и интересен банковскому сообществу как решение на технологиях с импортозамещением.