Тинькофф Банк – первый онлайн-банк в России. Эффективное использование больших данных – один из приоритетов компании. Банк активно применяет данные для управленческой отчётности и для предиктивного анализа. Но данные классического хранилища и хранилища больших данных были разобщены, не были интегрированы. Поэтому ИТ-специалистам приходилось тратить человеко-недели и человеко-часы на подготовку даже предварительных данных при запросе от аналитиков. «Нам приходилось вручную вести обработку этих неструктурированных и полуструктурированных данных, что требовало много времени, отвлекало разработчиков от основных задач и резко увеличивало время реакции на появление изменений», – говорит Сергей Сотниченко, руководитель направления управления хранилища данных (DWH) банка Тинькофф. Интеграция данных должна была повысить прибыль за счёт сбора больших данных и более глубокого анализа клиентов. Также должны были снизиться бизнес-риски предложения услуг потенциальному клиенту. При этом эффективность операционной деятельности должна была вырасти за счёт предоставления бизнес-пользователям доступа к данным.

Руководитель направления управления хранилища данных понимал, что Informatica – один из ведущих вендоров в области ETL-решений. Важным фактором при выборе решения стал и тот факт, что у Informatica есть чёткий маршрут развития и развёртывания продукта. Окончательное решение было принято после того, как DIS Group внедрил успешный пилотный проект за несколько недель. На базе продукта Informatica Big Data Management была реализована универсальная модель для интеграции любого типа данных в платформу Hadoop. Визуальная среда разработки, возможность повторного использования бизнес-правил и инструменты для командной разработки, входящие в состав платформы Informatica, дают возможность интеграции огромных объемов (сейчас это около 150 ТБ) полуструктурированных и неструктурированных данных в режиме реального времени из биллинговых систем, мобильных приложений, внутреннего сайта и других источников. С помощью этого решения возможно интегрировать и обычные структурированные данные из баз данных Greenplum и Oracle (это около 30 ТБ). Решение легко может быть масштабировано на уровне корпорации. Аналитические процессы сейчас могут быстро и легко доставлять данные из различных приложений (мобильные, веб- и другие) благодаря высокой скорости доставки данных и встроенных трансформациях, обеспечиваемых платформой Informatica. В результате внедрения решения расширилось взаимодействие между ИТ и бизнесом. Теперь бизнес-подразделениям, например, рискам и маркетингу, больше не нужно обращаться за помощью к ИТ, чтобы извлечь данные из хранилища в Hadoop. Бизнес-пользователи самостоятельно могут получить данные через BI-решение. Благодаря Informatica Big Data Management в пять раз сократилось время получения результатов при запросе данных. Раньше банку требовалось около месяца на передачу готовых данных аналитикам. Сейчас же графические средства разработки Informatica дают возможность самодокументирования и командной разработки.

Решения в банке стали приниматься быстрее и более обоснованно. Уровень конверсии для маркетинговых upsell-кампаний благодаря глубокому исследованию целевой аудитории увеличился в 10 раз. Бизнес-риски снизились. Команда менеджеров по рискам начала опираться на данные профиля потенциального заемщика, построенные в режиме близком к реальному времени. Это позволяет оценить риски сотрудничества с потенциальным заемщиком до выдачи ему кредита, займа или предложения любого другого финансового продукта. Снизились и технические риски. Informatica Big Data Management имеет механизмы управления метаданными и графическое представление зависимостей между метаданными. Они позволяют банку превентивно понимать результаты предполагаемых изменений на уровне всего хранилища.

Создание единой платформы для интегрированного управления рисками. Совместный проект ГК «Иннотех» и Банка ВТБ заключался в разработке и внедрении единой платформы для интегрированного управления рисками на основе открытого программного обеспечения. Платформа должна была консолидировать потоки данных из всех основных риск-систем и повысить эффективность управления капиталом банка.

Платформа должна была консолидировать потоки данных из всех основных риск-систем. В рамках первого модуля работы на основе Informatica Axon Data Governance был создан бизнес-глоссарий, наполнен описаниями витрин, сущностей, атрибутов и различий между ними, контролями и целевыми уровнями качества данных – более 20 тысяч согласованных бизнес-терминов. Бизнес-термины связаны с каталогом метаданных, что позволяет обеспечить сквозную навигацию и поиск бизнес-терминов и метаданных. За каталог метаданных отвечает Informatica Enterprise Data Catalog. В рамках второго модуля загружены данные из 23 систем-источников. На основе Informatica Data Quality реализованы процессы контроля качества и сопоставления данных, пришедших из разных источников (консистентность, непротиворечивость), аналитические кросс-сверки между витринами платформы в разрезе бизнес-сущностей, внутренние идентификаторы платформы. Третий модуль — модуль витрин данных и отчетов. Витрины содержат в себе рассчитанные показатели на основе загруженных данных. Отчеты банка автоматически формируются по запросу и используются в бизнес-процессах.

Модули системы бесшовно интегрированы между собой и с ключевыми информационными системами (ИС). Благодаря разработке и внедрению системы управления рисками:

• Аналитики, специалисты datascience и бизнес-эксперты могут с большим доверием относиться к данным, имеют возможность работать с подготовленными, проверенными и очищенными данными, быстро искать расположение нужных данных в логическом слое, использовать результаты автоматизированных отчетов;
• В 2,5 раза сократилось время подготовки данных для расчета риск-метрик;
• Реализовано единое окно данных для рисков Банка и Банковской группы, которое позволяет подключать новые источники данных, используя разработанные алгоритмы доставки, проверки и подготовки данных. Подготовленные данные востребованы различными подразделениями Банка.

Проект Иннотех и ВТБ «Внедрение Платформы исследования рисков (Risk Research Platform, RRP)» получил премию GlobalCIO в категории «Лучшее отраслевое решение — Страховые компании и Управление рисками».

Внедрить единую систему управления данными. Банк ВТБ стремился более эффективно классифицировать свои данные и централизованно ими управлять. Для этого было принято решение внедрить единую систему управления данными Data Governance.

Система Data Governance в ВТБ включает в себя три модуля управления данными. В основе каждого из них – решение Informatica. В основе бизнес-глоссария – Informatica Axon Data Governance, в основе каталога метаданных – Informatica Enterprise Data Catalog, в основе модуля обеспечения качества данных – Informatica Data Quality. К реализации проекта банк ВТБ привлёк специалистов компании DIS Group.

Качество и надёжность корпоративных данных. Аналитики, data scientists, ИТ-специалисты и другие сотрудники банка смогут быстрее проверять качество и надёжность корпоративных данных.Банк получил возможность ускорить сегментирование клиентских данных, разрабатывать более персонализированные предложения, развивать партнёрскую экосистему и быстрее выводить новые продукты и услуги на рынок. Также новая система позволит сократить сроки подготовки отчётов ВТБ для регуляторных органов.