Дистрибуция и внедрение инновационных продуктов и решений для корпоративного сектора от лидеров мирового ИТ-рынка

Аудит интеграционных решений

Современные тенденции роста объемов и сложности решаемых задач, изменяющиеся требования регуляторов и контролирующих органов обусловили необходимость оперативного доступа к качественной информации по всем направлениям развития бизнеса в целях снижения уровня рисков и обеспечения эффективного управления предприятием. Таким образом, начиная с 2005 года, отмечена высокая активность внедрения предприятиями в различных областях централизованных хранилищ данных – программно-технических комплексных решений, обеспечивающих интеграцию, структуризацию и централизованное хранение данных.

Управление процессами и потоками данных в корпоративных хранилищах осуществляется с помощью промышленных ETL-решений (ETL – Extract, Transform, Load), определяющих функциональные возможности хранилища.

Эффективность внедрения и использования хранилища во многом определяется качеством проектирования и разработки лежащего в его основе ETL-решения, а эффективность промышленного интеграционного решения, включающего в себя взаимодействующие с ETL-решением внешние системы программного комплекса Заказчика, зависит также от специфических организационных и интеграционных особенностей взаимодействующих систем.

Накопленный опыт внедрения и сопровождения корпоративных хранилищ данных позволил выявить ряд наиболее распространенных проблем, возникающих вследствие снижения показателей эффективности эксплуатации ETL-решений внешними смежными системами программно-технического комплекса Заказчика:

  • снижение эффективности функционирования промышленного ETL-решения или его отдельных частей;
  • снижение эффективности работы взаимодействующих с ETL-решением систем в рамках комплексного интеграционного решения Заказчика;
  • снижение быстродействия функционирования ETL-решения или его отдельных компонентов;
  • снижение быстродействия взаимодействующих с ETL-решением систем в рамках комплексного интеграционного решения Заказчика;
  • постоянный рост затрат на сопровождение интеграционного решения;
  • рост количества сбоев в работе компонентов интеграционного решения, связанный с необоснованной сложностью и запутанностью их организации у Заказчика;
  • проблемы изменения / доработки, связанные с недостаточной гибкостью компонентов комплексного интеграционного решения;
  • проблемы при масштабировании и развитии интеграционного решения.

Перечисленные проблемы могут быть вызваны различными обстоятельствами. Часто Заказчик, в надежде снизить затраты на разработку, внедрение и сопровождение промышленного интеграционного решения, пытается обойтись внутренними ресурсами, привлекая к проектированию и разработке специалистов, обладающих недостаточной квалификацией и опытом в области проектирования и внедрения ETL-решений. К аналогичным последствиям могут приводить несогласованные действия аналитиков, архитекторов и разработчиков, участвующих в проектировании, разработке и модернизации комплексных ETL-решений и взаимодействующих с ними систем. Обычно такие прецеденты характерны для методологий ведения проектов, предполагающих одновременное (параллельное) проведение работ несколькими командами привлеченных разработчиков на этапах проектирования, разработки и внедрения систем в условиях ограничения во времени либо при наличии иных причин, препятствующих согласованию используемых методов и средств участниками привлекаемых Заказчиком команд.

Скорректировать развитие систем интеграционного комплекса Заказчика и нормализовать показатели эффективности взаимодействия с централизованным хранилищем данных может аудит интеграционного решения.

Процедура аудита проводится в несколько этапов:

  •  предварительное ознакомление с предметом аудита и предметной областью, для которой применяется ETL-решение;
  • разработка и утверждение программы аудита;
  • планирование и согласование с Заказчиком сроков этапов проведения аудита согласно утвержденной программе;
  • реализация программы аудита, предполагающая поэтапное проведение работ согласно срокам, установленным на этапе планирования.

Процедура аудита интеграционного решения предполагает детальный анализ всех компонентов программно-технического комплекса DWH(Data WareHouse-хранилище данных) Заказчика и взаимодействующих с ним систем:

  • изучение требований на разработку компонентов решения;
  • изучение требований к взаимодействию компонентов в рамках программно-технического комплекса Заказчика;
  • проведение интервьюирования (анкетирования, опросов) архитекторов, разработчиков, аналитиков, участвующих в проектировке и внедрении решения;
  • знакомство с алгоритмами реализации;
  • изучение связанных бизнес-процессов и регламентов Заказчика;
  • сбор замечаний к обследуемым объектам;
  • обследование архитектуры решения;
  • анализ объектов ETL-процесса;
  • анализ объектов баз данных;
  • исследование объектов оболочки операционной системы и программы.

В зависимости от ситуации, аудит может осуществляться как по всему комплексу интеграционного решения Заказчика, так и по отдельным его областям. Каждый этап процедуры аудита предполагает формирование соответствующего пакета документов. Качественные показатели, ошибки, замечания и другая информация фиксируются на всех этапах аудита в рабочей документации.

Помимо этого, на протяжении всех стадий процесса ведется статистика проведения аудита – внутренний отчет, содержащий виды проводимых работ, описание использованных приемов аудита, затраченное время, количество сотрудников, выполняющих работу и т.д.

По результатам проведения аудита формируется пакет документов включающий:

  • списки проблем и замечаний выявленных в ходе аудита;
  • выработанные рекомендации по устранению выявленных проблем и замечаний;
  • описание состава работ и оценку трудозатрат на доработку процессов архитектуры, а так же других мероприятий, направленных на повышение эффективности комплексного интеграционного решения.

Рекомендации, выработанные аудитором по результатам анализа интеграционного решения Заказчика, представляют собой подробное четкое описание мер, нацеленных на:

  • повышение эффективности работы бизнес-подразделений в части проведения различных видов анализа и построения отчетности на базе DWH;
  • расширение области применения системы;
  • обеспечение отказоустойчивости интеграционного решения;
  • оптимизацию производительности систем в рамках интеграционного решения Заказчика;
  • организацию эффективного взаимодействия систем программно-технического комплекса Заказчика в рамках  интеграционного решения;
  • обеспечение качества данных в хранилище;
  • тиражирование системы;
  • обеспечение эффективного обслуживания интеграционного решения;
  • дальнейшее развитие компонентов интеграционного решения Заказчика.