Интеграция данных: избегайте этих трёх ошибок!

О том, какие ошибки компании чаще всего допускают при интеграции данных и как их избежать, рассказывает Дэвид Линтикум – старший партнёр в Cloud Technology Partners, международный эксперт и автор книг по ИТ.

Компании допускают похожие ошибки при интеграции данных

Синхронизация данных между системами хранения и приложениями используется в течение многих лет. Большинство компаний давно научились это делать успешно. Но много и тех, кто продолжает допускать серьёзные ошибки при интеграции данных. Я выделил три основные ошибки в этой области. Именно их я чаще всего вижу у клиентов.

Первая ошибка интеграции данных: вопросы безопасности не принимаются во внимание

При работе с данными обеспечение безопасности должно быть систематичным во всём, что вы делаете. При интеграции данных их защита начинается в начале проекта, когда вы определяете откуда и куда будете данные перемещать. Далее роль безопасности сохраняется и при определении того, как информация будет преобразовываться, трансформироваться, тестироваться. На всех этапах проекта по интеграции данных защита информации должна быть продуманным процессом, а не пристраиваться постфактум, как это часто происходит.

Многие из тех, кто занимается интеграцией данных, шифруют их «на лету» при поступлении в систему или уже во время хранения в ней. И то, и другое мало кто применяет.  Это приводит к тому, что данные оказываются незащищёнными или при перемещении, или во время хранения. За этим нужно следить. Также не забывайте об управлении идентификацией пользователей, управлении ключами защиты, о записях логов. Этому нужно уделять внимание и при разработке решения для интеграции данных, и при его тестировании, и при использовании.

Вторая ошибка интеграции данных: проблемы метаданных заранее не определены

Интеграция данных будет намного проще, если вы будете понимать, какие данные вы интегрируете. Лучше понять данные могут помочь их метаданные. Именно поэтому так важно их контролировать.

Вам понадобятся не только самые очевидные метаданные (формат данных, их владелец, целостность и другое). Нужны ещё и метаданные о соответствии требованиям регуляторов, Data Governance, безопасности и более сложных концептах, с которыми приходится сейчас иметь дело. Контроль всех метаданных повысит шансы того, что проект по интеграции данных будет успешным. По сути, благодаря метаданным вы избежите неправильной интеграции данных и сможете обеспечить необходимый уровень безопасности информации.

Третья ошибка интеграции данных: неправильный выбор технологий

Не нужно ориентироваться на моду при выборе технологии для интеграции данных. Это очень распространённая ошибка. Руководители проектов очень склонны выбирать для себя технологии на основе своего понимания того, что сейчас популярно.

В итоге в компании внедряется одновременно несколько разнородных инструментов интеграции данных. В такой ситуации всё очень усложнится, затраты и риски возрастут. Кроме того, вам придётся содержать широкий штат сотрудников с разными компетенциями для работы с этими разнородными технологиями. Недостатки такого сценария очевидны. Ошибки возникают почти во всех проектах по интеграции данных. Многих из них очень сложно избежать. Но тех, которые я перечисляю, избежать можно сравнительно легко.