Озеро данных: как с помощью искусственного интеллекта извлекать максимальную пользу?

Озеро данных – инновационная технология, которая может принести значительную пользу любому бизнесу. О том, что этому может помешать и как эти трудности преодолеть, рассказывает Инна Токарева-Села, руководитель направления искусственного интеллекта в Sisense.

Также вам может быть интересна статья Почему озеро данных не приносит пользы и что с этим делать?

Обрабатываем большие объёмы информации в озере данных и в хранилищах

Искусственный интеллект (ИИ) и машинное обучение (ML)кардинально меняют будущее, особенно в том, что касается обработки данных и их аналитики. Скажите честно, действительно ли в вашей компании есть эффективные инструменты и процессы для использования ИИ и ML? Во многих компаниях сейчас принято говорить о том, что искусственный интеллект станет конкурентным преимуществом следующего поколения технологий. При этом может быть и так, что в самих этих компаниях ИИ и ML никак не применяются. Есть и те, кто просто добавляет к своим ИТ-решениям приписку: «с использованием искусственного интеллекта», чтобы привлечь внимание клиентов. К сожалению, становится всё больше ИТ-компаний, которые используют подобные приписки, никак не меняя само решение.

Однако, когда речь идёт об обработке огромного количества данных, очень хорошо видно, что искусственный интеллект и машинное обучение позволяют добиться впечатляющих результатов. Все мы знаем, что объёмы данных растут с феноменальной скоростью. Есть целый ряд компаний, которые уже собрали так много данных, что их невозможно обработать вручную. Только с помощью ML и ИИ можно извлечь пользу из огромного озера данных или масштабных хранилищ. Это и открывает новые возможности, и создаёт дополнительные проблемы. Но факт остаётся фактом, ML и ИИ могут взять на себя 80% задач по подготовке данных (обычно скучные и монотонные задачи). А люди при этом могут сконцентрироваться на анализе, моделировании и оптимизации. Подробнее об алгоритмах ИИ платформы Informatica, которые позволяют эффективно обрабатывать сырую информацию в озере данных, читайте в другой статье блога.

Трудности при извлечении пользы из озера данных с помощью ИИ

Но искусственный интеллект и машинное обучение полезны не только при подготовке информации к анализу в озере данных или в хранилище, но и для самого анализа. Есть мнение, что основа успеха любой стратегии по использованию данных в компании – в умении превращать любой бизнес-вопрос (стратегический, тактический или операционный) в задачи для ИИ и ИТ-систем, связанных с ним. Считается, что искусственный интеллект сам может найти ответ на любой бизнес-вопрос в данных компании. При этом этот ответ будет понятным любому сотруднику компании. Ожидается, что возможность задавать бизнес-вопросы искусственному интеллекту должна значительно изменить мир бизнеса: любой не-ИТ специалист сможет легко извлекать ценные инсайты из данных компании. На самом деле, такая схема потребовала бы привлечения бесконечного числа экспертов в области искусственного интеллекта. А таких специалистов на рынке сейчас недостаточно.

При этом недавний отчёт исследовательской компании Gartner показывает, что «к 2020 году для достижения бизнес-целей 50% компаниям будет не хватать сотрудников с хорошими навыками работы с данными и ИИ». Давайте представим такую ситуацию с любыми другими специалистами в компании. Что было бы, если бы в компании не хватало бы разработчиков или торговых представителей? Это стало бы кризисом, компания постаралась бы как можно быстрее решить эту проблему. А именно такой кризис сейчас и наблюдается в мире. И это при том, что в США, где так же, как и везде, не хватает специалистов по ИИ, число внедрений этой технологии в ближайшем будущем должно утроится.

Кроме того, в краткосрочной перспективе развитию искусственного интеллекта может помешать ещё один фактор. Бизнес-команды ищут в данных очень специфичные тактические инсайты (как повысить прибыль, привлечь клиентов, продвинуть бренд). Команды data science больше интересуются более стратегическими задачами, стремятся применять инновации (компьютерное зрение, распознавание знаков, нейронный сети и прочее). ИТ-специалисты, разработчики фокусируются на масштабируемости решений, их надёжности, продуктивности и безопасности. Затруднения в коммуникации между этими разрозненными командами может привести к провалу инновационных внедрении ИИ и ML. Разные вовлечённые в тот или иной проект сотрудники могут просто не понимать той пользы, которую можно из него извлечь.

Озеро данных: как выловить из него прибыль

Большинство бизнес-моделей сейчас столкнулись со снижением возврата на инвестиции. Другими словами, компаниям приходится всё больше инвестировать в то, чтобы поддержать прибыль на том же уровне и не допустить её снижения. Целый ряд организаций инвестирует во внедрение инноваций и исследования, но не получают никакой практической пользы от этого. Касается это и озера данных. Извлечь из озера данных те результаты, которые нужны вашему бизнесу может быть непросто. Сделать эту цель более достижимой может помочь эффективная промышленная платформа.

Важно, чтобы такая платформа могла легко охватить большое число наборов данных (естественно, не только из озера данных, о и из хранилища). Также необходимо, чтобы эта платформа могла в реальном времени обрабатывать потоковую информацию и сопоставлять ей с уже сохранёнными данными. Такая платформа станет мощным инструментом в руках инженера по данным, он поможет ему проводить более сложный анализ данных и извлекать инсайты из большего объёма информации. Такой подход будет эффективным для различных методик монетизации корпоративной информации в озере данных и в краткосрочной, и в долгосрочной перспективе, и при миграции в облако и при масштабной цифровой трансформации. За этим подходом – будущее.

О российском опыте использования озера данных читайте в статье «Газпром нефть» первой в России запустила «умное озеро данных» на базе решений Informatica.

Остались вопросы об озере данных? Присылайте их на почту info@dis-group.ru