Agile-менеджмент продолжает набирать популярность. О том, как эффективно внедрить его в организации, рассказывает Мохаммад Реза. Мохаммад консультирует ведущие стартапы и крупные компании по вопросам DevOps, использования облачных технологий, безопасности и интернета вещей.

Основная цель agile-менеджмента при разработке программного обеспечения – быстро создать качественный продукт с точки зрения конечного пользователя. Разработка при этом дробится на небольшие временные промежутки – интеграции. Итерации позволяют в процессе создания программного обеспечения адаптировать его и улучшать его качество. Эту цель ИТ-специалисты приняли с большой готовностью, однако сами процессы agile-менеджмента не всегда правильно внедряются. Организации, которые только начинают внедрять эту методологию, могут легко скатиться обратно к традиционным процессам разработки. В частности, это может происходить из-за неправильного распределения ролей и обязанностей. Для эффективного внедрения agile-менеджмента предлагаю рассмотреть роли сотрудников и их обязанности в парадигме scrum. Важно понимать, что отличительная черта agile-менеджмента – создание единой команды с кросс-функциональной экспертизой. При этом в команде должны быть индустриальные специалисты с хорошими знаниями и пониманием бизнес-аспектов, связанных с областью деятельности. Также большое значение имеет организация постоянных итераций разработки и постоянное улучшение её жизненного цикла.

Владелец продукта в направлении agile-менеджмента scrum представляет интересы стейкхолдеров (заинтересованных сторон). Он отвечает за то, в каком направлении будет развиваться продукт и как в целом должен реализовываться проект. Владелец продукта должен понимать требования стейкхолдеров к разрабатываемому софту и уметь донести их до команды разработки. Он также обязан обладать долгосрочным видением развития бизнеса и руководить своим проектов в соответствии с ожиданием стейкхолдеров. Он должен постоянно принимать во внимание обратную связь от конечного пользователя, чтобы определить, какой шаг лучше всего предпринять следующим в разработке. Эта роль подразумевает управление бэклогом, резервом проекта. Резерв проекта – список требований к функциональности продукта (ПО), упорядоченный по степени важности. Также владелец продукта добавляет новые пункты в бэклог и определяет, что должно быть реализовано первым. Он может изменять требования в бэклоге и определяет их приоритетность на основе обстоятельств проекта и обратной связи от стейкхолдеров. Также он управляет планированием циклов релизов, следит за тем, чтобы команда разработчиков на постоянной основе презентует обновлённый продукт при следующей итерации. Кроме того, владелец продукта отвечает за то, что разработанное программное обеспечение принесёт ту бизнес-пользу, которую от него ожидают стейкхолдеры. Следовательно он должен поддерживать коммуникацию с конечными пользователями, руководством, партнёрами и командой разработки.

Scrum-мастер в направлении agile-менеджмента scrum руководит командой по разработке продукта, координирует её членов при реализации проектов. Он получает инструкции по дальнейшему изменению софта от владельца продукта и обеспечивает, что разработка ведётся в соответствии с ними. Обязанности scrum-мастера могут подразумевать руководство ежедневной работой при реализации различных scrum-инициатив и выполнением спринтов. Кроме того, он может заниматься коммуникацией с членами команды по вопросам планирования и определения новых требований, помогать членам команда разработки выполнять свое задачи. Также среди обязанностей этого сотрудника – административные задачи, такие как проведение встреч, организация сотрудничества и решение проблем, которые мешают реализации проекта. Кроме того, он должен огородить членов команды от внешнего вмешательства в их работу. Это нужно, чтобы команда могла эффективно выполнять те требования, которые поставил перед ней владелец продукта. Scrum-мастер отвечает за всю внешнюю координацию деятельности команды с владельцем продукта и другими сотрудниками компании. Он может отвечать за внедрение изменений, координацию стейкхолдеров при поиске необходимых для реализации проекта ресурсов. Также он может помогать владельцу продукта оптимизировать планирование бэклога для максимальной эффективности разработки. Важно, чтобы scrum-мастер поддерживал прозрачность реализации проекта для команды разработки, самоорганизацию этой команды и взаимоуважение внутри неё, приверженность её членов целям проекта. Кроме того, он должен стимулировать членов команды искать наиболее оптимальные подходы к развитию продуктов на основе того, что они видят внутри проекта.

О других ролях в agile-менеджменте читайте во второй части статьи. Кроме того, чтобы agile-менеджмент приносил плоды, важно оптимизировать управление ITMS в компании. Для этого прекрасно подойдёт решение BMC Helix. Для удобства решение легко интегрируется с инструментами разработки, которые позволяют реализовать agile-менеджмент, Jira и Rally. Остались вопросы о том, как эффективно организовать agile-менеджмент в своей компании? Присылайте их на почту info@dis-group.ru

Не знаете, зачем нужна система управления знаниями в кол-центре? Читайте другую статью блога. В этой статье эксперты KMS Lighthouse сфокусировали внимание на одном из главных показателей работы кол-центра – на количестве проблем клиентов, которые удалось решить при их первом обращении в компанию. О том, как повысить этот показатель и как на него повлияет внедрение системы управления знаниями, читайте ниже.

• Сбои в работе IVR-систем. Они маршрутизуют звонки внутри call-центра с использованием информации, вводимой клиентом на клавиатуре телефона с помощью тонального набора. Происходит это посредством предварительно записанных голосовых сообщений.
• Сбои в работе каналов коммуникации с клиентом, где он самостоятельно может искать информацию;
• Некачественное обучение персонала;
• Проблемы с самими услугами или продуктами, которые компания продаёт;
• Сбои в работе ИТ-решений, которые используются для автоматизации работы в кол-центре и инфраструктуры для них. В частности, значительное влияние имеют сбои в работе системы управления знаниями.

Все эти проблемы можно выявить, если записывать разговоры с клиентами, изучать логи систем, проводить опросы. Кроме того, будет полезно собирать информацию у самих операторов. После того, как вы поймёте, что именно мешает решает проблемы при первом обращении, вы поймёте, что именно нужно улучшать в работе кол-центра. Улучшения могут потребоваться в области качества обслуживания в кол-центре, обучения сотрудников и политик, которые определяют их работу. Кроме того, ниже – несколько полезных советов, которые помогут решать больше проблем клиентов при их первом обращении.

Сейчас для работы в контакт-центре есть множество инновационных решений. В частности, можно использовать те, которые позволяют использовать при общении с клиентом его персональные данные, данные из социальных сетей. Благодаря такому персонализированному подходу любую проблему можно решить быстрее и эффективнее.

Многие контакт-центры всё ещё полагаются на голосовые системы с ограниченными возможностями маршрутизации на основе очереди. Такие системы направляют позвонивших в случайные очереди без какой-либо логики. Гораздо эффективнее для маршрутизации клиентов SIP-телефония, которая поддерживает омниканальность коммуникации. Внедрение SIP-телефонии позволяет объединить данные о звонках с 1C, CRM, инструментами аналитики. Если пока возможности её внедрить нет, установите по меньшей мере эффективный инструмент маршрутизации, которая сможет работать с вашей текущей инфраструктурой.

Такое решение позволит автоматизировать распределение сотрудников по задачам, чтобы оптимизировать нагрузку на них в пиковое время. Это значительно помогает улучшить продуктивность сотрудников и удовлетворённость клиентов.

Если операторы контакт-центра будут хорошо знать бизнес-информацию, с которой работают, отвечать на вопросы клиентов они будут быстрее и точнее. Инвестируйте в обучение. Проводите тренинги по работе с системой управления знаниями, корпоративным процедурам и политикам, по продуктам, по развитию коммуникационных навыков. Также держите операторов в курсе о новостях об изъятии и товаров из продажи, неполадок в работе технической поддержки, о продажах и та далее. Кроме того, важно позаботиться о честных условиях труда и хорошей атмосфере в коллективе, которые будут стимулировать сотрудников лучше работать.

Обучение сотрудников – это важно. Но нужно понимать, что выучить наизусть всю бизнес-информацию они не смогут. Установите систему управления знаниями с качественным поисковым алгоритмом, чтобы сотрудники могли за считанные секунды находить ответ даже на самый каверзный вопрос и решать проблемы при первом обращении. Важно понимать, что управление знаниями не должно ограничиваться внедрением системы. Управление знаниями – непрерывный процесс. Бизнес-информацию нужно будет постоянно расширять и дополнять. Фактически, управление знаниями должны стать частью корпоративной культуры. Хотите составить успешную стратегию управления знаниями? Читайте другую статью блога.

Такие стандарты нужно пересматривать постоянно. Вам нужно разработать процедуры для того, чтобы постоянно улучшать способность операторов решать проблемы клиентов. Один из важных стандартов – качество проведения звонка. Есть ли у операторов достаточно информации для решения проблем? Достаточно ли хорошо они обучены? Что ещё можно улучшить? Никогда не останавливайтесь на пути к улучшениям. Важно постоянно очищать процедуры и системы. Это поможет повысить уровень клиентского обслуживания.

У многих из нас был негативный опыт обращений в кол-центры. Большинство из нас уже перед звонком туда настроены негативно. Вам придётся пытаться изменить этот настрой, если сможете сразу направить клиента к нужному специалисту, обеспечить быструю связь с ним, не заставлять его долго ждать ответа и никогда не переводить его в другой департамент. С современным уровнем развития технологий это возможно, инвестируйте в них. Читайте также статью Система управления знаниями не приносит результатов? Ищем слабые места в стратегии. Хотите узнать, как эффективное управление знаниями помогает добиваться высоких бизнес-результатов? Читайте кейсы историй успеха.

Учиться нужно не только на историях успеха, но и на историях провалов. Читайте ниже о том, как сильная команда data science не смогла эффективно проанализировать данные с помощью искусственного интеллекта (ИИ) из-за некачественных данных. Кейс рассказывает Ронен Шварц, старший вице-президент Infomatica.Также читайте статью Ронена на российском портале GlobalCIO Ронен Шварц, спикер форума «Цифровая организация»: системный подход на пути к Данным 3.0. Также по этой теме читайте статью Павла Лихницкого, генерального директора DIS Group Как сделать data science эффективнее?

Мне часто приходится ездить в командировки и встречаться с клиентами по всему миру. Их истории позволяют мне глубже понять, что происходит с управлением данными и их анализом, в том числе с помощью методов data science. Недавно я встречался с Джо, руководителем практики data science одного из стратегических клиентов Informatica. Он рассказал мне историю, которая станет прекрасным уроком для всех команд data science по всему миру.

Джо объяснил мне: «Наша ключевая задача – помочь клиентам компании использовать алгоритмы машинного обучения (ML) и ИИ для того, чтобы сфокусировать инвестиции на тех областях, которые принесут больше всего пользы». Он продолжил: «Однажды мы проводили стратегический пилотный проект для одного из наших клиентов. Мы планировали проанализировать его бизнес-данные с помощью ИИ и на основе этого составить операционный план. В этот план должны были входить рекомендации по тому, когда клиенту стоило вывести на рынок новую услугу и сколько торговых представителей было необходимо нанять для её успешного продвижения». У Джо очень сильная и дорогая команда по data science (о том, как набрать такую команду читайте в другой статье блога). В ней пять экспертов в области ИИ и ML и 10 инженеров по данным. Клиент, о котором рассказывал Джо, был для него стратегическим, поэтому на его проект он бросил своих лучших специалистов. На каждый географический регион (Америка, Европа, Ближний Восток и Африка, АТР) был выделен отдельный инженер по данным. Каждый из них собрал максимальное количество информации (по несколько сотен таблиц с клиентскими данными, данными о заказах и рынке). Два специалиста по машинному обучению потратили несколько дней на поиск и применение лучших моделей и составление рекомендаций. ML явно показывал, что нужно инвестировать в регион Европы, Ближнего Востока и Африки. А это значительно выбивалось из практики инвестиций компании-клиента за последние несколько лет. Когда члены команды Джо ехали на встречу с клиентом, они были убеждены, что сделали всё наилучшим образом. Но, когда они закончили свою презентацию, представители клиента отреагировали на неё негативно. Команде по data science сказали, что они далеки от истины и их рекомендации не имеют смысла.

После встречи сотрудники Джо были вынуждены переделать всю работу заново. Они пытались понять, где свернули не туда. В итоге – выяснили, что после слияния 150 источников данных по региону Европы, Ближнего Востока и Африки около 30% записей в ключевой области оказались дубликатами. Запись об одной и той же сделке могла появиться с указанием разной стоимости из-за разных валют и разного описания на разных языках. Такие дубликаты в значительной степени повлияли на конечные результаты. Команде Джо пришлось улучшить данные, удалить из них дубликаты и заново обучить на них модель. После этого они были уверены, что теперь рекомендации будут правильными: увеличить инвестиции в Америке и сфокусироваться на компаниях среднего размера. Вторая презентация команды data science снова была встречена неодобрительными покачиваниями головы. Предложение сфокусироваться на средних компаниях казалось правильным. При этом было много и показателей, которые говорили о том, что компании стоило сфокусироваться на двух тысячах самых крупных организаций. Сотрудники Джо попросили разрешения подтвердить свои рекомендации. Они внимательно изучили ключевые параметры модели, которые и привели к финальному решению. Было сложно увидеть, как модели обучаются и какие образом приходят к рекомендации. Но в конце концов специалисты по data science поняли, что ключевым параметром в подсчётах модели был параметр продления. Члены команды Джо были очень удивлены, когда поняли, что в большинстве записей информации о продлении не было вообще. Где-то в рамках конвейера данных «отсутствие значения» в поле «продление» превратилось в «ноль». Это значительно повлияло на обучение модели. И снова специалисты по data science поправили модель и снова пришли на встречу с клиентом, чтобы рассказать о своих результатах. Сработало ли всё в этот раз? К сожалению, нет. Мой собеседник признался, что в среднем его команде приходится всё переделывать от трёх до пять раз, чтобы получить верный результат. Мне Джо рассказал это, потому что хотел поделиться важным выводом, к которому пришёл: процессы обеспечения качества данных и управление данными – важные составляющие работы искусственного интеллекта.

Informatica ежегодно проводит масштабную конференцию для специалистов в области управления данными Informatica World (читайте также отзыв о поездке главного инженера департамента управления данными ПАО Сбербанк). В этом году главной темой конференции стала связь данных и искусственного интеллекта. На сессии по перспективам рынка выступали аналитики, клиенты и партнёры. Они рассказывали о том, как искусственный интеллект и машинное обучение меняют бизнес. Особенно много говорилось о том, что для их эффективной работы большое значение имеют зрелые технологии, такие как обеспечение качества данных. Искусственный интеллект и машинное обучение не могут работать без данных. Данных нужно много для того, чтобы модели эффективно обучались и находили полезные инсайты. При этом именно качество информации и её подготовка приобретает всё большое значение по мере того, как эволюционирует ИИ и ML. Как сказал один из моих друзей: «Искусственный интеллект – самый умный способ получить глупый ответ». Али Годси, CEO Databricks на Informatica World озвучил похожее выражение. «Самая сложная часть ИИ не ИИ, а данные для него». Вам также может быть интересна статья DevOps – новая философия data science.

Безусловно, цифровая трансформация невозможна без внедрения передовых инновационных технологий. Но в погоне за ними бизнес рискует упустить выгоду от использования технологий более зрелых. О том, как это происходит и как этого избежать, рассуждает Михаил Комаров, директор направления Informatica в DIS Group. Михаил занимается развитием бизнеса Informatica в России с 2009 года, консультирует крупнейшие российские компании по вопросам цифровой трансформации. Также читайте другую статью Михаила.

Сейчас мы много слышим о цифровой трансформации, о фабриках стартапов, о технологиях Big Data и других инновационных технологиях. Все это помогает бизнесу искать пути оптимизации и повышать эффективность. Но так ли всё хорошо с традиционными и базовыми функциями у российских компаний, чтобы тратить ресурсы на внедрение передовых инноваций? Мой личный клиентский опыт показывает, что это не так. Многие российские компании еще не используют на полную потенциал традиционных, зрелых технологий. Ниже несколько примеров из моего клиентского опыта, которые это хорошо иллюстрируют.

Все говорят о важности e-commerce и росте этого сегмента. Постоянно выходят статьи о том, что в одном или другом онлайн-магазине внедрена новая технология, искусственный интеллект, Big Data и так далее. Лично мне тоже удобнее заказывать многие товары онлайн. Однако мой клиентский опыт показывает, что очень во многих магазинах не реализованы даже базовые функции. Например, нет оптимизации контента для мобильной версии сайта. Пользователи видят лишнюю информацию, это затрудняет выбор. Либо сайт вообще не адаптирован под мобильную версию. Ещё один пример. Наверняка, вы тоже сталкивались с ситуацией, когда долго и усердно собираешь заказ в корзину. А потом перезванивает оператор и сообщает, что каких-то позиций нет. А ведь может быть и так, что весь заказ покупатель планировал из-за этих отсутствующих позиций. В такой ситуации он может отказаться от всего заказа. Третий пример: сайт и мобильное приложение живут отдельной друг от друга жизнью. Пользователь при этом видит разные варианты своей корзины и истории покупок в мобильном приложении и на сайте. Таких ситуаций легко можно было бы избежать и без дорогостоящих инновационных решений. Достаточно эффективно использовать зрелые и всем знакомые: продуктовый каталог данных, платформу по интеграции и качеству данных. Так, продуктовый каталог позволяет агрегировать и классифицировать информацию от поставщиков в различных разрезах: для размещения на обычном сайте, мобильной версии, для печатного каталога товаров и для других задач. На сайте указано неверное количество оставшегося товара? Значит, нет синхронизации данных между системами компании. Этого легко избежать, если применить Informatica Product360 для ведения продуктового каталога и Informatica Intelligent Data Platform для синхронизации данных. Эти решения используют даже такие высокотехнологические компании, как Google. Там они применяются для маркетплейса.

Я обратился в кол-центр одного крупного банка. Мне было нужно узнать, какие отделения работают в выходные. Оператор не смог мне перечислить весь список. Вместо этого он предложил, чтобы я назвал нужную мне станцию метро, а он проверил бы есть ли на ней отделение, а потом – работает ли оно. Согласитесь, не очень удобно. Ещё одна ситуация: я хотел открыть накопительный счёт на своего ребёнка. Позвонил в кол-центр банка, чтобы узнать, какие документы нужны для этого и когда можно прийти в отделение. Оператор перечислил мне документы и сообщил, что я могу прийти в отделение в любое время. Я собрал документы, пришёл в банк. На месте оказалось, что документы нужны другие, а менеджер, который занимается такими счетами работает в другое время. С подобными ситуациями приходится сталкиваться очень часто. Из-за них мы тратим свое время впустую, а банки теряют лояльность клиентов. И снова таких ситуаций легко избежать, если для управления бизнес-информацией в организации использовать единую систему управления знаниями (СУЗ) для омниканальной коммуникации с клиентом. СУЗ позволяют накапливать и отображать необходимую информацию в различных разрезах. Если бы такая система была установлена в банке из моих примеров, оператор кол-центра мог бы сразу перечислить мне все работающие отделения или дать верный перечень документов для открытия счёта. Также СУЗ позволяет избежать многочисленных переключений между специалистами при решении нескольких вопросов. Вся информация отображается в удобном виде, и даже неопытный оператор сможет предоставить всю необходимую информацию. В России такое решение – систему управления знаниями KMS Lighthouse – предлагает компания DIS Group. Решение это уже внедрено в целом ряде организаций. Оно позволяет не только предоставлять информацию, но и проводить обучение операторов, а также в зависимости от запроса предлагать им скрипт для общения с клиентом и upsell’а. Помимо этого решение легко интегрируется с чат-ботом, который может использоваться как для нужд сотрудников внутри компании, так и для общения со внешними пользователями.

Общение с клиентом актуально для многих индустрий, поэтому я не буду выделять какую-то отдельно. Для эффективной коммуникации с клиентом нужен единый для всей организации взгляд на него. Когда единого взгляда нет, возникает несколько проблем. Во-первых, часто в качестве up-sell’a мне предлагают продукты, которые я уже использую или которые мне заведомо не интересны. Например, зачем предлагать кредит при наличии депозита? Во-вторых, при анализе клиента компании не всегда рассматривают его в составе домохозяйства. Из-за этого клиенту предлагают услуги, которыми он уже пользуется, если они оформлены на другого члена семьи. Также разделение по домохозяйствам нужно для предложения комплексных услуг. Я практически не встречал действительно комплексных и выгодных предложений для домохозяйств по страхованию и финансовым услугам. Пока в этом преуспели только операторы связи. В-третьих, я могу получить разный уровень обслуживания пользуясь различными продуктами одной и той же компании. Таких проблем легко избежать с помощью решений класса Master Data Management (MDM). MDM позволяет собрать воедино данные о клиентах, продуктах, менеджерах, точках продаж и любую другую важную для бизнеса информацию. Эта информация потом используется в различных бизнес-процессах: коммуникации с клиентом, upsell, программе лояльности, сборе задолженности, отчетности и других направлениях. Крайне важно, чтобы это была отдельная система, так как у бизнеса могут быть разные требования к данным, а значит, будут разными и требования к атрибутам, которые нужно синхронизировать между различными системами компании. MDM-система – своеобразный хаб данных. Он должен выдерживать высокую транзакционную нагрузку, так как к нему будут постоянные обращения из различных приложений. Я не говорю о базовых технологиях по обеспечению качества данных, которые обязана использовать любая крупная организация.

Во всех ситуациях, которые я перечислил, зрелые технологии легко помогают решать важнейшие проблемы бизнеса. Они помогут получить большую отдачу от маркетинговых кампаний, повысить лояльность клиентов и увеличить продажи. У вас есть вопросы по теме цифровой трансформации? Присылайте их на почту info@dis-group.ru

В мае 2019 года Ассоциация независимых аптек (АСНА) рассказала о создании экосистемы управления большими данными с использованием кластера Hadoop. Система оказалась уникальной для российского рынка. Благодаря ей более 25 тысяч пользователей получают оперативный доступ к большим данным. Среди пользователей – партнеры ассоциации: собственники, заведующие аптек, первостольники, а также сотрудники АСНА – менеджеры и аналитики компании. О том, как проходила реализация проекта и какую роль в нём сыграло решение Informatica Big Data Management, на сайте DIS Group рассказала Ольга Руднева, руководитель департамента ИТ, АСНА. Кейс вызвал большой резонанс на рынке: многим было интересно узнать подробности его реализации. Ниже Ольга Руднева и Максим Семиренко (куратор проекта со стороны компании DIS Group, которая осуществляла вендорский контроль проекта) делятся этими подробностями.

До внедрения экосистемы управления большими данными слабым местом АСНА были недостаточная полнота и доступность корпоративных данных. Ежедневная загрузка и обработка данных 6,5 тысяч аптек длилась около 18 часов. Процессы интеграции аптечной сети и валидации данных также занимали много времени. Процедура закрытия периода, сверки данных была сложной, постоянно возникали проблемы с загрузкой. В 2018 компании удалось настроить обработку данных с помощью Hadoop и инструментов его экосистемы, а также Informatica Big Data Management (BDM), данные были структурированы, очищены. Была разработана единая подсистема НСИ и мастер-данных в условиях постоянных изменений. Появилась валидация данных, добавлены новые источники, организован собственный ЦОД компании. На 2019 год в АСНА применяются методики машинного обучения для задач консолидации НСИ. Проект продолжает развиваться, сейчас проводится изменение структуры хранения данных под новые требования бизнеса, организовывается архивное хранение, разрабатываются API. Озеро данных также по-прежнему совершенствуется.

Какие задачи выполняет Informatica Big Data Management в экосистеме управления большими данными АСНА? Решение осуществляет парсинг файлов данных (о парсинге данных в Informatica читайте в другой статье блога), проверку формата данных на соответствие, удаление дубликатов строк, преобразование данных в единую структуру, обогащение данных внутренней подсистемой НСИ, архивирование данных. Кроме того, BDM осуществляет процесс pushdown (подробнее о pushdown-оптимизации читайте в статье Как перемещать, выгружать и интегрировать очень большие данные дёшево и быстро? Что такое pushdown-оптимизация?). «Informatica Big Data Management обладает удобным интерфейсом без необходимости писать тысячи строк кода. Было важно не использовать программирование в чистом виде, а иметь возможность управлять обработкой данных из единого центра. Платформа работает с множеством источников информации, разными форматами файлов и экосистемой Hadoop», – отмечает Ольга Руднева. Максим Семиренко, директор по продажам консалтинга, DIS Group, подробнее объясняет преимущества Informatica Big Data Management: «Благодаря Informatica Big Data Management вы сегодня можете создать маппинг для формирования adhoc-отчёта на кластере с использованием последней версии Apache Spark, а завтра поставить этот маппинг на периодическую загрузку в аналитическое хранилище на Greenplum. При этом вам не нужно будет менять для этого команду разработчиков или покупать новые инструменты для работы с системами – вся разработка ведется в Informatica, а среду исполнения выбирает разработчик». После выхода Informatica Big Data Management 10.2.2 АСНА перешла на новую версию решения. В версии BDM 10.2.2:

• Была улучшена стабильность работы решения. Сервис интеграции данных теперь может обрабатывать в 6 раз больше запросов. Также сервис интеграции данных теперь может автоматически переподчинять задачи для выполнения их на кластере Hadoop даже после сбоя в своей работе. Кроме того, теперь доступны REST-запросы, которые отображают статус задачи и другую информацию для мониторинга выполняемых маппингов и другое.
• Была повышена продуктивность разработки. Стала доступна инкрементальная загрузка при массовой загрузке и инкрементальное внедрение. Были улучшены динамические маппинги, теперь они доступны для более широкого перечня типов данных и экосистем, в частности, для AWS и Azure.
• Был сделан больший фокус на промышленный характер решения. Введена поддержка Azul OpenJDK, возможность использования для DevOps и другое.

Максим Семиренко объясняет: «Informatica постоянно развивает свою платформу управления большими данными, выпуская релизы ежеквартально с новыми функциональными возможностями. Например, версия 10.2.2 Informatica BDM поддерживает последние обновления стэка Hadoop и NoSQL, интегрируется в парадигму DevOPS и позволяет использовать Docker для контейнеризации. Постоянное развитие и обновление продукта вендором позволяет получить максимальную отдачу от инвестиций в Big Data, вне зависимости от того какая технология будет выбрана в Open Source стэке. Особенно это актуально для таких сложных проектов таких, как реализованная в АСНА экосистема управления большими данными.

«Сегодня можно с уверенностью сказать, что мы готовы масштабироваться и принимая в ассоциацию неограниченное количество партнеров, менять отрасль, создавая дополнительную ценность для конечного потребителя фармацевтического ритейла», – отмечает Ольга Руднева. Если у вас остались вопросы по проекту, присылайте их на почту info@dis-group.ru Кроме того, уровень стабильности и масштабирования систем был неудовлетворительным. Добавление новых аптек в систему АСНА приводило к значительному увеличению времени её работы. В случае сбоя одного из процессов обработки данных, приходилось стабилизировать работу системы в течение недели. Решение этих проблем было критично для бизнеса АСНА. «Данные – это одна из ключевых ценностей бизнеса», – отмечает Ольга Руднева.

В 2016, когда проект экосистемы ещё был в проработке, данные располагались в двух хранилищах данных, они были «грязными», мастер-данных и единой подсистемы НСИ (нормативно-справочная информация) не было. Функционировал набор разнородных приложений, в том числе активно использовался Access. В 2017, когда проект стартовал, было создано единое хранилище, данные были структурированы. Положено начало для разработки единой подсистемы НСИ, мастер-данных. Для того, чтобы справиться с большими объёмами данных, сотрудники вынуждены постоянно «тушить пожары». Параллельно с тушением пожаров команда старалась построить озеро данных. Изначально планировалось реализовать весь проект на стороне Hadoop с использованием Informatica BDM. Но АСНА пришлось столкнуться с целым рядом сложностей. После проектирования ИТ-архитектуры экосистемы управления данными в нее были внесены значительные корректировки. В ходе реализации проекта команда АСНА пришла к выводу, что данные, которые постоянно подвергаются изменениям (удаление, обновление, вставка в параллельно выполняемые транзакции) лучше было оставить в реляционной СУБД. Также целесообразнее было оставить в реляционной СУБД срез данных для операционных расчетов – «горячие» данные для оперативной аналитики. Кроме того, на собственном опыте команда АСНА убедилась, что NoSQL действительно хорошо справляется с обработкой неструктурированных данных. Но полностью заменить технологию OLAP для выполнения всех задач работы с данными он не может. Также, несмотря на доступность выборки данных в HDFS, скорость выборки не позволяла отдавать её конечному потребителю данных.

В чём отличие между решениями BI и решениями для автоматизации формирования отчётности, что выбрать и как их совместить, рассказывают эксперты Sisense. И решения для автоматизации формирования отчётности, и решения BI помогают повысить эффективность бизнеса. Но делают они это по-разному. Первые позволят сотрудникам компании быстрее и проще формировать отчёты из бизнес-данных без необходимости дополнительно их анализировать. Вторые – упростят исследование данных, а также позволят быстро и бесшовно на основе этого исследования масштабировать отчётность.

Такое решение подойдёт вам, если вы хорошо знаете, какая информация и какие оповещения обычно нужны сотрудникам в вашей компании для ежедневной работы. Рассылка готовых отчётов позволяет бизнес-пользователям быстро и легко получать доступ к информации из системы хранения данных. На основе этой информации сотрудники могут оперативно понять, что произошло в компании и как функционируют различные части бизнеса. Автоматические отчёты могут формироваться в фиксированные интервалы времени. Например, вы можете каждую пятницу получать сведения по продажам за неделю. Также можно настроить, чтобы отчёт формировался при определённых условиях. Например, вам будут приходить уведомления, когда количество неотправленного покупателям товара достигает критичного уровня. Кроме того, решение для автоматизации формирования отчётов позволяет равномерно распределить их рассылку в течение дня. Благодаря этому можно избежать сбоев в пиковые часы, когда отчёты наиболее востребованы.

BI помогает проактивно собирать данные, чтобы понять, почему и как происходят определённые вещи. Например, вы можете собирать информацию из разных источников (данные отдела продаж и данные с производства, данные из CRM-системы), чтобы увидеть, как доход от продаж одного товара влияет на чистую прибыль от другого. Или на основе этой информации заметить, что спад производства происходит в одно и то же время и понять, как это предотвратить. Цель BI – получить полезные инсайты, которые помогут вам лучше увидеть, как функционирует ваш бизнес и при необходимости что-то улучшить.

Можно сказать, что использование BI начинается, когда вы оцениваете готовый отчёт и решаете для себя, как будете действовать на основе информации в нём. Как лучше всего понять свои данные, найти в них связи, закономерности и возможности для повышения рентабельности и производительности? Разные данные нужно качественно сравнить, исследовать их и критически оценить. Правильное решение BI помогает вам интуитивно всё это сделать и понять информацию из практически любого количества источников. Кроме того, в качественных решениях BI есть интерактивные дашборды (дашборд в BI – это визуальное представление наиболее важной информации в рамках одного экрана), которые автоматически обновляются по мере того, как поступают новые данные. Всё это помогает вам делать свой бизнес более дата-центричным. Хотите совместить преимущества системы автоматического формирования отчётности и решения в области BI? Это возможно.

Такие приложения BI позволят извлекать двойную пользу. Вы можете использовать его как единый репозиторий для данных, где разные пользователи могут по-разному анализировать одни и те же данные. Такое приложение станет единым источником данных, в котором сотрудники компании смогут находить для себя информацию, связи между данными и полезные инсайты. С другой стороны, внутри такого решения можно настроить автоматическое составление и рассылку отчётности или вместо этого использовать интегративные дашборды. Пример такого комплексного решения BI c функцией автоматического формирования отчётности – платформа Sisense.

• Онлайн платформа для оплаты медицинских услуг Simplee полностью исчерпала потенциал Excel. Excel-таблица данных компании включала в себя пятьдесят миллионов строк для анализа, составление одного отчёта занимало шесть дней. После внедрения Sisense стало возможным это делать за один день. Процесс сведения всех данных из разных источников в один отчёт стал не только быстрее, но и проще.
• Онлайн-казино Casumo тратило по две недели на подготовку общего отчёта по бизнесу компании, а бизнес-пользователи заваливали ИТ-департамент запросами по индивидуальным отчётам. Благодаря комплексному решению BI Sisense не ИТ-специалисты сами могут формировать отчётность и быстро создавать собственные дашборды. Решение при этом легко масштабируется по мере роста объёмов данных компании и расширения потребностей пользователей.
• Сотрудники ИТ-компании Centre Technologies вручную объединяли данные из множества источников для подготовки отчётности. На это уходили недели, а отчёты получались длинными и сложными для понимания. Компания внедрила Sisense. Теперь отчёты формируются быстро и в понятной пользователям форме. Кроме того, Sisense помогает автоматизировать и верифицировать сложные процессы выставления счетов в компании.
• Маркетинговому агентству полного цикла The Lukens Company (TLC) нужно было обрабатывать данные очень большого объёма для себя и своих клиентов. Sisense обеспечил сотрудников компании и её клиентов быстрым и лёгким доступом к отчётам. Продуктивность работы компании выросла на 25%, компания смогла вывести на рынок новые продукты и услуги.
• Онлайн-маркетплейсу Juwai.com было необходимо формировать отчёты из множества источников, текстовые данные в которых хранились в формате китайских иероглифов и букв латинского алфавита. Новые данные при этом генерировались очень быстро. Sisense помог автоматизировать формирование отчётности сделать этот процесс гибким, оперативным и легко подстраивающимся под изменения в реальном времени.
• Популярный сайт для поиска жилья для студентов Kamernet также решил автоматизировать формирование отчётности с помощью комплексного решения BI Sisense. Автоматизация позволила большему числу сотрудников компании создавать собственные отчёты, анализировать долю компании на рынке, улучшать понимание эффективности бизнеса без увеличения нагрузки на ИТ-отдел.

Хотите узнать больше про BI? Присылайте свои вопросы на почту info@dis-group.ru

Олег Гиацинтов, технический директор компании DIS Group, приглашает на новую серию Deep-dive вебинаров «Ныряем в данные». Первый вебинар пройдет 5 сентября в 16:00, необходима предварительная регистрация. Примите участие во всех вебинарах серии и получите приглашение на ужин с экспертами в области управления данными! Регистрация и подробности по ссылке www.dis-group.ru/content-centr/events/

Можно много от кого услышать, что «люди – самый важны актив бизнеса». Но мне кажется, что это убеждение немного устарело. Я часто общаюсь с топ-менеджерами разных компаний. Многие из них считают, что человеческий капитал уже уступил пальму первенства другому активу – данным. Именно поэтому позиция директора по данным во многих организациях становится ключевой. Рост роли директора по данным свидетельствует о том, что организации (особенно в финансовом секторе) придают большое значение данным. Всё шире распространяется понимание, что данные – это всё-таки актив. Сейчас у директоров по данным появилась возможность определять, в каком направлении будет развиваться организация. А также определять отношения своей компании с миром, определять ассортимент продуктов и услуг и то, каким будет будущий успех. В недавнем отчёте консалтинговой компании Capgemini отмечается: «финансовым организациям необходимо стать дата-центричными» не только, чтобы расширять формирование регуляторной отчётности, но и из-за «исключительной конкуренции за активы клиентов и их лояльность».

Как написано выше, данные – это актив компании, поэтому и относиться к ним нужно как к активу. Их нужно защищать, поддерживать и курировать, нужно управлять ими. Это поможет увеличить ценность данных и извлечь из них пользу. В том, что извлечь из данных прибыль возможно, ни у кого не осталось сомнений. Вопрос только в том, как быстро бизнес сможет это сделать. На самом деле, в руках директора по данным оказался самый дорогой и важный актив во всём бизнесе. Но контролировать этот актив CDO сможет только если управление данными и Data Governance в организации будут строиться на следующих принципах:

• Данные хорошо защищены;
• Понятно, где какие данные находятся;
• Данные хорошо очищены.

Рассмотрим каждый пункт по отдельности.

Не нужно относиться к защите информатизации как к обязанности, навязанной регулятором. Прежде всего, безопасность данных должна быть важным приоритетом из-за того огромного ущерба, который будет нанесён организации в случае утечки.

Кажется очевидным: директор по данным должен знать, где какие данные хранятся. Но мне приходилось сталкиваться со множеством организаций, которые постоянно не могут найти свои данные. Информация часто генерируется в различных департаментах, системах и форматах. Сведения рассредоточены по организации, общей картины ни у кого нет. Нет и контроля над данными, потому что они аккумулируются органически. Из-за этого большая часть собранной в компании информации не используется. А если кто-то решит её использовать, то только выгрузка сведений приведёт к большой потере времени и денег.

Данные требуют пристального внимания, чтобы гарантировать, что они всегда актуальные и релевантные. Важно, чтобы данные всегда отображали полную картину, а не её часть. Пользователи должны быть уверены в данных и доверять им. У сотрудников компании всегда должна быть возможность получить доступ к необходимой информации и оптимально её использовать на благо компании. Данные, как и многие другие активы, – сырой материал, который нужно очистить, чтобы он стал ценным.

Я уже говорил, что позиция директора по данным сейчас на подъёме. И мне кажется, что эта роль в компаниях будет только расти пока не достигнет стратосферы. Позиция директора по данным станет важнейшей в бизнесе, когда бизнес признает, что он дата-центричный, что его определяют данные и что он зависит сильно от них зависит. CDO не просто будет играть значимую роль в управлении компанией, но и займёт самое удобное кресло рядом с CEO. Ранее я писал, что компании должны выстраивать свои ИТ-архитектуры так, чтобы принцип «сначала данные» стоял во главе угла. Теперь мне кажется, что пришло время пойти дальше: выстраивать уже бизнес-архитектуры вокруг этого принципа. И управлять такими архитектурами должны директора по данным. Также читайте больше по теме в статье Кто такой CDO? «Chief Data Officer» или «Chief Digital Officer»? статье Директора по данным Банка ВТБ, «Ростелекома», «МегаФона», Газпромбанка, X5 Retail Group: роль CDO изменилась, статье Позиция CDO – новые возможности для женщин в области ИТ и работы с данными.

Должность CDO (Chief Data Officer) новая и непростая. Как эффективно организовать свою работу на этой должности? Нестандартные советы будущим и действующим CDO даёт Стефан Зодер, эксперт Infonomics и практики ИТ бизнес-консалтинга корпорации Informatica. Стефан начал заниматься кэндо (японское боевое искусство, фехтование на бамбуковых мечах) и понял, что оно имеет много общего с деятельностью CDO. В своей статье Стефан рассуждает о том, чему кэндо может научить директора по данным. Если вы до сих пор не до конца понимаете, кто такой CDO и какие задачи он выполняет, читайте статью Кто такой CDO? «Chief Data Officer» или «Chief Digital Officer»?

А также забудьте о своём опыте в NoSQL, экосистеме Hadoop или OBIEE (Oracle Business Intelligence Enterprise Edition). Всё это полезные инструменты, но они не помогут вам выиграть схватку один на один (на важных переговорах или при внедрении сложной инновационной технологии). Тут значение будет иметь то, кто ты на самом деле (или кем ты на самом деле не являешься), против кого или чего ты сражаешься, и какие ранее случившиеся вещи могут на это повлиять. Я начал заниматься Кэндо три года назад. Я с удивлением заметил, что:

• Не всегда веду себя правильно во всех ситуациях;
• Часто успех зависит от того, как хорошо я могу следить за поведением соперника и предсказать на основе своих наблюдений за ним его следующее действие;
• Важно не замечать помехи на заднем фоне и сконцентрироваться.

И, даже если я нахожусь в прекрасной форме, пропущенный удар бамбуковым мечом от подростка или пенсионера быстро напомнит мне, что мне ещё тренироваться и тренироваться.

Мне кажется, что эти наблюдения подходят и для других видов спорта, где предполагается противостояние «один-на-один». В таких видах спорта соперники должны изучить друг друга перед тем, как нанести следующий удар или сделать следующий ход. Я считаю, что все восточные виды спорта предполагают выносливость, силу, соответствующий настрой и стратегию с большим фокусом на физические аспекты. Кэндо – это на 90% стратегия и настрой. Именно поэтому в этом виде спорта можно преуспеть и в шесть, и в шестьдесят лет. В этом смысле это боевое искусство можно назвать шахматами с бейсбольными битами в руках. В кэндо вы начинаете изучать своего соперника с той самой секунды, когда впервые видите его. Всё, что вы делаете, напрямую обусловлено тем, что вы чувствуете, что вы думаете, как двигается ваш оппонент, что он чувствует и думает. Задача тут не в том, чтобы быстро среагировать на поднятую руку, а в том, чтобы на основе самых частых движений соперника предсказать, какое будет следующим. К тому времени, как ваши глаза (и только через 10 секунд – мозг) зафиксирует, что соперник хочет ударит вас правой рукой, будет уже поздно реагировать на это.

Мне кажется, что похожие принципы стоит применить в своей работе и CDO. Не забывайте:

• Вы не можете всё знать в области управления данными, это просто невозможно с современными темпами развития.
• Кто-то другой всегда может знать то, что вы не знаете, поэтому каждый дополнительный бит важен, чтобы предсказать будущее. Поэтому очень важно постоянно следить за другими (как я слежу за соперников в кэндо) и постоянно обучаться.
• Вам необходимо научиться фокусироваться на главном и уметь устранить шум вокруг.

Все проблемы с данными до сих пор не решены. Но постоянно появляется что-то новое, что позволяет с этими проблемами справляться лучше. Научиться этому новому можно, когда вы общаетесь с теми, кто имеет опыт решения задач, похожих на ваши (не обязательно в той же индустрии или отделе). Кроме того, у вас может появиться множество недоброжелателей из отдела закупок, отдела слияний и поглощений, нового руководства. Новые приложения для управления данными тоже могут стать вашими недоброжелателями. Задача CDO будет состоять в том, чтобы такого недоброжелателя вовремя обнаружить и предсказать его «следующее движение». Нужно постараться быть всё время на шаг впереди, чтобы избежать ошибок, переделок и неправильных решений.

• Постарайтесь собрать как можно больше различных точек зрения на ситуацию, даже те, которые не полностью соответствуют вашей задаче. Старайтесь больше узнать об опыте коллег даже из смежных областей. Клиент остаётся клиентом в любой компании, а ваша бизнес-модель может оказаться не такой уж и уникальной.
• Внимательно следите за тем, как меняются другие компании, начинают ориентировать свой бизнес на данные, становятся цифровыми. Это могут быть клиенты, партнёры или организации, которые вызывают восхищение.
• Выясните, что является основными активами и какие цели актуальны сейчас для организации, что лучше всего работает. Постарайтесь фокусироваться на них.

Предлагаю вам внимательно обдумать все эти мысли. Какие-то мысли могут звучать немного эзотерическими. Но давайте представим, как ваша организация должна выглядеть через пять лет и как она будет зарабатывать деньги. Ей явно не пойдёт на пользу, если вы сейчас будете перенаправлять все ресурсы на решение только что возникших проблем, игнорировать важнейшие проблемы с данными и накапливать проблемы и только потом решать их. Хотите узнать больше о роли CDO? Читайте статью Директора по данным Банка ВТБ, «Ростелекома», «МегаФона», Газпромбанка, X5 Retail Group: роль CDO изменилась. Также по теме статья Позиция CDO – новые возможности для женщин в области ИТ и работы с данными.

Интеграция данных имеет большое значение для бизнеса, подробнее об этом вы можете прочитать в другой статье блога. О том, какие актуальные проблемы управления данными позволяет решить хаб для интеграции данных (Data Integration Hub) рассказывает Коби Гол. Коби отвечает в Informatica за Data Integration Hub (хаб для интеграции данных, который работает по принципу публикации-подписки и занимается оркестрированием гибридной интеграцией данных).

Всего несколько лет назад архитектура интеграции данных была простой. Если вы хотели переместить данные из одной системы в другую, нужно было просто вручную настроить ETL-процессы для этого. Сейчас большинство компаний проводит цифровую трансформацию. Для того, чтобы извлечь пользу из данных, организации стремятся провести интеграцию данных из сотен систем-источников и систем-приёмников (на собственных серверах и в облаке). Данные эти поступают с разной частотой, с разной структурой и разных типов. Эти особенности увеличивают существующие проблемы интеграции данных и создают новые. Чаще всего компании сталкиваются с такими проблемами:

• Включение новых приложений в уже действующую архитектуру может требовать много времени и денег;
• Оркестровка и управление интеграцией данных оказывается сложной и нецентрализованной;
• Уже используемые процессы интеграции данных во многих компаниях запутанные, как комок волос;
• Данные хранятся в разрозненных системах;
• Интеграция данных всё ещё требует специальных навыков, недоступна бизнес пользователям.

Какие из перечисленных проблем актуальны для вас? Напишите об этом на почту info@dis-group.ru

Чтобы все эти проблемы решить, компаниям стоит начать применять современную парадигму интеграции данных. Эта парадигма должна включать в себя:

• Новую модель интеграции данных, которая уменьшает сложность интеграции данных и приложений и оптимизирует её;
• Новую архитектуру, которая позволит ИТ-администраторам и разработчикам управлять потоками данных и синхронизировать эти потоки, а также позволят системам реагировать на события с любой частотой (от обработки потоковых данных в реальном времени до заранее запланированной пакетной обработки).
• Простой и удобный в использовании механизм интеграции данных, который поможет развить демократизацию данных и позволит неразработчикам самостоятельно пользоваться данными внутри организации.

В частности, можно использовать отдельное решение – хаб для интеграции данных. Данные из различных систем будут поступать в централизованный хаб, а оттуда распределяться по системам-приёмникам. Хаб для интеграции обеспечивает:

• Эффективную интеграцию данных в облаке и на собственных серверах компании;
• Согласованную синхронизацию данных в приложениях;
• Стандартизацию данных в разрозненных системах;
• Управление новыми точками интеграции данных;
• Управление интеграцией данных в совершенно разных системах;
• Доступ к данным для бизнес-пользователей.

О примере такого хаба – Informatica Integration Hub – можно прочитать здесь. Читайте также статью о самых распространённых ошибках при интеграции данных и о драйверах развития интеграции данных. Когда речь заходит о Big Data, интеграция данных требует особенных подходов и инструментов. Читайте об этом в другой статье блога.