Список литературы на лето для успешного CIO. Часть 2

8 июня 2019
Новое лето – новый список профессиональной литературы для CIO (Chief Information Officer, ИТ-директор) от Грема Томпсона. Грем – старший вице-президент и директор департамента информационных технологий корпорация Informatica. Пропустили в прошлом году список от Грема? Посмотрите его в статье Список литературы на лето для успешного CIO.

«Метод стартапа» для CIO

Эрик Рис – автор книги «Бизнес с нуля. Метод Lean Startup для быстрого тестирования идей и выбора бизнес-модели». Эта книга обязательна к прочтению для всех предпринимателей, которые недавно открыли свой бизнес, связанный с новыми технологиями. Я предлагаю прочитать его вторую книгу – «Метод стартапа». Она написана для лидеров компании, которые продвигают перемены и стремятся создать институты инноваций в крупных организациях. CIO – несомненно, среди таких лидеров. В основе «Метода стартапа» – реальная практика, опробованные «в полях» советы по превращению стартапов в большие бизнесы.

Культура постоянной трансформации для проектов CIO

Рис рассказывает о том, как создать культуру постоянной трансформации. Он считает, что она жизненно необходима для долгосрочного успеха, особенно перед лицом стремительных, прорывных изменений. Но по мере взросления молодые бизнесы теряют свой предпринимательский дух, который можно описать как «свистать всех наверх!». По сути, организации постепенно перемещаются из зоны инновационных прорывов в зону, где креатив уже умер. О постоянной трансформации речи уже не идёт. «Когда сотрудники подчиняются традиционной организационной структуре и мотивациям, результатом этого становится определённый бюрократический режим работы», – пишет Рис. Не знаю, как вы, но я ни разу не был на встрече, на которой кто-то сказал бы: «Нашей компании просто нужно больше бюрократии». Рис определяет пять принципов сохранения предпринимательского духа и гибкости. Эти два качества большинство бизнесов имеет при создании и теряет по мере развития. В книге объясняется, как построить и управлять командами новаторов, поощряя дух предпринимательства, начиная с самого низкого уровня в организации. Результатом этого должно стать то, что компания может постоянно переписывать свою ДНК в ответ на новые и разнообразные вызовы, которые перед ней встают. А после стандартной мотивационной речи о создании инновационной культуры Рис рассматривает проблему глубже и пытается посмотреть на неё свежим взглядом.

Как CIO мотивировать новаторов

Рис подчёркивает, что он не может представить себе такую компанию, где каждый сотрудник, как по волшебству, превратиться в новатора. Но может представить такую, в которой есть структура и управленческие техники, которые мотивируют разные команды работать так, как это принято в стартапах. Ключевая задача здесь – помочь внутренним предпринимателям понять свой настоящий потенциал. Выиграют те, кто сможет создать культуру прорыва. Поэтому определите новаторов и выделите им бюджет и полномочия для создания «мини-стартапов» внутри бизнеса. Кроме того, нужно будет объяснить менеджерам, почему некоторые сотрудники в организации работают и отчитываются за работу немного не так, как остальные. Рис объясняет, как создать такую организационную структуру. Он даёт советы по тому, как преодолеть бюрократические препятствия, которые загоняют инновации в тупик и заставляют компании устанавливать границы своего роста. Среди таких советов – создать специальные комиссии для того, чтобы сделать внутренние стартапы и руководство ближе.

Маршрут трансформации бизнеса для CIO

Самое интересное – в середине книги. Рис описывает «маршрут к трансформации», в нём показано, как бизнес может развивать эксперименты, выстраивать кросс-функциональные команды, определять KPI, которые будут поддерживать дух предпринимательства в различных отделах. После этого автор рассказывает, как перейти от «критической массы» к «расширению масштабов», потом – к созданию «глубоких систем», которые внедрят такое видение в ДНК всей компании. Книга приправлена примерами и историями из реальной жизни Airbnb, Dropbox, Toyota и других. Также в работе Риса – советы от Amazon по тому, как создать идеальную команду. А также – поучительные истории о том, как General Electric пытался привести в соответствие свою систему оценки сотрудников с новой культурой, где неудачи также поощрялись, как успехи. Нельзя сказать, что книга – полное руководство к построению вечноцветущей компании. Но она помогает определить вакуум наверху большинства структур управления и предложить ценную точку старта для любого, кто хочет стать более хорошим лидером и мудрым новатором. Что вы думаете о таком подходе? Подходит ли он для деятельности CIO? Возможно ли внедрить стремление к предпринимательству и инновациям в зрелые корпорации? Как это эффективнее всего сделать? Есть интересные идеи и истории успеха? Присылайте их на почту info@dis-group.ru

Рекомендуем также

Позиция CDO — новые возможности для женщин в области ИТ и работы с данными

4 июня 2019
Пока не знаете, кто такой Chief Data Officer (директор по данным, CDO) и какие у него обязанности? Читайте статью Кто такой CDO? «Chief Data Officer» или «Chief Digital Officer»? Хотите узнать, как обстоят дела с этой профессией в России? Читайте статью Директора по данным Банка ВТБ, «Ростелеком», «МегаФона», Газпромбанка, X5 Retail Group: роль CDO изменилась. О возможностях, которые открывает перед женщинами позиция CDO, рассуждает Дженнифер МакГинн. Дженнифер – менеджер по продукту в отделе маркетинга Informatica. Она отвечает за Informatica MDM и продукты для управления данными клиентов.

Первая программистка и преобладание мужчин в ИТ

Вы знали, что первым программистом была женщина? Об этом сейчас помнят немногие. В XIX веке математик Ада Лавлейс первой в мире создала описание вычислительной машины и разработала для неё программу. Считается, что Ада первая определила потенциал «вычислительной машины» и стала первым программистом. Что же сейчас? Оглянитесь на любой встрече, на которой обсуждаются ИТ-вопросы. Вам будет сложно не заметить дисбаланс: мужчин на встрече будет больше. Как получилось так, что сфера информационных технологий началась с женщин, а через несколько веков они почти полностью исчезли из неё?

Инициативы в поддержку девушек в ИТ не меняют ситуацию

Сейчас многие организации стараются поддержать представительниц прекрасного пола в точных науках. Исследования показывают, что многие девочки интересуются точными науками, но к 12-14 лет этот интерес угасает. Именно поэтому программы поддержки часто нацелены именно на девочек этого возраста. Среди таких программ – «Девушки, которые пишут код» и «Informatica: следующие 25 лет». Идея этих программ – поддержать девушек в точных науках как можно раньше, чтобы у них была возможность выбрать карьеру в этой области. Программы по поддержке девушек работают. Растёт число тех из них, кто выбирает для себя карьеру исследователей и инженеров. Но, в ИТ и в сферах, связанных с работой с данными, число представительниц прекрасного пола только уменьшается. И это при том, что в 2012 году издание Harvard Business Review назвало профессию data scientist самой сексуальной профессией 21 века. В 1990 году женщины составляли 35% сотрудников, занятых в ИТ-сфере и математике. В 2013 – только 26%. И это несмотря на то, что именно прекрасная половина человечества сейчас составляет 57% всей рабочей силы в мире, согласно исследованию американской ассоциации женщин, закончивших колледж – AAUW.

Среди CDO много женщин

Эту загадку сложно разгадать. Всё больше женщин на рынке труда, но всё меньше из них работает в ИТ и с данными. Однако, если мы посчитаем, сколько представительниц прекрасного пола занимает должности CDO, окажется, что их довольно много. Сама должность директора по данным сравнительно недавно стала частью высшего руководства компании. Многие из первых CDO были именно женщинами. Возможно, это связано с тем, что недавно сформировавшаяся позиция CDO требует хороших социальных компетенций. Среди них – коммуникативные навыки, навыки совместной работы и навыки управления бизнес-программами, кроме того, важно уметь «думать масштабно». Всё это традиционно (хоть и стереотипно) – более женские компетенции. Основные задачи CDO – соединить технологии и бизнес, а также построить дата-центричную культуру. Обе задачи подразумевают проведение серьёзных перемен в организационной структуре. Для представительниц прекрасного пола эти перемены значат новые возможности войти в топ-менеджмент компании. По сути, не имеет значения, почему среди первых CDO было много женщин. Сейчас директора по данным становятся всё более востребованными по мере того, как организации стремятся стать более дата-центричными. И для прекрасной половины человечества – это возможность добиться успеха в мире ИТ и данных. Хотите узнать, как эффективно организовать деятельность CDO в компании? Смотрите вебинар Бизнес-процессы – что первично? Офис Chief Data Officer (CDO). Кто? Где? Зачем?. Среди спикеров вебинара – Александр Тарасов, управляющий партнёр DIS Group. Эксперт одним из первых в 2014 году предсказал распространение должности CDO в российских компаниях.

Рекомендуем также

Управление знаниями: 3 составляющие успешной стратегии

3 июня 2019
Качественная стратегия управления знаниями может помочь добиться высоких бизнес-результатов: повысить уровень клиентского опыта, снизить операционные затраты и увеличить продуктивность работы. Эксперты KMS Lighthouse рассказывают, как правильно такую стратегию разработать. Прежде чем вы приступите к разработке стратегии управления знаниями, задайте себе несколько важных вопросов. Как обстоят дела с управлением знаниями в компании сейчас? Чего вы планируете достичь благодаря новой стратегии? Что поможет вам добиться успеха? Другими словами, важно понять текущий статус управления знаниями, цели стратегии и план действий для достижения этих целей. Главная проблема в том, что каждый бизнес уникальный, у каждого есть свои особенности. Универсального решения для всех не существует. Но несколько моментов будут актуальны для любого бизнеса. Это корпоративная культура управления знаниями, технологии и сравнительный анализ.

Корпоративная культура управления знаниями

Корпоративная культура играет важнейшее значение для стратегии управления знаниями. Именно корпоративная культура определяет процедуры и процессы, поведение сотрудников компании. Кроме того, она позволяет сформировать стиль мышления, который будет ориентирован на сбор знаний, их распространение и управление ими. Чтобы понять, насколько ваша корпоративная культура поможет реализовать вашу стратегию управления знаниями, задайте себе такие вопросы:
  • Поощряется ли в вашей компании распространение важных знаний среди коллег?
  • Стимулируете ли вы руководителей компании делиться знаниями?
  • Происходит ли обмен знаниями между разными бизнес-подразделениями?
Эти вопросы – только начало. Но ответив на них, вы сможете поставить для своей стратегии управления знаниями реалистичные цели. Может быть, обмен информацией между бизнес-подразделениями имеет большое значение, а часть этой информации должна быть защищена? Приоритетами вашей стратегии должны стать повышение эффективности обмена информацией и её защита.

Технологии для управления знаниями

Для успешной стратегии управления знаниями нужно получить комплексное понимание существующей корпоративной ИТ-экосистемы. Чтобы это понимание получить, ответьте для себя на следующие вопросы:
  • Есть ли у вас актуальный план ИТ-архитектуры в компании?
  • Какой необходим уровень интеграции между системами (интранет, система управления контентом, система управления аккаунтами пользователей)?
  • Какие технологии кажутся вам оптимальными для вашего случая?
  • Какими возможностями по разработке и поддержке решений располагает ваша компания?
  • Есть ли у вас специально выделенные для управления знаниями ИТ-специалисты и что они умеют?
  • Есть ли у вас план контроля доступа ко всей ИТ-экосистеме? Если нет, с какими проблемами из-за этого вы можете столкнуться?
В зависимости от размеров вашей компании ИТ-инфраструктура может быть минимальной или достаточно масштабной и сложной. В любом случае вам будет нужно всеобъемлющее понимание действующей системы, её пользователей, функциональных возможностей, ограничений и другое.

Сравнительный анализ управления знаниями

Вам будет необходимо сравнить возможности компании в области управления знаниями со стандартами, принятыми в индустрии. Это может стать стимулом для руководства и полезным инструментом трансформации управления знаниями. Сравнительный анализ поможет вашим сотрудникам визуализировать потенциал управления знаниями в компании и понять уровень зрелости организации. Для сравнения с индустриальными стандартами можно использовать различные категории, это поможет определить области и возможности для роста. Именно сравнительный анализ даст комплексное понимание текущего статуса с управлением данными. А понимание текущего статуса даст возможность поставить чёткие цели и разработать план для их достижения. Также читайте по теме управления знаниями – Как эффективно организовать работу с системой управления знаниями. 4 совета от экспертов. А также – Голосовой помощник Алиса теперь сам ищет ответы в корпоративных базах знаний.

Рекомендуем также

«Золотые записи» в MDM-системе: что это и как настроить их построение

7 мая 2019
Понятие «золотая запись» в MDM-системе подробно объясняет Дженнифер Вэйланд, ведущий руководитель целого ряда решений в Informatica. Также эксперт рассказывает, как эффективно наладить процессы создания таких записей. Пока не знакомы с терминами мастер-данные и MDM-система? Читайте подробное объяснение в статье Управление данными IoT с помощью MDM-систем. Больше реальных результатов управления данными с помощью MDM-систем ищите в статье: Мастер-данные в цифрах: 12 реальных результатов внедрения MDM-системы по ссылке.

Что такое золотая запись в MDM-системе?

Понятие «золотая запись» играет важнейшее значение в мире мастер-данных. Если организовать данные в формате таких записей, это позволит постоянно иметь доступ к очищенной, подтверждённой, полной информации в важнейших для компании доменах. Домен данных в контексте MDM-систем – предметная область, тип мастер-данных. Чаще всего компании, которые работают с клиентами, начинают с управления доменом клиентских мастер-данных. «Золотая запись – это единая, точно определённая версия всех объектов данных в экосистеме организации. В таком контексте золотую запись можно также назвать «единой версией правды». Под «правдой» подразумеваются те факты, к которым пользователи данных могут обратиться, когда хотят быть уверенными, что используют правильную информацию. Золотая запись охватывает все релевантные данные во всех системах внутри организации».

Настройка построения золотых записей в MDM-системе

При применении MDM-системы основную сложность создаёт именно настройка автоматического потока операций по созданию золотых записей. Основная загвоздка – правильное сопоставление дубликатов информации об одном и том же объекте и объединение этих дубликатов. Например, имя клиента у вас могут фиксировать сразу две системы: система регистрации клиентов и система подачи жалоб. Не всегда легко понять, в какой из них информация об имени клиента будет наиболее достоверной. А может существовать ещё третья система, которая надёжно фиксирует адрес, но имя клиента в ней отсутствует. Что важно для настройки сопоставления и объединения?
  • MDM-система охватывает все источники релевантной информации в компании.
  • правильно определено, какие из этих источников более надежны для заполнения конкретного поля в таблице MDM-системы.
  • определены критерии, на которые нужно ориентироваться при выборе той системы, информация из которой попадёт в MDM-систему.

С чем сталкивается MDM-система

Пример двух дубликатов ниже:
ФамилияИмяИдентификационный номер клиентаТелефонный номерНомер домаУлицаШтат
ВэйландДженифер2012157065842123Мэйн стритМэн
ВэйландДженн2012112078675309123Мэйн стритМэн
В дубликатах часть информации совпадает, часть – нет. Это значит, что автоматически без предварительных настроек MDM-система их не объединит.

Автоматизация работы благодаря MDM-системе

Давайте представим, что мы знаем, что первая информация для первого дубликата была получена из очень надёжного источника в том, что касается имени и адреса. А на источник данных для второго дубликата можно положиться в плане точности идентификационных номеров клиентов и их номеров телефона. В качественной MDM-системе обязательно будет набор инструментов, который позволит получать информацию для создания одной золотой записи из нескольких источников. А также – возможность самостоятельно задавать критерии сопоставления и слияния дубликатов. Применимо к нашему примеру, имя и адрес MDM-система возьмёт из первого дубликата, идентификационный и телефонный номер – из второго. Результат – ниже.
ФамилияИмяИдентификационный номер клиентаТелефонный номерНомер домаУлицаШтат
ВэйландДженифер2012112078675309123Мэйн стритМэн
Процессы сопоставления и слияния становятся особенно интересными, когда нет понимания, какой из источников информации для конкретного поля более надёжный. Поэтому иногда потребуется вручную определять, данные их какой записи должны попасть в золотую. Поэтому важно, чтобы в MDM-системе были инструменты для управления потоком операций. Эти инструменты должны распределять спорные дубликаты среди data stewards (кураторы данных). Кураторы решают, основываясь на своём опыте и знаниях, информация из какого дубликата должна попасть в конкретное поле. Также в MDM-системе должен быть механизм согласования перед тем, как слияние записей полностью осуществится и будет создана золотая.

Чек-лист для создания золотых записей в MDM-системе

Для того, чтобы настроить процессы максимально эффективно, проанализируйте ситуацию в своей компании по чек-листу ниже:
  • Какую информацию вам нужно фиксировать для золотой записи?
  • В связи с этим – есть ли у вас информация, которая не очень важна для этого конкретного домена, но может быть интересной, если установить связи между записями?
  • Какие у вас есть источники данных для создания золотых записей?
  • Все ли источники данных интегрированы на текущий момент? Как быстро появляется доступ к новым или отредактированным записям?
  • Какие источники самые надёжные и для каких полей?
  • Какого порога точности достаточно вашей компании при автоматических слияниях дубликатов?
  • Какой процесс согласования нужен вам перед слиянием дубликатов? Кто должен посмотреть на дубликаты и рекомендации по их слиянию перед завершение процесса слияния и создания единой версии правды?
Ответив себе на эти вопросы, вы сможете оптимально настроить MDM-систему. Остались вопросы? Задайте их ведущим специалистам по управлению мастер-данными и MDM-системам по почте info@dis-group.ru

Рекомендуем также

Как эффективно организовать работу с системой управления знаниями. 4 совета от экспертов

25 апреля 2019
Благодаря единой системе управления знаниями можно добиться впечатляющих успехов: сократить операционные затраты, повысить уровень удовлетворённости клиентов своим сервисом и другое. Чтобы система управления знаниями приносила максимальную пользу, материалы в ней должны постоянно обновляться и улучшаться. Также важно постараться постоянно оптимизировать и автоматизировать процессы работы с ней. Но из-за этого система управления знаниями может становиться запутанной, полной неточных сведений, неудобной для пользователей. Как этого избежать? Эксперты KMS Lighthouse дают советы.

Создайте маршрут поиска по существующим статьям и маршрут добавления нового материала

Постоянно обновляющаяся и расширяющаяся система управления знаниями может показаться запутанным клубком общих папок и документов. Сотрудники могут не знать, как искать в ней информацию или допускать ошибки при загрузке нового материала. Если ваши сотрудники именно так видят вашу систему управления знаниями, мотивации добавлять новые материалы в неё у них не будет. Поддерживайте свою систему управления знаниями в порядке во время её расширения. Порядок в базе не только мотивирует сотрудников добавлять новый материал. Он помогает им выполнять свои непосредственные обязанности. Какой оптимальный маршрут загрузки новой статьи? В вашей системе управления знаниями обычно есть функционал загрузки новых документов и выбора секций, в котором они будут размещены. После загрузки документа у отдельно определённых пользователей появится возможность рецензировать, доработать и опубликовать статью. Даже черновики можно загружать, чтобы опубликовать их позже.

Правильно распределите роли в системе управления знаниями

Не нужно сужать круг тех, кто может прислать новую информацию. Вместо этого чётко опишите процессы рецензирования и публикации нового контента. Это нужно, чтобы пользователи системы управления знаниями видели самый релевантный материал по интересующему вопросу. Распределите среди пользователей системы управления знаниями роли: определите, у кого есть функции создавать, рецензировать и публиковать информацию. Мотивируйте сотрудников постоянно создавать новые материалы для системы управления знаниями.

Дайте пользователям возможность оценивать статьи, продвигать лучшие

Продвигайте в системе управления знаниями статьи, которые чаще всего используются для выполнения бизнес-задач. Помните, самая используемая информация должна быть в начале списка статей и в его середине. Такая информация должна быть более видимой, чем остальная, её должно быть легче найти. Обеспечьте пользователям возможность оценивать полезность статей, решать, какая статья попадёт в начало списка.

Мониторьте использование системы управления знаниями, опираясь на данные

Используйте дата-центричный подход к оценке использования системы управления знаниями и того, как с ней работают сотрудники. Собирайте статистику по тому, сколько вопросов и ответов было создано, сколько просмотров у каждой статьи, сколько пользователей подписано на обновления в ней, сколько проголосовало за неё, сколько оставило свои комментарии. Эффективная система управления знаниями умеет собирать такие данные, анализировать их. А также давать рекомендации по тому, о чём стоит создать новую статью, если проблема клиента так и не была решена. Это постепенно поможет закрыть все пробелы в вашей системе управления знаниями. Поддержание чистоты системы управления знаниями должно быть одной из основных целей компании. Остались вопросы по тому, как это обеспечить? Напишите их на почту info@dis-group.ru и эксперты KMS Lighthouse ответят на них.

Рекомендуем также

Интеграция данных: нужно понять ее ценность для бизнеса

18 апреля 2019
В отличие от интернета вещей или Big Data интеграция данных сейчас не пользуется большим интересом. Однако она помогает решать конкретные бизнес-задачи. Интересным примером делится Дэвид Линтикум – старший партнёр в Cloud Technology Partners, международный эксперт и автор книг по ИТ. Также читайте статью Дэвида о важности стратегического подхода к интеграции данных.

Компании игнорируют интеграцию данных, потому что не понимают её ценность

Я работаю консультантом. Среди моих клиентов – совершенно разные комании. С большинством мы начинаем общение с того, что определяем ценность применения той или иной технологии. Несложно заметить, что особенной популярностью сейчас пользуются вычисления в облаке, включая технологии Big Data и IoT. Именно в сторону их внедрения сейчас движется большинство компаний. Нужно понимать, что без эффективной интеграции данных такое движение не принесёт плодов. А именно о ценности интеграции данных чаще всего компании забывают. А зря, потому что эту ценность очень легко понять и измерить.

Интеграция данных для точного планирования

У меня был один клиент, бизнес которого строился на производстве товаров и их продаже оптовым закупщикам и дистрибуторам. Свои запасы на складе он планировал на основе спроса в прошлые годы. Принимались во внимание сезонные закономерности в закупках, закономерности поведения клиентов и другое. На основе этого планирования компания закупала сырьё для своих товаров. Для управления производственными процессами и закупками для них существовала отдельная система. Это очень распространённый подход к планированию. Но чаще всего он оказывается неэффективным. В случае моего клиента его компания постоянно или производила слишком много товара, или слишком мало. Если они производили больше, чем нужно, то несли дополнительные расходы. Если меньше, то не успевали за спросом и упускали возможности продажи. Вы сами можете догадаться, что для эффективного планирования моему клиенту не хватало именно решения по интеграции данных. Такое решение они в конце концов и внедрили. Оно связало систему управления производством и закупками и системы, которые фиксируют заказы от клиентов. Теперь в первой почти в реальном времени отображаются заказы клиентов. Ориентируясь на эти заказы, компания планирует свои производственные процессы и закупку сырья. Теперь они производят ровно то количество товара, на которое есть реальный спрос. В дополнение к инструменту интеграции данных можно было бы использовать предиктивную аналитику для лучшего результата. Но мой клиент решил ограничиться системой мониторинга запаса товаров в реальном времени, этот подход оказался значительно дешевле.

Выгода от интеграции данных

Что дала моему клиенту интеграция данных? Во-первых, она позволило ему повысить качество клиентского опыта. Оптовые закупщики и дистрибуторы могут быть уверены, что все их заказы будут выполнены, товара будет достаточно. Во-вторых, у моего клиента нет необходимости хранить дополнительную партию товара на складе. Это уменьшает его расходы. При правильном использовании такой метод позволяет идеально соотносить запасы товара на складе и спрос на этот товар. Это значит, что на предприятии не будет невостребованного сырья, а рабочее время сотрудников будет оптимально спланировано. Кроме того, такое предприятие сможет предлагать своим клиентам дополнительные возможности по кастомизации отдельных партий, о чём раньше не могло быть и речи. Когда мой клиент подсчитал всю выгоду от интеграции данных, оказалось, что он экономит 5 000 000 долларов в месяц. А его годовая прибыль после внедрения инструмента для интеграции данных выросла на 5 миллиардов долларов. Предложенный мной пример не универсальный. В других компаниях ценность интеграции данных может быть другой. Но точно не вызывает сомнений, что эта ценность есть и она может быть очень значительной. Иногда, чтобы её понять, нужно только оглянуться вокруг себя.

Рекомендуем также

Зачем нужна потоковая обработка данных, как ее сочетать с пакетной, почему не обойтись без Apache Spark

12 апреля 2019
Что такое потоковая обработка данных? Это – когда решение в реальном времени обрабатывает данные, которые поступают также в реальном времени, в формате потока, генерируются непрерывно. В потоке сложно определить полный и целостный набор данных. Обычно компании не имеют возможности хранить такие данные в полном объёме, произвольный доступ к ним есть не всегда. Только знакомитесь с потоковой обработкой данных? Чтобы не запутаться в понятиях, прочитайте статью, 6 фактов об Apache Spark, которые нужно знать каждому. О значении потоковой обработки данных, необходимости сочетать её с пакетной и о том, как использовать для этого Apache Spark, размышляет Вамши Сриперумбудур. В Informatica Вашми занимается маркетингом решений Big Data и аналитики.

Задачи для потоковой обработки данных

Потоковая обработка данных применяется не только для данных, собранных через интернет вещей. Вот несколько примеров задач, для которых она будет полезна:
  • Бороться с финансовыми мошенничествами (фродом) в реальном времени;
  • Быстро сделать интересное предложение клиенту, который собирается перестать пользоваться вашими услугами или покупать у вас товары;
  • Ввести динамическое ценообразование, в некоторых случая оперативно снижать цену для клиентов;
  • Привлечь потенциального клиента в магазин, рядом с которым он находятся;
  • В реальном времени мониторить данные пациентов.
Существует множество других примеров использования потоковой обработки данных в финансовом секторе, телекоме, рознице, здравоохранении, энергетике и государственном секторе.

Управляем одновременно потоковой обработкой данных и пакетной

Зачастую потоковая обработка данных не приносит пользы без привлечения пакетной. Давайте представим, то мы определили клиента для маркетинговых коммуникаций. Он входит в магазин? Мы его идентифицируем (например, с помощью видеокамеры) и сразу в реальном времени делаем ему персонализированное предложение. Для этого мы можем использовать его поисковую историю в браузере или историю его покупок в нашем магазине. Данные с видеокамеры будут поступать в потоке, потребуют потоковой обработки данных. Пакетная используется системами, в которых хранится информации о клиенте, на основе которой мы будем делать наше предложение. Например, это может быть MDM-система. Данные в первом и втором случае будут значительно различаться. Они поступают на разных скоростях, с разной латентностью, задержкой. Эти различия нужно будет преодолеть, чтобы в реальном времени сделать клиенту персональное предложение. Данные нужно будет интегрировать.

Потоковая обработка данных с Apache Spark: разбить поток на фрагменты

Раньше потоковую обработку данных можно было осуществлять только отдельно от пакетной. Это подразумевало, что традиционные ETL-решения не могли работать с данными в потоке (обрабатывать данные и вносить их в базы). Для таких задач нужно было внедрять отдельное решение. Некоторые вендоры, которые предлагают решения, которые ориентированы только на потоковую обработку данных, даже заявляли, что пакетная не нужна совсем. Они доходили до того, что называли её видом потоковой обработки данных. Например, среди решений, которые успешно применялись для потоковой обработки данных – Apache Spark. Он разделяет информацию на устойчивые распределенные наборы данных (RDD). По сути, Apache Spark разбивает поток данных на RDD – фрагменты данных, которые распределяются по разным узлам кластера. Несколько таких фрагментов соединяются вместе в микро-пакет – DStream (Discretized Stream). Несколько DStream могут обрабатываться параллельно. Проблема с механизмом DStream как раз была в том, при его применении приходилось разделять потоковую обработку данных и пакетную, а это усложняло весь механизм работы с данными и делало её дороже.

Потоковая обработка данных с Apache Spark: превратить поток в бесконечную таблицу для SQL

Со второй версии в Apache Spark доступен Structured Streaming, который помог преодолеть недостаток DStream. Structured Streaming – это масштабируемый и отказоустойчивый фреймворк для потоковой обработки данных, в основе его Spark SQL. Structured Streaming представляет поток данных в виде бесконечной таблицы. Решение позволяет и проводить потоковую обработку данных, и интеграцию их с данными, которые обрабатываются пакетной. Другими словами, Structured Streaming для решений Big Data пытается унифицировать потоковые, итеративные и пакетные запросы с помощью абстрактного структурирования данных.

Рекомендуем также

Интеграция данных

О том, какие факторы влияют на интеграцию больших данных и как правильно выбирать для неё инструменты, рассказывает Дэвид Линтикум – старший партнёр в Cloud Technology Partners, международный эксперт и автор книг по ИТ.

5 апреля 2019

Forrester: технологии Big Data распространяются

Не знаете, что такое Big Data? Читайте об этом в другой статье блога. Аналитики исследовательской компании Forrester указывают на то, что сейчас технологии Big Data распространяются взрывными темпами. Эксперты также предсказывают, что доля технологий NoSQL и Hadoop на рынке в ближайшие 5 лет значительно вырастет. При этом рынок для первых будет увеличиваться на 25% в год, а для второго – на 32,9%. Весь рынок Big Data будет расти в три раза быстрее рынка всех технологий. Кроме того, Forrester предлагает разделить все технологии Big Data на 6 важных частей: корпоративное хранилище, NoSQL, Hadoop, интеграция больших данных, виртуализация данных и in-memory фабрика данных (in-memory – это технология, которая позволяет проводить все вычисления в оперативной памяти).

Что такое интеграция больших данных?

Интеграция больших данных – это любая технология для перемещения данных из систем Big Data, включая NoSQL-системы хранения данных и Hadoop. А также – для постоянного обновления данных по мере их изменения в этих системах хранения.

Что влияет на развитие технологий интеграции больших данных

  • Появились новые системы хранения, которые поддерживают системы Big Data. Появилась новая система? Вместе с ней появилась необходимость извлекать из неё данные. А также – когда данные в неё меняются, распространять об этом информацию по другим системам.
  • Повысилась роль безопасности данных, включая шифрование при хранении данных и шифрование «на лету» при запросе к ним.
  • Компании стали больше внимания оказывать производительности системы интеграции больших данных, включая предоставление данных в почти реальном времени. Производительность играет важнейшую роль для эффективной поддержки бизнес-процессов.
  • Появилось много новых технологий, которые связаны с Big Data. Среди этих технологий – интернет вещей и машинное обучение.
  • Выросло значение данных в большинстве организаций. Особенно это касается компаний, чья годовая прибыль насчитывает более миллиарда долларов.

Как выбрать инструмент интеграции больших данных

Принимая все перечисленные тренды во внимание, интеграция больших данных оказывается не такой простой, как могло показаться на первый взгляд. При выборе инструментов я советую сконцентрироваться в первую очередь на следующих требованиях: производительность, пригодность для решения вашей конкретной задачи и для Data Governance. Давайте рассмотрим производительность и пригодность для Data Governance. Для того, чтобы понять, какой инструмент лучше всего подойдёт для вашей задачи, напишите на почту info@dis-group.ru

Пригодность для решения задач и для Data Governance

Чтобы не ошибиться, нужно понять, как вам нужно перемещать данные в и из систем Big Data. Кроме того, нужно определить, какие операции вы будете проводить с данными. Например, нужно ли как-то трансформировать схему, структуру данных. В некоторых случаях, возможно, придётся полностью её убрать или наоборот добавить. Не забывайте, что системы Big Data имеют дело со структурированными и неструктурированными данными. И нужно одинаково эффективно управлять обоими типами.

Производительность

Производительность инструментов для интеграции больших данных играет очень большую роль. К скорости, с которой данные перемещаются, есть свои требования. Информация должна вовремя поступать к целевому бизнес-пользователю или в целевую систему, чтобы инструменты для аналитики успевали её поглотить. Неудовлетворительная производительность решения интеграции больших данных встречается часто. Решить эту проблему без значительных изменений чаще всего очень сложно. Поэтому заранее принимайте этот аспект во внимание.

Рекомендуем также

Интеграция данных: нужен стратегический подход

О том, почему интеграция данных должна стать стратегическим направлением, размышляет Дэвид Линтикум – старший партнёр в Cloud Technology Partners, международный эксперт и автор книг по ИТ.

5 апреля 2019

Интеграции данных не место в тактических задачах

Проводите цифровую трансформацию своего бизнеса? Вам нужна стратегия интеграции данных. Начните двигаться к ней с совета Джулии Хант (независимый ИТ-консультант): «Бизнесу, который стремиться вперёд и его данным нужно охватить весь новый мир, который постоянно меняется. Этот мир умных данных построен на расширенных подходах к интеграции данных. Вместе такие подходы объединяются в понятие «современная интеграция данных». Нужно, чтобы правильная информация лежала в основе процессов продвинутой аналитики, в основе единого взгляда на клиентов? Интеграция данных должна стать стратегической функцией, которая соответствует бизнес-целям». Технари говорят об этом уже очень давно, но раньше нас слушали немногие. Но даже сейчас большинство компаний не считают интеграцию данных стратегическим направлением для компании. Чаще всего она попадает в корзину «тактическая технология».

Идеальные данные – в основе ваших решений

К данным всегда нужно относиться стратегически, и к тем, которые у вас есть, и к тем, которых нет. Способность сводить данные вместе в нужное время даёт бизнесу возможность принимать решения на основе практически идеальных данных. Например, на основе данных производственное предприятие может эффективно определять, какое количество продукции ему необходимо изготовить. Какие это могут быть данные? Внутренняя информация о продажах за последние 5 лет и внешняя информация, например, закономерности в погодных условиях, которые могут повлиять на продажи. Кроме того, такое предприятие сможет отслеживать спрос на свою продукцию почти в реальном времени. А это – залог оптимального управления загрузкой склада, которое помогает избежать избытка или недостатка товара. Я привел самый простой пример. Но его можно развить до более сложного уровня, на котором он будет приносить ещё больше выгоды. Например, банк может создать автоматическую систему проведения операций с ценными бумагами. Система сможет работать на основе сотен потоков данных, которые поступают из внутренних и внешних систем. Также компании могут извлекать пользу от анализа данных с помощью систем машинного обучения или предиктивной аналитики. Всё это – часть современного data science, который без интеграции данных эффективно приносить пользу не сможет.

Интеграция данных внутри и снаружи

Джулия продолжает: «Важнейшие для компании данные часто можно найти не только снаружи корпоративного хранилища, но и снаружи компании как таковой. В таких условиях бизнес вынужден признать ценность интеграции данных из различных источников». Интеграция данных используется давно, но большинству организаций только предстоит научиться эффективно её применять. На самом деле, те, кто научился эффективно это делать, уже лидируют на рынке.

«Естественный отбор» на основе эффективности интеграции данных

Конечным результатом станет «естественный отбор» компаний. Выиграют в нём те, кто понимает стратегическую ценность интеграции данных и эффективно встроят её в общую ИТ-стратегию. Это требует времени, денег и технологий. Но это того стоит. ROI (return on investment, возврат на инвестицию) от этих усилий в среднем достигает более 200%, учитывая всю выгоду для бизнеса. От интеграции данных не уйдёт ни одна компания. Рано или поздно, случайно или нет всем придётся столкнуться с ценностью интеграции данных. Чаще всего эта ценность становится очевидной на этапе проекта по проверке концепции, когда оказывается, что интеграция данных приносит значительную выгоду. Только внедряете интеграцию данных в своей компании? Избегайте этих трёх ошибок! Также читайте об интеграции данных, собранных через интернет вещей, а также истории успеха в этой области.

Рекомендуем также

Хороший data science-специалист: 5 признаков

О том, каким должен быть хороший data science-специалист, рассказывает Джо Маккендрик, независимый аналитик и внештатный автор целого ряда зарубежных IT-изданий.

1 апреля 2019
Только планируете освоить эту профессию или хотите нанять такого сотрудника? Читайте другую статью автора.

Хайп вокруг data science-специалистов – не просто хайп

По мере того, как анализ данных и технологии Big Data применяются всё шире, хайп вокруг data science-специалистов растёт. Ожидается, что именно они в ближайшее время кардинально изменят то, как мы ведём свой бизнес. В начале проекта работа data science-специалистов подразумевает постоянные эксперименты на основе дедуктивных методов или проверки гипотез для поиска бизнес-проблем. Когда проблемы раскрываются более полно, начинают применяться индуктивные методы или методы поиска закономерностей. «Деятельность data science-специалиста – прекрасный способ применить своё природное любопытство и техническую экспертизу, чтобы решить сложнейшие проблемы, которые стоят перед человечеством», – отмечают эксперты одной из крупнейших консалтинговых компаний Booz Allen Hamilton во втором издании своей книги «Справочник data science-специалиста» (The Field Guide to Data Science). Они продолжают: «Для решения таких проблем сложно переоценить возрастающее влияние, важность и ответственность data science-специалистов. Data-science специалисты – наши проводники на пути создания совершенно новых путей восприятия данных и мира вокруг нас».

Зачем нужен data science-специалист

Деятельность data science-специалистов значительно повышает удобство использования, доступность данных, которые собирает компания, а также улучшает риторику вокруг них. Хорошо доказано, что data science-специалисты позволяют решать конкретные бизнес-проблемы. Например, в той же книге Booz Allen Hamilton указано, что, повысив используемость данных на 10%, компания может на 49% повысить свою продуктивность. При улучшении доступности данных всего на 10%, потенциальный ROA (возврат на активы, return on asset) в компании может возрасти на 42%. Те организации, которые по максимуму используют потенциал больших данных, сообщают о росте ROI (возврат на инвестицию, return on investment) на 241%. А эффективное использование аналитики данных в масштабах всей компании повышает ROI на 1000%.

Перспективы развития в будущем

И всё будет только лучше по мере того, как data science-специалисты будут открывать перед руководством перспективы, о которых те раньше даже не думали. «Значительные улучшения в когнитивном машинном обучении – уже на горизонте. Среди них – технологии open source и гибкие алгоритмы, которые полностью используют потоковые данные в реальном времени (их содержание, контекст и семантическое значение)», – объясняет в своей книге Кирк Борн, старший data science-специалист в консалтинговой компании Booz Allen. «Способность использовать понимание ситуации на 360 градусов позволит действовать правильно, в правильное время, в правильном месте и в правильном контексте. А это имеет большое значение для когнитивной аналитики. Ещё один способ применить когнитивную аналитику – принимая во внимание данные и контекст для определённого объекта (или, например, аудитории), алгоритм определяет правильный вопрос, который нужно задавать своим данным (и это может быть не тот вопрос, который вы привыкли задавать своим данным)». Борн добавляет, что новые технологии позволят организациям любого размера и бюджета извлечь выгоду из данных. При этом платформы и инструменты будут становится дешевле и доступнее. Борн пишет: «Мы ожидаем, что появятся продвинутые алгоритмы, которые помогут извлекать пользу из нововведений в области квантового машинного обучения, обработки и хранения данных in-memory (в оперативной памяти) и машинного обучения на специализированных устройствах (например, на графическом процессоре, мини-ПК Raspberry Pi или на мобильном «суперкомпьютере» следующего поколения). «В таких устройствах всего с одной функцией мы ожидаем увидеть развитие встроенных алгоритмов машинного обучения (особенно, глубинного машинного обучения). Они будут выполнять оперативную трансформацию данных в инсайты на этапе сбора информации. Таких устройств будет множество, они будут связаны через интернет вещей (IoT), в том числе индустриальный интернет вещей (IIoT)».

Признаки хорошего data science-специалиста

В таком обществе все мы станем немного data science-специалист будет играть одну из ведущих ролей. Команда Booz Allen даёт рекомендации о том, каким должен быть такой эксперт.
  • Data science-специалист умеет превращать данные в конкретные действия. «Большую роль играет умение организовать процессы, правильную работу инструментов и технологий, чтобы люди и машины работами вместе и трансформировали данные в инсайты».
  • Data science-специалист создаёт продукты на основе данных. Такие продукты «обеспечивают других сотрудников компании информацией, на основе которых можно действовать. Данные, которые лежат в основе такого продукта, и их аналитику эти сотрудники не видят. Подобными продуктами могут быть стратегии покупки или продажи для финансовых инструментов, набор действий для повышения объёмов выпускаемой продукции или для улучшения продуктового маркетинга».
  • Data science-специалист нужен бизнесу для того, чтобы в будущем не отстать от конкурентов. «Руководство многих организаций принимает решения инстинктивно, полагаясь на аргументы того, кто громче всех выступает на встрече или приводит самые убедительные доводы. В условиях зарождающейся дата-центричной экономики победители и проигравшие будут определяться успехом data science-специалистов».
  • Data science-специалист развивает свои навыки по мере развития компании. «Развитие организаций в направлении работы с данными проходит в несколько этапов. Сначала компании начинают собирать данные, потом начинают использовать их для описания действующих процессов, искать в них закономерности, предсказывать на их основе события. Последний этап – получение советов по ведению бизнеса на основе данных. Движение по этим этапам можно охарактеризовать, как движения от потопа из данных к зрелости их использования. На каждом этапе аналитические задачи становятся всё сложнее, а навыки анализа данных всё шире. Чтобы достигнуть успеха, организация должна достигнуть максимальной зрелости – последнего этапа. Но выгоду возможно извлекать на любом из них».
  • Data science-специалисты должны быть командными игроками. «Data science-специалистам нужен широкий взгляд на компанию, в которой они работают. Их руководители должны встречаться с руководителями других отделов, чтобы понять сложности, с которыми последние сталкиваются, обнаружить дополнительные данные, соединить разрозненные части бизнеса и достичь широкой вовлечённости сотрудников в свои инициативы».
О том, как сделать data science в компании эффективнее, читайте в статье генерального директора DIS Group Павла Лихницкого.

Рекомендуем также