Дистрибуция и внедрение инновационных продуктов и решений для корпоративного сектора от лидеров мирового ИТ-рынка

Раскрытие потенциала «Больших данных» для повышения эффективности продаж

10 сентября 2014

Алексей Ананьев, Технический менеджер DIS Group

Жесткая конкуренция на современных рынках стимулирует продавцов к поиску все новых и новых каналов продаж. И в этой борьбе побеждает только тот, кто сможет найти новые подходы к своему заказчику. Заказчиков много, у каждого из них свои уникальные потребности и задачи. Продавцу остается только одно — найти индивидуальный подход к каждому из них. Это сложно! Порой для понимания этого подхода может потребоваться масса усилий и огромная работа по обработке информации.

Для бизнеса, связанного с оказанием услуг или продажей товаров конечному потребителю, это становится все более и более важно. Большое количество заказчиков и разнообразие их потребностей сильно осложняет попытки индивидуализировать отношения.

Анализ информации становится основным источником знаний о клиентах. Но ее объем стремительно растет и это усугубляет ситуацию. Сложность этой задачи заставляет организации обратиться к новым технологиям в области сбора и обработки больших объемов данных.

Огромное количество источников данных, которые стали доступны в последние несколько лет, буквально обрушивают на аналитиков компаний шквал информации. Большая ее часть будет для решения каждой конкретной задачи бесполезна, но среди этого информационного мусора хранятся очень важные и ценные данные. Проблема обработки таких информационных объемов состоит в сложности самого процесса работы с такими массивами данных. Большие объемы требуют больших процессорных мощностей или новых подходов к обработке данных.

Лучшие умы человечества занимались решением этой проблемы не один десяток лет и добились огромных успехов в этой сфере. Крупнейшие мировые ИТ-компании готовы предложить различные подходы, оборудование и ПО, позволяющие снять остроту проблемы нехватки мощностей при обработке больших объемов структурированных или неструктурированных данных.

Примером одного из таких решений может служить технология Hadoop, предлагаемая Apache Software Foundation. Естественно, это не единственное решение, но сам подход опробован такими гигантами интернет-индустрии как Google, Yandex и др.

Успешное освоение технологии обработки больших данных сулит большие выгоды. Именно сейчас, в условиях жесточайшей конкуренции на фоне падения рынков продаж, когда организациям приходится бороться за повышение прибыли уже не на целые, и даже не десятые, а за сотые доли процентов, это наиболее эффективно.

В условиях такой жесткой борьбы битву за клиента выиграет тот, кто владеет большим количеством информации, тот кто сможет более тонко чувствовать ожидания клиента и его возможности.

В информационном ландшафте любой организации существует набор систем, хранящих информацию о клиенте. Это могут быть системы класса CRM, системы управления продажами, ERP-системы, бухгалтерские и т.д. В каждой из них будет храниться только один из аспектов взаимодействия с клиентом. Создавая отчетность на базе этих систем, можно получить информацию об операционной деятельности организации, а точнее, о конкретном ее направлении. Объединив информацию из всех этих систем, мы получим наиболее полное понимание того, что происходит с клиентом. Мы можем строить отчеты по информации, получаемой из разных систем. К примеру, единый клиентский справочник позволит нам построить отчет о том, сколько времени мы тратим на конкретного заказчика, основываясь на информации из CRM, и соединить эти данные с информацией о поступлении денежных средств от него, зарегистрированной в бухгалтерской системе. Такой отчет позволит более четко понимать, какие клиенты являются наиболее рентабельными. Согласно этим показателям можно более тонко откорректировать стратегию деятельности компании или вообще изменить ее, ориентируясь на более перспективные направления.

Думаю, стоит немного заострить внимание на технологиях, которые позволяют создавать решения для построения подобной отчетности. Первое  это, конечно, система класса MDM (Master Data Management), которая предназначена для управления справочниками. Именно она является сердцем описанного выше механизма. На основе этого решения строится механизм автоматического слияния из разных систем и механизм построения, так называемой, «золотой записи».

Вторым, но не менее важным, столпом в разметке этой дорожной карты является  технология ETL. Это тот механизм, который может эффективно переносить данные из одного источника данных к другому: извлекать, преобразовывать и записывать в нужные приемники данных. ETL – это транспортная система всего решения, его кровеносная артерия, которая направляет данные в нужные точки для их последующей обработки.

Само по себе применение этих технологий не ново. Подобные системы, уже много лет присутствуют на рынке программного обеспечения. Но только при правильной комбинации этих технологий мы можем получить необычный технологический прорыв. Этот эффект будет подобен эффекту резонанса, когда сложение, казалось бы, несильных колебаний от ног обычных людей складываются, усиливая друг друга, и разрушают целые мосты, построенные, на первый взгляд, на века. Давайте пойдем таким же путем - обогатим клиентскую информацию доступными «Большими данными». К примеру, с помощью социальных сетей продавцу предоставляется возможность узнать предпочтения своего клиента. Более того, можно делать предложения клиенту, ориентируясь на его интересы и запросы. Социальные сети также могут дать дополнительную информацию о друзьях клиента, возможно, они уже являются клиентами. А если еще нет, то что мешает это сделать! Если клиент лоялен, то лучшей рекламы для организации, чем сделанная им покупка, не существует. Для кредитных организаций, это может быть еще один дополнительный механизм анализа состоятельности клиента. Теперь можно анализировать связи потенциального заемщика. Благодаря этому механизму возможно более точно принимать решение о добросовестности клиента или занесении его в список потенциальных мошенников.

Знание и понимание связей между клиентами может быть интересно не только для оценки благосостоятельности заемщика, но и для повышения уровня продаж. Например, на основании тех персональных данных, которые мы храним уже сейчас, мы можем легко найти людей, проживающих совместно, но не находящихся в браке, или определить, что два клиента, проживающих по одному и тому же адресу - это родственники, даже если явно в наших анкетах этого не было указано. Получив такую информацию, можно предложить семье или одному из членов этой семьи продукты, ориентированные на семейную аудиторию: ипотеку или покупку семейного автомобиля в кредит. Если клиентом банка является состоятельный человек, то все члены его семьи могут иметь увеличенные кредитные лимиты.

Все поисковые машины, которыми мы привыкли пользоваться в интернете, уже давно предлагают услуги целевой рекламы. Суть затеи состоит в том, что если вы искали в интернете информацию о холодильниках, то поисковые машины того же Yandex или Google, начнут вам показывать рекламу магазинов, торгующих подобными товарами.

Почему бы нам не воспользоваться такой возможностью и не дополнить информацию о клиенте его интересами.

Для решения этой задачи в социальной сети, например, Facebook, могут быть созданы специальные группы. В них люди имеют возможность обсуждать продукты, задавать вопросы, интересоваться товарами или услугами компаний. Ничто не мешает автоматизировать анализ чатов данной группы для выявления потенциальных покупателей. Социальные сети при регистрации требуют набор обязательной контактной информации. По этой причине с любым участником этой группы может быть налажена обратная связь. Если же участник группы скрыл всю свою контактную информацию, то все равно мы имеем возможность с ним связаться через чат и наоборот, клиент сможет связаться с организацией. Если участник группы открыл свои данные, то можно легко их сопоставить с данными наших клиентов и, возможно, ассоциировать участника группы с одним из них.

Другим примером применения технологии анализа больших данных может быть контроль мнения о продукте и его недостатках, потенциальных или уже существующих. Автоматический анализ чатов группы дает неоценимую информацию для производителя и поставщика услуг. Здесь можно  почерпнуть информацию как о недостатках или, наоборот, сильных сторонах предлагаемого продукта, так и о качестве работы службы поддержки и персонала конкретных точек распространения. Эта информация крайне ценна для любой организации. Зачастую организация вынуждена платить сторонним компаниям за ее сбор и последующую обработку. Подобные услуги не дешевы, и проводить подобный контроль регулярно может себе позволить только очень крупная организация. В случаях, когда подобные меры применяются эпизодически, их эффективность не высока. Такой подход делает всю цепочку контроля неэффективной и вынуждает организацию повернуться в сторону других, менее точных методов. В большинстве случаев это начинает сводиться к вынесению профессионального суждения определенных сотрудников. Конечно, их опыт и знания не могут быть оспорены, но никто из нас не застрахован от ошибок. Точное и полное представление о сложившейся ситуации можно делать только на основании количественных оценок. И сейчас технологический уровень развития нашей компьютерной индустрии достиг того состояния, когда подобные исследования можно проводить самостоятельно, не прибегая к помощи специализированных организаций, и одновременно с этим снизить затраты на подобные исследования.

Если касаться технологического аспекта такого программного комплекса, то, как я уже говорил, это комбинация программных продуктов. Рынок сейчас готов предоставить нужное программное обеспечение и оборудование для реализации решений, описанных выше. Хотелось бы предостеречь организации от попыток создавать такие модули самостоятельно. Опыт российских и международных компаний говорит о том, что попытка самостоятельной реализации систем класса MDM или ETL приводит к большим затратам и частым неудачам. На плечи разработчика подобных систем ложится много сложных задач, реализация которых требует опыта и знаний в разных областях. К тому же промышленные решения всегда универсальны. Они предоставляют возможность пользователю сконцентрироваться на решении непосредственной бизнес-задачи и как можно дальше дистанцироваться от реализации технических аспектов низкого уровня.

Примером такого промышленного решения может быть платформа Informatica. Эта платформа включает в себя все необходимые компоненты для построения решений любой сложности. Применение компонентов от разных производителей повлечет за собой необходимость их сопряжения для совместной работы. Это всегда не просто. Порой объединение таких компонентов становится невозможным или крайне трудоемким.

Платформа Informatica полностью ограждает вас от проблем подобного рода. Все компоненты, входящие в ее состав, полноценно интегрируются между собой для построения композитного решения любой сложности. В частности, интеграционные решения на базе ETL и MDM для ведения справочников. Для повышения эффективности работы ETL-решение от Informatica снабжено необходимыми подключениями к Hadoop и социальным сетям. В дополнение к этому предоставляется удобный графический интерфейс, в значительной мере облегчающий работу разработчика и позволяющий сократить время на внедрение. Добавьте к этому сокращение затрат на дальнейшее сопровождение данного решения и вы увидите, что совокупная стоимость владения (ТСО), будет, как минимум, в полтора раза ниже, чем при попытке самостоятельной реализации подобных модулей и применения просто скриптовых языков программирования. Возможности по интеграции, которые предлагает платформа Informatica, действительно, впечатляют. Это возможность работать со всеми крупнейшими поставщиками БД, такими как ORACLE, MS SQLServer, IBM DB2, а так же со многими другими БД. Платформа может работать с очередями, облачными хранилищами, различными приложениями и социальными сетями. Краткий список подключений к различным источникам представлен на рис.1.

Рис. 1. Набор подключений интеграционной платформы Informatica

Что касается оборудования, то здесь все сильно зависит от объемов обрабатываемой информации и времени, выделенного на ее обработку.

Если переходить к конкретным цифрам, то для реального проекта по управлению  НСИ достаточно машины с 46 ядрами и 24 ГБ оперативной памяти. Причем на такой машине можно будет вести сопровождение нескольких сотен справочников, которые будут синхронизироваться с десятком различных информационных систем, учитывая, что логика синхронизации для всех этих систем будет уникальна, а структура справочников в каждой из систем своя.

Работа с такими источниками данных, как социальные сети, в рамках данной платформы будет так же проста, как и работа с обычными таблицами. Вся логика разрабатывается средствами графического интерфейса. За подключение к данным здесь отвечает специальный драйвер, написанный Informatica. Программист-разработчик совершенно не должен задумываться о транспорте, механизмах, ограничениях. Все эти вещи уже решены разработчиками коннектора. На рис. 2 представлен пример графического интерфейса средства разработки.

Рис. 2. Пример графического интерфейса средства разработки

Использование технологии Informatica Hadoop не является исключением. Платформа Informatica работает с кластером Hadoop также, как и с другим источником и приемником. Причем, коды Hive Informatica будет генерировать самостоятельно на основании карт преобразований, построенных средствами графического интерфейса. Инженерами из DIS Group было установлено, что качество кода, генерируемого автоматически, приемлемо для большинства задач, возникающих перед крупнейшими организациями. Такой подход позволяет отказаться от привлечения к работам с Hadoop дорогостоящих программистов и сделать процесс передачи разработок и поддержки более простым и дешевым.

Исследования инженеров DIS Group технологии Hadoop позволили выявить задачи, решение которых может быть наиболее оптимальным именно средствами этой технологии.

Одним из примеров такого применения может служить задача по оптимизации работы системы отчетности, где было необходимо сократить время на получение данных из систем хранения. Изначально, отчеты формировались на базе запросов к базе данных. Получение данных от базы происходило очень быстро в случае низкой нагрузки на сервер БД. Но когда одновременно эти запросы пытались запустить тысячи пользователей, время подготовки отчета увеличивалось до нескольких часов.

Перенос логики обработки запросов из базы данных на кластер Hadoop, состоящий из 10 персональных машин, дал положительные результаты в плане сокращения времени подготовки отчетов.

Подобные технические решения открывают перед организациями широкие горизонты возможностей в области снижения рисков и повышения продаж. Техническая реализация таких решений достаточно емка, но доходы от внедрения таких технологий значительно превысят расходы на реализацию и сопровождение подобных программное – аппаратных комплексов.

Пример графического интерфейса процесса выполняющего обработку на платформе кластера Hadoop (см. рис. 3). 

Рис. 3. Графический интерфейс при построении процесса работающего с Hadoop

Недавно появились сообщения о том, что производители чипсетов готовятся к выпуску оборудования со встроенной поддержкой технологии Hadoop. Это приятное известие. И можно смело констатировать, что технология признана специалистами и входит в нашу повседневную жизнь. Но стоит отметить, что сама идея Hadoop состоит в кросс-платформенности данного решения. Его достоинство в низкой стоимости самой платформы и оборудования, а аппаратная поддержка – это скорее дань моде, чем реальная необходимость.

 

Вернуться к списку новостей