Интеллектуальная обработка данных или магия искусственного интеллекта

О том, как обработка данных с помощью искусственного интеллекта (ИИ) CLAIRE преобразует строки кода в понятный для бизнес-пользователя формат, как искусственный интеллект справляется с «дрейфом данных» и какие математические алгоритмы помогают ему в этом, рассказывает Эйнат Хафтель, вице-президент по управлению продуктом.

12 июля 2018
В компании Informatica Эйнат курирует развитие машинного обучения и искусственного интеллекта. «Каждый фокус состоит из трёх частей или действий. Первая часть называется «наживка». Фокусник показывает вам самый обычный предмет — колоду карт, птицу, или человека. Он демонстрирует предмет, возможно даже просит проверить, убедиться, что он реальный, не эфемерный, самый обычный, но, разумеется, это скорее всего не так. Второе действие называется «превращение». Фокусник берёт этот самый обычный предмет и делает с ним что-то необычное. В этот момент вы начинаете искать разгадку, но не находите, потому что не особенно стараетесь. Вы не хотите её знать. Вы хотите быть обманутым. Но вы не торопитесь хлопать, потому что заставить предмет исчезнуть — это еще не всё, его следует вернуть. Вот зачем нужна третья часть номера, самая сложная, часть, которую мы называем «престиж». С этих слов начинается «Престиж» – один из наиболее известных фильмов режиссера Кристофера Нолана. Эта цитата прекрасно подходит к описанию принципов работы искусственного интеллекта. Она просто, но точно описывает наши чувства в тот момент, когда мы видим что-то, что кажется нам магическим, чего мы не можем понять.

Наживка

Наш фокусник – искусственный интеллект – берёт самый обычный предмет. Например, типичные электронные данные блога, которые генерируется браузером и включают в себя информацию об активностях пользователя на определённом сайте. Эти данные обычно формируются в документ, который сложно понять обычному пользователю. Необходимо иметь навыки разработчика для того, чтобы вручную перенести его в тот вид, который будет приносить реальную пользу бизнесу.

Превращение

Искусственный интеллект позволяет бизнес-пользователю или аналитику обработать и трансформировать этот непонятный набор данных в знакомый и простой вид таблицы.

Престиж

Но мы все знаем, что обычно приходится иметь дело не с одним набором данных. И не всегда все данные имеют одинаковые форматы. Методология Data Governance называет это «дрейфом данных». Дрейф данных – изменение их формата, содержания и скорости поступления. Множество переменных влияет на содержание данных: устройство, с которого они поступили, версия его операционной системы, дата, географическое положение, браузер и многое другое. Эти переменные представляют серьёзную проблему для организаций, которые пытаются собрать, обработать и проанализировать новые данные. Опрос 2016 года показал, что 26% респондентов перестали применять собираемые данные для аналитики из-за того, что не смогли привести их к единому формату. CLAIRE от Informatica может динамически и автоматически переносить данные из разных файлов в привычный вид таблицы.

Обработка данных не магия

В отличие от фокусников в фильме «Престиж» CLAIRE использует математические алгоритмы для обработки данных, а не магию. Чтобы преобразовать данные в удобный формат, сначала нужно понять структуру первоначального файла, в котором они были собраны. Сперва CLAIRE делает несколько предположений о структуре данных, опираясь на базовый парсинг, основанный на знаках-разграничителях. Теперь нужно понять, какая из предполагаемых структур верная. Для этого CLAIRE применяет математическую методологию – «генетическое программирование». Алгоритмы этой методологии достигают цели с помощью концепции эволюции, естественного отбора. CLAIRE обрабатывает и оценивает предполагаемые структуры файла по нескольким параметрам, например, по извлечённым доменам. Так она определяет их «приспособленность». Следом идёт фаза «мутации». Алгоритм пытается немного изменить выбранные варианты структуры данных. Например, он «скрещивает» их между собой и наблюдает, не будет ли «приспособленность» у полученных таким образом новых структур выше. Это эволюционная фаза. Она завершает процесс, когда ей удаётся окончательно определить структуру первоначального массива данных, а значит, форму, в которой будет оптимально показать данные бизнес-пользователю. Такой механизм не требует участия человека. К тому же он не ограничен популярными форматами. Обработка данных и определение их структуры не единственная функция CLAIRE. Но нельзя не отметить, что с этой задачей ИИ Informatica справляется блестяще. Он легко приспосабливается к «дрейфу данных», успешно работает с файлами системных журналов и иными данными, полученными с неисправных устройств.

Рекомендуем также

Что нужно, чтобы стать data scientist?

О том, кто и как может стать data scientist, рассказывает Джо Маккендрик, независимый аналитик и внештатный автор целого ряда зарубежных IT-изданий.

1 июля 2018

Хочешь быть data scientist? Будь им!

Хотя бы немного соприкасались с анализом данных внутри своей организации? Скорее всего вы уже познакомились с data science. Также, возможно, вы уже знаете и о том, что «наука о данных» помогает эффективнее объяснить значение собранной информации руководству или заказчикам. Но специалистов в области data science — data scientists – сейчас не хватает. Они пользуются высоким спросом на рынке труда. А, так как искусственный интеллект и машинное обучение постоянно развиваются, становится неясно, профессионалы с какими умениями будут нужны организации через месяц или через год. Кроме того, data scientists вынуждены прочёсывать всё большие массивы данных, пытаться охватить всё большее количество предметных областей. Для этого существующих специалистов уже недостаточно. Поэтому сейчас кто угодно может развить свои навыки и взять на себя обязанности по data science. Достаточно интереса к аналитике данных.

«Я бы в data scientist пошёл, пусть меня научат»

Что же требуется для того, чтобы стать data scientist или по крайней мере начать исполнять обязанности такого специалиста? Большое значение для этой специальности имеют образование, дипломы и сертификаты. Поэтому новые курсы по data science появляются сейчас очень активно. Ведущие учебные заведения уже предлагают магистерские программы по data science. Такие программы есть в Иллинойском технологическом институте, Северо-западном университете, Стэнфордском университете. Нет средств или времени на полноценное образование? Существует множество других возможностей обучения. Можно найти качественные бесплатные курсы в Интернете, например, на таких ресурсах, как Coursera, EdX, Udacity, IBM, California Instituter of Technology, Dataquest и KDNuggets. «Работодатели приходят к осознанию того, что сотрудники, которые умеют использовать данные и аналитику для решения бизнес-задач, имеют большую ценность вне зависимости от их образования и занимаемой должности», – считает Бернард Марр, автор и эксперт в индустрии информационных технологий.

Не боги горшки обжигают

Все двери открыты для тех, кому интересно применять методы data science в своей организации. Майк де Ваал, президент и основатель Global IQX и бывший исполнительный директор Manulife Financia считает, что сам по себе data science можно свести к выполнению нескольких последовательных задач:
  • Обозначение проблемы
  • Сбор сырых данных
  • Обработка данных
  • Исследование данных
  • Проведение углублённого анализа
  • Подведение итогов
Роль data scientist, по мнению Майка де Ваала, – качественно выполнить эти задачи. Дрю Винингс, руководитель развития бизнеса в Diffbot, поставщика API (программные интерфейс приложения) для машинного обучения и компьютерного зрения, считает: «У многих компаний нет ресурсов или возможности нанять опытного data scientist. Они применяют инструменты веб-извлечения данных для того, чтобы сортировать и анализировать собранную информацию самостоятельно. Это значит, что практически любой сотрудник организации может собрать и проанализировать информацию как data scientist. Особенно тот, кто умеет программировать или анализировать данные». Винингс даёт следующие советы тем сотрудникам компании, кто пока не применяет data science, но хочет этому быстро научиться:
  • Научитесь определять, какие данные имеют наибольшее значение. «Важный навык хорошего data scientist – уметь понять, какие данные не иголка, а сено в стоге сена».
  • Составьте список целей, которые вы планируете достигнуть. Такой список поможет понять, какие данные можно использовать для реализации этих целей. «Сфокусируйтесь на решении проблем, которые имеют реальную и сиюминутную ценность для бизнеса», – советует Дрю Винингс.
  • Проверьте, легко ли собираются данные. «Также необходимо удостовериться, что вы можете собирать данные так часто, как это может понадобиться. Данные могут очень быстро устареть, поэтому веб-извлечение или автоматическое сканирование новых данных будут важной частью рабочего процесса».
  • Применяйте внешние данные. «И внутренние, и внешние данные имеют ценность. При этом внешние данные позволят вам шире взглянуть на ситуацию. Они помогут в реальном времени получать инсайты в индустрии, клиентской активности и трендах на рынке, которые можно пропустить, если работать только с внутренними данными».
Источник: блог компании Informatica

Рекомендуем также

Как выбрать технологии и системы управления знаниями для вашего цифрового рынка?

23 апреля 2018
Цель технологии и системы управления знаниями на цифровом рынке проста: агенты по оказанию помощи находят мгновенные решения проблем клиентов и быстро помогают в решении вопросов самообслуживания. Коммерческие компании и правительственные агентства развивали их в течение многих лет, и с появлением облачных технологий, облачные решения знаний имеют широкий спектр вариантов. Современные решения в области знаний теперь доступны для малых и средних предприятий, раньше они были доступны только крупным компаниям и предприятиям. При выборе правильного решения для вашей компании помните об этом.

1. Какие характеристики необходимы для технологии и системы управления знаниями?

Понимание потребностей вашего бизнеса – это основа выбора правильных решений в области знаний. Вы хотите разрешить пользователям одновременно взаимодействовать или обмениваться документами? Какое решение может помочь справиться с проблемными ситуациями? Вы можете выбрать такие функции, как управление контентом, управление взаимоотношениями с клиентами, управление знаниями, сотрудничество в режиме реального времени, анализ пробелов и многое другое. После определения потребностей вы можете найти облачное решение, адаптированное к вашей компании.

2. Понимание параметров настройки

Вы можете настроить свою интрасеть, но не все облачные решения знаний предлагают одинаковый уровень дизайна. До принятия решения решающее значение имеют проведенные вами исследования. Определите потребности заранее, аналогично определению необходимых функций, и найдите решение, которое обеспечивает необходимую настройку. Возможно, вам не нужны самые сложные варианты дизайна, поэтому не нужно тратиться на их покупку. Представители многих малых и средних предприятий считают, что их потребности могут быть удовлетворены за счет новых технологий, но вы должны лично убедиться, что технические характеристики, которые нужны вам, будут укладываться в рамки вашего бюджета.

3. Анализ затрат

Многие компании сосредоточены на стоимости подписки пакетного решения; однако при проведении анализа затрат и выгод учитывайте затраты на лицензии на программное обеспечение и оплату персонала, отвечающего за техобслуживание. Пакетное решение может обеспечить правильное сочетание функций, которые очень экономичны, когда вы учитываете аппаратное и программное обеспечение и персонал.

Заключение

В отчете консалтинговой компании McKinsey отмечается – чтобы оставаться конкурентоспособными на цифровом рынке, необходим другой подход. Поиск необходимых талантов и инструментов может быть масштабным по нескольким причинам. Традиционный подход фокусируется на масштабах, стоимости проекта, сильных ИТ-функциях, автономных решениях, крупных системных интеграторах и сложных долгосрочных контрактах. Новый подход на цифровом рынке фокусируется на талантах, изменяющихся масштабах проекта, интегрированных ИТ-функциях, общих решениях, и меньших, нишевых участниках рынка, предлагающих краткосрочные контракты с гибкими механизмами сделок. Многие из решений в области знаний для цифрового рынка могут казаться слишком обтекаемыми и упрощенными. Однако это связано с тем, что вы покупаете только те функции, которые хотите, и будете фактически их использовать. Пакетные облачные опции будут очень хорошо выполнять свои основные функции, и будут стоить дешевле, чем реализация вашего собственного решения. Цифровой рынок заставляет компании использовать другой подход, чтобы оставаться конкурентоспособным. Используйте наилучших специалистов, технологии и системы управления знаниями для достижения ваших целей.

Рекомендуем также

Эффективное управление знаниями

16 апреля 2018
Эффективное управление знаниями. Решения для бизнеса Согласно опросу компании, Deloitte про эффективное управление знаниями, более 80% пользователей в данной сфере сообщили, что обмен результатами знаний дает преимущество перед конкурентами при добавлении реальной стоимости клиента. Но знаете ли вы, какое положительное влияние оказывает внедрение надежных решений по управлению знаниями в вашем бизнесе? Управление знаниями обеспечивает базовый уровень для измерения прогресса, снижает убыль специалистов, эффективно управляет огромными объемами данных, чтобы быстрее и лучше помогать сотрудникам, обслуживающим клиентов, а также избавляет ваших сотрудников от лишней нагрузки. Грамотные решения в сфере управления знаниями улучшат достоверность данных, добавив контекст и связь с другими сохраненными документами. Добавляя информацию к документам с помощью семантического анализа, тегов или онтологии по организации и запросу темы, ваш персонал быстрее сможет найти исчерпывающие ответы на вопросы клиентов. Это лучшее обслуживание клиентов и в итоге довольные потребители. Мотивированные решения по управлению знаниями помогут вашему бизнесу:
  • Защитите свои интеллектуальные активы
  • Фокус на самом важном активе: человеческий капитал
  • Объедините людей с помощью методов сотрудничества
  • Ориентируйте свою корпоративную культуру на оптимальный обмен знаниями
Управление знаниями помогает открывать двери для большего обмена информацией и совместной работы. В сегодняшнем конкурентном ландшафте с глобальным расширением, сокращением штата, слияниями и поглощениями, ваш персонал должен думать и работать иначе. Они должны сотрудничать с зарубежными предприятиями, следить за текущими мировыми проблемами, обмениваться идеями и иметь правильные ответы под рукой. Социальные медиа играют все более важную роль в управлении знаниями, поскольку это позволяет сотрудникам подключаться, взаимодействовать и быстро получать доступ к экспертной информации. Социальные сети также помогают в сотрудничестве и позволяют людям проявлять себя в электронном ландшафте. Они могут обрести популярность и укрепить доверие среди коллег и работников других предприятий, участвуя в среде обмена знаниями.

Эффективное управление знаниями и положительное влияния этой стратегии

Грамотные решения по управлению знаниями помогут решить общие проблемы и помочь вашему бизнесу добиться больших преимуществ благодаря:
  • Совершенствованию процесса принятия решений за счет доступа к передовым методам и экспертным знаниям
  • Повышению производительности, эффективности и рациональной работы за счет уменьшения лишних и ненужных нагрузок
  • Усилению возможностей для сотрудничества и взаимодействия посредством стандартизации методов работы и содействия обсуждению с авторитетными экспертами
  • Снижению потери устаревших знаний путем захвата неявных и явных знаний
  • Повышению эффективности инноваций благодаря сотрудничеству без границ
  • Повышению удовлетворения потребностей клиентов путем предоставления ценностных знаний
  • Ускорению производительности с более эффективной регистрацией и быстрым доступом к данным
На все более конкурентном глобальном рынке вам нужны экономически эффективные инициативы, такие как надежное решение для управления знаниями. Вы сталкиваетесь с областью, которая постоянно нуждается в улучшении, например, обслуживание клиентов и разработка инновационных продуктов для удовлетворения меняющихся потребностей и нужд ваших клиентов. Приобретение и удержание клиентов – единственный способ остаться успешным, а эффективное управление знаниями предоставляет вашему бизнесу инструменты и данные для этого. Свяжитесь с нами сегодня, чтобы узнать, как KMS lighthouse может помочь вам в достижении ваших целей.

Рекомендуем также

База знаний с ботом. Насколько умным должен быть бот?

6 апреля 2018
Боты прочно вошли в нашу жизнь, и они решают все более сложные задачи и в более сложных системах, например, таких как база знаний. Согласно “Forbes”, статья которого основывается на информации сервиса обмена знаниями Quora, боты продолжают развиваться, эволюционировать. Насколько умным должен быть ваш бот, зависит от заданной ему цели. Некоторые разработчики считают, что бот должен иметь только одну цель или работу для выполнения, чтобы построить свою базу знаний и достичь экспертного уровня в конкретно одном виде работы. Для стартапов, малых и средних предприятий это может быть отличной отправной точкой. Для крупных предприятий этого будет недостаточно. Бот в базе знаний должен быть способен достичь более высокого уровня интеллекта, который выходит за рамки одной цели или одного вида работы.

Создания ботов недостаточно

Для информационных ботов в базах знаний развитие стало проще благодаря таким сервисам, как API.AI, Wit.AI и Watson Conversation. Сегодня боты гораздо легче создавать и развертывать, но этого недостаточно. Отнимающий много времени и сложный элемент для развития бота – это его обучение, обеспечение необходимой для него информацией. Вы должны очень хорошо продумать один момент. Ваш бот должен иметь возможность отвечать на вопросы и выступать в качестве эксперта на предмет конкретной услуги, которую он предоставляет. Бот в базе знаний может попытаться справиться со слишком многим поначалу. Освоение большого объёма знаний в конкретном сервисе или домене – масштабная задача. Сфокусировавшись на конкретной цели, в конечном счете, ваш бот станет достаточно умным.

База знаний с минимальным функционалом

В процессе разработки продукта начальный этап – это продукт с минимальным функционалом (MVP). В работе и развитии бота начало – это минимально жизнеспособное знание (MVK). Начинается обучение с одного конкретного элемента знания, а затем продолжается дальше, опираясь на него, и в результате у бота произойдёт слияние цели и знаний. Определив цель, вы затем расширяете сферу знаний. Затем определяется срок обучения бота. По мере взаимодействия пользователей с ботом, вы получите больше информации о конкретном типе взаимодействия пользователя с ним и задаваемых ими вопросах. Затем вы можете использовать эти идеи для дальнейшего обучения своего бота. Это особенно хорошо подходит для ботов, работающих с контентом и информацией. Поскольку рынок ботов постоянно развивается и на них есть спрос, вы сможете провести некое предварительное интервью с ботами, прежде чем выбрать тот, который лучше всего подходит именно для ваших нужд. Наличие четко определенной цели у бота, а также профильные специалисты в конкретной сфере помогут определить, насколько умным должен быть ваш бот. Это повышает шансы на успех как для бота, так и для вашей компании. Уровни обслуживания должны улучшаться по мере того, как бот получает знания, а весь этот процесс начинается с ответа на вопрос: «В чем его цель и какая база знаний Вам нужна?».

Рекомендуем также

Система управления знаниями. 9 моментов, на которые нужно обратить внимание при поиске инструментов

3 апреля 2018
Как успешный руководитель, вы знаете, что сохранить высокий уровень конкурентоспособности можно благодаря внедрению лучших технологий. Если вы приняли твёрдое решение, что вам нужна система управления знаниями, вам нужно будет выбрать программные инструменты для такого управления. Позитивные изменения и рост должны быть преднамеренными и обдуманными в условиях современного рынка. Правильные подобранные программные средства управления знаниями стимулируют такой преднамеренный рост. С продуманным подходом к процессу выбора вы легко определите, какие инструменты ПО подходят для вашей команды. Вот несколько ключевых функций, на которые вы можете обратить внимание во время вашего поиска.
  1. Система управления знаниями на облачном ПО или локальном? У вашей компании есть собственное ИТ-подразделение, способное внедрять все обновления, создавать резервные копии, осуществлять мониторинг и техническое обслуживание? Если нет, вам может понадобится решение, основанное на облачных технологиях. Если ваше предприятие строго следует стандартам соответствия, убедитесь в том, что облачное решение стороннего производителя может удовлетворить или превысить эти требования.
  2. Простой для понимания пользовательский интерфейс (ПИ). Ищите интуитивно понятный пользовательский интерфейс, с которым будет легко и удобно работать вашей команде и пользователям. Это даст возможность пользователям максимально использовать возможности программного обеспечения для управления знаниями.
  3. Мобильный доступ. Предположительно, более 62% пользователей в 2018 году будут использовать мобильные устройства для выхода в сеть. Инструменты ПО должны быть совместимы с несколькими мобильными устройствами, такими как Android, iPhone и iPad.
  4. Отличная функциональность поиска. Лучшие инструменты программного обеспечения для управления знаниями используют естественное языковое программирование и немедленно предоставляют соответствующую информацию.
  5. Возможность учета отзывов и замечаний. Ищите инструменты ПО, которые будут учитывать отзывы клиентов посредством кликов, пометки «нравится», подписки и т. д.
  6. Настройка. Вам понадобятся инструменты ПО для настройки и персонализации. Программное обеспечение поможет вашей организации сохранить свои конкурентные преимущества. Ваша компания и ее клиентская база уникальны, и вам нужно поддерживать дифференциацию бренда.
  7. Внедрение организационных систем. Система управления знаниями, которая может быть развернута в вашей организации, позволит свести к минимуму административные издержки и избежать возникновения корпоративной самоизоляции.
  8. Расширенные функции. Возможно, вы захотите рассмотреть и другие функции, такие как условная логика, подсказки, лайтбоксы, всплывающие окна, форумы, объединение тегов, учебные модули экзамена и опроса и другие.
  9. Интеграция программного обеспечения другого производителя. Вы сможете оптимизировать свои бизнес-процессы, если инструменты ПО управления знаниями легко интегрируются с инструментами других производителей.
Знание – это сила, и применение этих знаний для вашей команды и для совместного использования увеличит ваши конкурентные преимущества. Система управления знаниями с правильно выбранными инструментами обеспечивает средства, которые помогут в достижении ваших целей, и все чаще эти цели должны сопровождаться преднамеренным ростом на жесткой конкурентной глобальной арене. Будьте очень избирательны в отношении этих инструментов ПО и наблюдайте за тем, как растёт прибыль вашей организации. У вас есть вопросы? Закажите бесплатный звонок-консультацию для достижения такого роста сегодня.

Рекомендуем также

Tinkoff Bank innovates at a lower cost

24 февраля 2018

Рекомендуем также

Важность данных для бизнеса

24 февраля 2018

Рекомендуем также