Логотип сайта
Логотип фиксированного хедера
Мобильный логотип
  • Технологии
    • Управление данными
      • О платформе Informatica
      • Супермаркет данных
        • Axon Data Governance
        • Enterprise Data Catalog
        • Enterprise Data Preparation
      • Интеграция данных
        • PowerCenter
        • Informatica Integration Hub
        • Real-Time Data Integration
        • B2B Data Exchange
        • Advanced Data Transformation
        • Enterprise Data Catalog
      • Управление мастер-данными
        • Master Data Management Software
        • Product 360 (PIM)
        • Customer 360
        • Relate 360
      • Защита чувствительных данных
        • Data Privacy Management
        • Data Masking
      • Качество данных
        • Informatica Data Quality
      • Big Data
        • Enterprise Data Catalog
        • Data Engineering Integration
        • Enterprise Data Preparation
        • Data Engineering Streaming
        • Среда хранения и обработки данных Arenadata
      • Data Governance
        • Enterprise Data Catalog
        • Axon Data Governance
    • Бизнес-аналитика
    • Профессиональное управление знаниями
      • KMS Lighthouse
    • Управление ИТ
      • Управление потоками данных и процессами
      • Платформа управления ИТ-услугами
      • Автоматизация бизнес-процессов
      • Мониторинг ИТ-сервисов
    • Интеллектуальное рабочее место
    • Противодействие финансовым преступлениям
      • О платформе NiceActimize
      • Enterprise Risk Case Management
      • Противодействие отмыванию денег
      • Compliance на финансовых рынках
      • Антифрод
  • Бизнес-решения
    • Супермаркет данных
    • Data Governance
    • Управление потоками данных и процессами
    • Аналитика нового поколения
    • Сustomer Experience
    • Решение в области Big Data
    • Противодействие финансовым преступлениям
  • Консалтинг
  • Заказчики
  • Ресурсы
    • Мероприятия
    • Электронные книги
    • Вебинары в записи
    • Блог компании DIS Group
    • Спроси эксперта
    • Ток-шоу Game Changers
  • Обучение
    • О Тренинг-центре DIS Group
      • Путь развития компетенций
    • Все тренинги
      • ЗНАКОМСТВО СО СРЕДСТВОМ РАЗРАБОТКИ – INFORMATICA DEVELOPER
      • BIG DATA ДЛЯ РАЗРАБОТЧИКОВ
      • POWEREXCHANGE ДЛЯ ORACLE CDC
      • BUSINESS GLOSSARY ДЛЯ ПОЛЬЗОВАТЕЛЕЙ
      • METADATA MANAGER ДЛЯ ПОЛЬЗОВАТЕЛЕЙ
      • POWERCENTER: ИНТЕГРАЦИЯ ДАННЫХ ДЛЯ РАЗРАБОТЧИКОВ. УРОВЕНЬ 2
      • TEST DATA MANAGEMENT ДЛЯ РАЗРАБОТЧИКОВ
      • DATA QUALITY ДЛЯ РАЗРАБОТЧИКОВ
      • DATA QUALITY ДЛЯ РАЗРАБОТЧИКОВ. УРОВЕНЬ 2
      • АДМИНИСТРИРОВАНИЕ ПЛАТФОРМЫ INFORMATICA
      • POWERCENTER: ИНТЕГРАЦИЯ ДАННЫХ ДЛЯ РАЗРАБОТЧИКОВ
      • AXON ДЛЯ АДМИНИСТРАТОРОВ
      • AXON ДЛЯ ПОЛЬЗОВАТЕЛЕЙ
      • ENTERPRISE DATA CATALOG ДЛЯ ПОЛЬЗОВАТЕЛЕЙ
      • ENTERPRISE DATA CATALOG ДЛЯ АДМИНИСТРАТОРОВ
      • INFORMATICA ANALYST, DATA DISCOVERY И ПРОФИЛИРОВАНИЕ
  • О компании
    • Контакты компании
    • Новости DIS Group
    • СМИ о нас
    • Партнеры
    • Вакансии
    • Техническая поддержка
  • en
Пред.Сотрудники DIS Group поделились лучшими кейсами управления знаниями на CC Week30 октября 2018След.Решаем 5 главных проблем Big Data и среды Apache Hadoop. Часть 201 ноября 2018
  • Блог компании DIS Group

Решаем 5 главных проблем Big Data и среды Apache Hadoop. Часть 1.

31.10.2018в Блог компании DIS Group

Apache Hadoop и его экосистема приобретают всё большую популярность. Компании собирают и обрабатывают всё больше данных. Но большие данные приносят не только новые возможности, но и новые проблемы. О том, как их решить, рассказывает Джон Хаддад, старший директор по продуктовому маркетингу Big Data в Informatica.

Большие данные в Apache Hadoop – большие проблемы

  • Сложно подобрать и удержать квалифицированных специалистов, которые умеют работать с экосистемой Apache Hadoop.
  • Требуется много времени на реализацию проекта от пилотной версии до продуктовой среды.
  • Технологии Big Data эволюционируют очень быстро, что затрудняет их внедрение.
  • Проекты не приносят той пользы, которую от них ожидают.
  • Сложно добиться того, чтобы данные в Apache Hadoop подходили для выполнения поставленных целей, были доступными и надёжными, хранились в безопасности.

Apache hadoop big data

Как найти хороших специалистов

Самая большая проблема в работе с Big Data сейчас – найти хороших специалистов. Их требуется всё больше. Один из крупнейших международных банков начал свой проект по большим данным с командой из 5 Java-разработчиков. Но инициатива быстро развилась и в этом году им понадобилось нанять ещё 25 специалистов. Масштабировать свою инфраструктуру, чтобы хранить и обрабатывать большие объёмы данных, банк смог быстро. А увеличить число квалифицированных кадров – нет. Но, если детально разобраться с функциями специалистов по работе с большими данными, то окажется, что они выполняют много монотонных задач, которые могут быть автоматизированы. Согласно консалтинговой фирме Booz Allen Hamilton, «в некоторых организациях, аналитики тратят до 80% своего времени на подготовку данных. На проведение самого анализа у них остаётся всего 20%».

Автоматизировать выполнение задач по подготовке данных к аналитике (их интеграцию, каталогизацию, обеспечение их качества, обезличивание и так далее) помогают промышленные инструменты. В частности, решения компании Informatica, которые эффективно работают в среде Apache Hadoop. Для платформы Informatica вы легко найдёте специалиста на рынке. И он заменит армию программистов, которые вручную пишут код на Java и других языках программирования, которые подходят для Apache Hadoop. Проведённые тесты показали, что специалисты Informatica в среднем в 5 раз продуктивнее работают с данными на Apache Hadoop, чем программисты, которые работают вручную. И это при том, что первым не нужно осваивать написание кода на многочисленных языках программирования. Сейчас ситуация на рынке такая, что только каждой из топ-100 компаний мира необходимо нанять по 40 data scientists. Хотите ли вы тратить время таких востребованных специалистов на подготовку данных к анализу, а не на сам анализ? Или автоматизируете 80% их задач?

Как быстрее выводить проекты в продуктовые среды

Один из клиентов Informatica из области медиа и развлечений перед покупкой Informatica Big Data Management рассказал мне, что его предыдущий проект в области больших данных уже потерпел неудачу.  Он так объяснил мне причину этой неудачи: «Мы наняли опытных Java-разработчиков. Они придумали идею решения и даже доказали её жизнеспособность в песочнице. Но потом пришло время выводить это решение в продуктовую среду. И тогда им пришлось переработать большую часть кода, чтобы оно заработало, легко масштабировалось, было доступно 24х7 и интегрировалось с остальной продуктовой инфраструктурой. Кроме того, созданное решение было сложно поддерживать, когда что-то менялось. Всё вместе привело к задержкам в реализации всего проекта и перерасходу средств».

Проблемы Apache Hadoop

Сложно представить себе, что такая ситуация произойдёт с промышленной платформой.  Благодаря ей всё, что вы разрабатываете в песочнице, может быть мгновенно и автоматически использоваться для продуктовой среды. Производительность, масштабируемость и надёжность платформы обеспечиваются благодаря параметрам конфигурации. При этом нет необходимости перестраивать или перерабатывать разработки, как это приходится делать при работе с решениями, которые вы напишите сами. Также промышленная платформа упрощает повторное использование существующих разработок и поддержку проектов Big Data даже тогда, когда что-то меняется. Informatica BDM включает в себя технологию Vibe, которая обеспечивает универсальную совместимость систем и ускоряет загрузку новых типов данных в любых объёмах и на любой скорости.

Как подстраиваться под быстро меняющиеся технологии

Технологии Big Data появляются и развиваются очень быстро. Многие организации не успевают внедрить предыдущую разработку до того, как появится новая. Что, если вы сделаете ставку не на ту технологию, и узнаете, что она вышла из употребления ещё до того, как вы начали её использовать?

Apache Hadoop сейчас широко внедряется. Но он постоянно меняется и развивается вместе с другими решениями в области. Сейчас в сфере больших данных буквально сотни open-source и коммерческих решений. Informatica смогла эффективно решить проблему взрывного развития технологий. В платформу Big Data Management (BDM) встроена технология Vibe, которая позволяет использовать виртуальную машину. Благодаря этому практически любой процесс, который работает на традиционном оборудовании, может быть запущен без каких-либо дополнительных усилий на кластере Apache Hadoop.

Другими словами, инфраструктура, которую вы выстроили для корпоративных данных среднего размера, может использоваться и для Big Data. Текущие клиенты Informatica могут взять маппинги PowerCenter, которые они создали много лет назад, импортировать их в BDM и использовать в Apache Hadoop. В большинстве случаев это можно сделать без дополнительных усилий и не внося никаких изменений. Сегодня существуют платформы Apache Hadoop с пятью различными приправами. Завтра будет Apache Hadoop и пять совершенно других технологических платформ. Решения Informatica уже готовы к такой ситуации и смогут эффективно работать и с ними. Как решить оставшиеся две проблемы Big Data и среды Apache Hadoop, читайте во второй части статьи по ссылке Решаем 5 главных проблем Big Data и среды Apache Hadoop. Часть 2.

  • APACHE
  • Big Data
  • HADOOP

Похожие посты

Big Data Как решить 7 ключевых проблем сбора, обработки и аналитики потоковых данных IoT. Часть 1
10.08.2020в Big Data 0 Комментарии 0 "Нравится"

Как решить 7 ключевых проблем сбора, обработки и аналитики потоковых данных IoT. Часть 1

Аналитика нового поколения Внедрение BI: 5 ключевых рекомендаций
25.06.2020в Аналитика нового поколения 0 Комментарии 0 "Нравится"

Внедрение BI: 5 ключевых рекомендаций

Data governance Озеро данных в облаке: 4 причины роста популярности
19.06.2020в Data governance 0 Комментарии 0 "Нравится"

Озеро данных в облаке: 4 причины роста популярности

Data governance Озеро данных: как с помощью искусственного интеллекта извлекать максимальную пользу?
11.06.2020в Data governance 0 Комментарии 0 "Нравится"

Озеро данных: как с помощью искусственного интеллекта извлекать максимальную пользу?

Big Data Почему озеро данных не приносит пользы и что с этим делать?
13.05.2020в Big Data 0 Комментарии 0 "Нравится"

Почему озеро данных не приносит пользы и что с этим делать?

Big Data «Газпром нефть»
06.05.2020в Big Data 0 Комментарии 0 "Нравится"

«Газпром нефть»

Аналитика нового поколения Интеллектуальный анализ данных с помощью единой платформы Sisense и Periscope
26.03.2020в Аналитика нового поколения 0 Комментарии 0 "Нравится"

Интеллектуальный анализ данных с помощью единой платформы Sisense и Periscope

Аналитика нового поколения Что такое BI-дашборд и как его создать
21.01.2020в Аналитика нового поколения 0 Комментарии 1 "Нравится"

Что такое BI-дашборд и как его создать

Аналитика нового поколения Пять шагов к построению успешной стратегии BI. Часть 1
20.01.2020в Аналитика нового поколения 0 Комментарии 0 "Нравится"

Пять шагов к построению успешной стратегии BI. Часть 1

Аналитика нового поколения Кто нужен вашей компании: инженер данных или data scientist? Часть 2.
10.01.2020в Аналитика нового поколения 0 Комментарии 0 "Нравится"

Кто нужен вашей компании: инженер данных или data scientist? Часть 2.

Аналитика нового поколения Пять шагов к построению успешной стратегии BI. Часть 2
26.12.2019в Аналитика нового поколения 0 Комментарии 0 "Нравится"

Пять шагов к построению успешной стратегии BI. Часть 2

Аналитика нового поколения Умная монетизация данных: нужно аккуратно рисковать. Часть 2
16.12.2019в Аналитика нового поколения 0 Комментарии 0 "Нравится"

Умная монетизация данных: нужно аккуратно рисковать. Часть 2

Аналитика нового поколения Умная монетизация данных: нужно аккуратно рисковать. Часть 1
13.12.2019в Аналитика нового поколения 0 Комментарии 0 "Нравится"

Умная монетизация данных: нужно аккуратно рисковать. Часть 1

Новости DIS Group Сотрудники DIS Group рассказали на Cnews Forum, как сочетать инструменты Informatica и BMC Software для эффективной работы с Big Data
07.11.2019в Новости DIS Group 0 Комментарии 0 "Нравится"

Сотрудники DIS Group рассказали на Cnews Forum, как сочетать инструменты Informatica и BMC Software для эффективной работы с Big Data

Big Data 2019: BIG DATA для бизнеса – серия вебинаров
13.02.2019в Big Data 0 Комментарии 1 "Нравится"

2019: BIG DATA для бизнеса – серия вебинаров

Вебинары Big Data как инструмент выживания.
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Big Data как инструмент выживания.

Вебинары Качество Больших Данных или почему моя Big Data не взлетает?
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Качество Больших Данных или почему моя Big Data не взлетает?

Вебинары Большие данные – Большие знания.
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Большие данные – Большие знания.

Вебинары Конфиденциальность Больших Данных
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Конфиденциальность Больших Данных

Вебинары Data Lake – Озеро надежды. Как привлечь бизнес в проект Big Data.
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Data Lake – Озеро надежды. Как привлечь бизнес в проект Big Data.

Вебинары Как получить единый взгляд на ключевые данные компании?
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Как получить единый взгляд на ключевые данные компании?

Вебинары Cреда хранения и обработки данных – «Универсальная платформа данных Arenadata»
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Cреда хранения и обработки данных – «Универсальная платформа данных Arenadata»

Вебинары Цифровая монетизация данных
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Цифровая монетизация данных

Блог компании DIS Group 6 фактов об Apache Spark, которые нужно знать каждому
19.09.2018в Блог компании DIS Group 0 Комментарии 0 "Нравится"

6 фактов об Apache Spark, которые нужно знать каждому

Блог компании DIS Group Если бы Big Data могли говорить, они бы сказали нам: «Дело не во мне, дело в тебе»
24.08.2018в Блог компании DIS Group 0 Комментарии 0 "Нравится"

Если бы Big Data могли говорить, они бы сказали нам: «Дело не во мне, дело в тебе»

Блог компании DIS Group Ценность Big Data: висит груша, нельзя скушать. А вы научились монетизировать? Часть 2
05.08.2018в Блог компании DIS Group 0 Комментарии 0 "Нравится"

Ценность Big Data: висит груша, нельзя скушать. А вы научились монетизировать? Часть 2

Блог компании DIS Group Ценность Big Data: висит груша, нельзя скушать. А вы научились монетизировать?
02.08.2018в Блог компании DIS Group 0 Комментарии 0 "Нравится"

Ценность Big Data: висит груша, нельзя скушать. А вы научились монетизировать?

Поиск

Рубрики

  • Истории успеха (292)
    • Индустрия (128)
      • Банковский сектор (23)
      • Государственный сектор (1)
      • Другие (13)
      • Медицина (16)
      • Нефтегаз и энергетика (9)
      • Промышленность (7)
      • Розница (15)
      • Сельское хозяйство (2)
      • Страхование (19)
      • Телекоммуникации (18)
      • Транспорт (8)
      • Финансовые организации (2)
    • Решение (221)
      • Data governance (53)
      • E-commerce и омниканальность (32)
      • Аналитика нового поколения (80)
      • Противодействие финансовым преступлениям (4)
      • Решение в области Big Data (41)
      • Сustomer Experience (56)
    • Технологии (278)
      • Big Data (52)
      • NiceActimize (4)
      • Бизнес-аналитика (10)
      • Защита данных (15)
      • Интеграция данных (54)
      • Качество данных (21)
      • Система управления знаниями (54)
      • Технологии Data Governance (30)
      • Управление ИТ (38)
      • Управление мастер-данными (26)
  • Книги (10)
  • Новости компании (527)
    • Блог компании DIS Group (151)
    • Мероприятия (100)
      • Вебинары в записи (41)
    • Новости DIS Group (229)
    • СМИ о нас (37)
  • Опросы (6)
  • Ответы эксперта (21)
Модуль изображения

Мы упрощаем работу с данными и информацией, предоставляя новые возможности для роста бизнеса.
Email: info@dis-group.ru
Телефон: +7 495 645-0201, факс +7 495 645-0188
125284, Москва, Ленинградский проспект 31А, стр1, 6 этаж, БЦ «МонАрх»

Решения
Data Governance
Аналитика нового поколения
E-commerce и омниканальность
Сustomer Experience
Решение в области Big Data
Противодействие финансовым преступлениям
Мы в соцсетях
  • Facebook
  • LInkedIn
  • Youtube
Подписаться на новости

Будьте в курсе последних тенденций вместе с нами.

  • Новости рынка
Этот веб-сайт использует файлы cookie для улучшения обслуживания. Подробнее см. в Политике конфиденциальности DIS Group. Принять
Privacy & Cookies Policy

Privacy Overview

Этот веб-сайт использует куки для улучшения вашей навигации по сайту. Из этих файлов cookie файлы, которые классифицируются по мере необходимости, хранятся в вашем браузере, поскольку они необходимы для работы основных функций веб-сайта. Мы также используем сторонние файлы cookie, которые помогают нам анализировать и понимать, как вы используете этот веб-сайт. Эти куки будут храниться в вашем браузере только с вашего согласия. У вас также есть возможность отказаться от этих файлов cookie. Но отказ от некоторых из этих файлов cookie может повлиять на ваш опыт просмотра.
Privacy Overview

Этот веб-сайт использует куки для улучшения вашей навигации по сайту. Из этих файлов cookie файлы, которые классифицируются по мере необходимости, хранятся в вашем браузере, поскольку они необходимы для работы основных функций веб-сайта. Мы также используем сторонние файлы cookie, которые помогают нам анализировать и понимать, как вы используете этот веб-сайт. Эти куки будут храниться в вашем браузере только с вашего согласия. У вас также есть возможность отказаться от этих файлов cookie. Но отказ от некоторых из этих файлов cookie может повлиять на ваш опыт просмотра.

Necessary Always Enabled

Necessary cookies are absolutely essential for the website to function properly. This category only includes cookies that ensures basic functionalities and security features of the website. These cookies do not store any personal information.

Non-necessary

Any cookies that may not be particularly necessary for the website to function and is used specifically to collect user personal data via analytics, ads, other embedded contents are termed as non-necessary cookies. It is mandatory to procure user consent prior to running these cookies on your website.