Логотип сайта
Логотип фиксированного хедера
Мобильный логотип
  • Технологии
    • Управление данными
      • О платформе Informatica
      • Супермаркет данных
        • Axon Data Governance
        • Enterprise Data Catalog
        • Enterprise Data Preparation
      • Интеграция данных
        • PowerCenter
        • Informatica Integration Hub
        • Real-Time Data Integration
        • B2B Data Exchange
        • Advanced Data Transformation
        • Enterprise Data Catalog
      • Управление мастер-данными
        • Master Data Management Software
        • Product 360 (PIM)
        • Customer 360
        • Relate 360
      • Защита чувствительных данных
        • Data Privacy Management
        • Data Masking
      • Качество данных
        • Informatica Data Quality
      • Big Data
        • Enterprise Data Catalog
        • Data Engineering Integration
        • Enterprise Data Preparation
        • Data Engineering Streaming
        • Среда хранения и обработки данных Arenadata
      • Data Governance
        • Enterprise Data Catalog
        • Axon Data Governance
    • Бизнес-аналитика
    • Профессиональное управление знаниями
      • KMS Lighthouse
    • Управление ИТ
      • Управление потоками данных и процессами
      • Платформа управления ИТ-услугами
      • Автоматизация бизнес-процессов
      • Мониторинг ИТ-сервисов
    • Интеллектуальное рабочее место
    • Противодействие финансовым преступлениям
      • О платформе NiceActimize
      • Enterprise Risk Case Management
      • Противодействие отмыванию денег
      • Compliance на финансовых рынках
      • Антифрод
  • Бизнес-решения
    • Супермаркет данных
    • Data Governance
    • Управление потоками данных и процессами
    • Аналитика нового поколения
    • Сustomer Experience
    • Решение в области Big Data
    • Противодействие финансовым преступлениям
  • Консалтинг
  • Заказчики
  • Ресурсы
    • Мероприятия
    • Электронные книги
    • Вебинары в записи
    • Блог компании DIS Group
    • Спроси эксперта
    • Ток-шоу Game Changers
  • Обучение
    • О Тренинг-центре DIS Group
      • Путь развития компетенций
    • Все тренинги
      • ЗНАКОМСТВО СО СРЕДСТВОМ РАЗРАБОТКИ – INFORMATICA DEVELOPER
      • BIG DATA ДЛЯ РАЗРАБОТЧИКОВ
      • POWEREXCHANGE ДЛЯ ORACLE CDC
      • BUSINESS GLOSSARY ДЛЯ ПОЛЬЗОВАТЕЛЕЙ
      • METADATA MANAGER ДЛЯ ПОЛЬЗОВАТЕЛЕЙ
      • POWERCENTER: ИНТЕГРАЦИЯ ДАННЫХ ДЛЯ РАЗРАБОТЧИКОВ. УРОВЕНЬ 2
      • TEST DATA MANAGEMENT ДЛЯ РАЗРАБОТЧИКОВ
      • DATA QUALITY ДЛЯ РАЗРАБОТЧИКОВ
      • DATA QUALITY ДЛЯ РАЗРАБОТЧИКОВ. УРОВЕНЬ 2
      • АДМИНИСТРИРОВАНИЕ ПЛАТФОРМЫ INFORMATICA
      • POWERCENTER: ИНТЕГРАЦИЯ ДАННЫХ ДЛЯ РАЗРАБОТЧИКОВ
      • AXON ДЛЯ АДМИНИСТРАТОРОВ
      • AXON ДЛЯ ПОЛЬЗОВАТЕЛЕЙ
      • ENTERPRISE DATA CATALOG ДЛЯ ПОЛЬЗОВАТЕЛЕЙ
      • ENTERPRISE DATA CATALOG ДЛЯ АДМИНИСТРАТОРОВ
      • INFORMATICA ANALYST, DATA DISCOVERY И ПРОФИЛИРОВАНИЕ
  • О компании
    • Контакты компании
    • Новости DIS Group
    • СМИ о нас
    • Партнеры
    • Вакансии
    • Техническая поддержка
  • en
Пред.Гибкость или масштаб данных10 января 2020След.У вас проблемы с данными? Вы можете это исправить11 января 2020
  • Аналитика нового поколения
  • Бизнес-аналитика
  • Блог компании DIS Group

Кто нужен вашей компании: инженер данных или data scientist? Часть 2.

10.01.2020в Аналитика нового поколения

О том, кто такой инженер данных, чем он отличается от data scientist, и о том, кто из них нужен вашей компании рассказывает Адам Мюррей, менеджер по контентному маркетингу компании Sisense.

Также читайте статью Что нужно, чтобы стать data scientist?

Какие инструменты нужны инженеру данных

Если просмотреть сайты по поиску работы, можно увидеть, что инженеры данных используют множество инструментов для поиска структуры в больших данных, управления ими, их хранения, перемещения. Среди этих инструментов – Hadoop, Spark, Kafka, MySQL, Redis, Riak, PostgreSQL, MongoDB, neo4j, Hive, and Sqoop.  Кроме того, для инженеров данных будут полезны инструменты для управления конвейерами данных и потоками задач по обработке данных. Среди этих инструментов –  Azkaban, Luigi, и Airflow и другие.
Какие инструменты нужны инженеру данных

При этом большинство хранилищ сейчас активно движется в облака. Поэтому инженеры данных всё больше работают с облачными сервисами AWS, EC2, EMR, RDS и Redshift, облачными хранилищами, например, Snowflake и Google BiqQuery, вычислительными облачными сервисами, например, Microsoft Azure, решениями для оркестрирования систем, например, Kubernetes. Более того, все большее значение приобретает машинное обучение и искусственный интеллект, нейронные сети. А подготовить конвейеры данных для нейронных сетей – также задача инженера данных. Что касается языков программирования, то инженеры по данным используют Python, R, Java, C++, и Scala.

Какие инструменты нужны data scientist

Data scientist тоже должен владеть Python, R, Scala, Java, and C++. Однако Scala всё-таки более популярна среди инженеров данных. Им она особенно нужна, так как со Spark сложно создавать крупные ETL-потоки. Bнженеры данных чаще используют и Java, хотя для data scientist этот язык в последнее время также приобретает всё большее значение. Кроме того, для data scientist могут быть нужны SPSS, SAS, Stata, и Julia для построения моделей, а также Matlab и F#. Когда data scientist использует Python, полезными будут библиотеки машинного обучения Scikit-learn, библиотеки NumPy, SciPy, Matplotlib, пакет для изучения статистических данных Statsmodels и другие.

Безусловно, data scientist, как и инженеру данных не обойтись без хорошего знания решений для распределённого хранения и обработки больших данных Hadoop, Hive, Storm, Gurobi, MySQL, Spark, а также облачных сервисов AWS. Также data scientist должен прекрасно владеть широким перечнем инструментов для анализа данных, их визуализации, BI-инструментами. Так, для визуализации данных важно досконально изучить D3 (библиотека JavaScript). При работе с R для визуализации данных можно использовать ggplot2, с Python – библиотеку Pandas.

Не только знания, но и опыт у data scientist и инженера данных

Знание инструментов, которые я перечисляю выше – необходимое условие для успешной работы data scientist и инженера данных. Кроме того, если вы нанимаете того или другого специалиста, важно обратить внимание на практический опыт кандидатов. Очевидно, что и data scientist, и инженер данных должны разбираться в области ИТ, но на разном уровне. Обычно технические компетенции инженера данных более глубокие, он лучше знаком в различными ИТ-системами. Безусловно, определяющим тут является опыт работы с большими данными, различными базами данных, облачными решениями, опыт обработки больших объёмов разрозненных наборов данных и поиск в них полезной информации. Инженер данных должен понимать код и скрипты, иметь опыт мониторинга работы систем, создания дашбордов, настройки оповещений. Мы уже отмечали, что data scientist больше ориентирован на бизнес. Поэтому у него может быть экономическое, математическое образование и прочее. Также data scientist может прийти в профессию из вэб-разработки, администрирования баз данных и из других смежных специальностей.

Оптимальный тандем – data scientist и инженер данных

У data scientists обычно более богатый опыт в использовании прикладных математических моделей, статистики, разработки моделей данных и машинного обучения. Кроме того, как мы ранее отмечали, у него должен быть опыт визуализации данных и презентации инсайтов для бизнеса на основе данных.  Другими словами, они должны хорошо уметь рассказать технических вещах людям из бизнеса.

Оптимальный тандем – data scientist и инженер данных

Выбирать межу data scientist и инженером данных нужно после того, как вы проанализировали те задачи, которые есть в вашей компании. Было бы оптимально нанять обоих. Такой тандем позволит вам извлекать максимальную пользу из данных, получать инсайты, которые будут двигать ваш бизнес вперед.

  • BI
  • Big Data
  • data science
  • Informatica
  • Sisense
  • аналитика
  • большие данные
  • инженер по данным
  • монетизация данных

Похожие посты

Big Data Монетизация данных. Что нового в 2020 году?
30.12.2020в Big Data 0 Комментарии 0 "Нравится"

Монетизация данных. Что нового в 2020 году?

Аналитика нового поколения Как лучше всего выстроить работу удалённой команды
28.12.2020в Аналитика нового поколения 0 Комментарии 0 "Нравится"

Как лучше всего выстроить работу удалённой команды

Data governance Что ждёт финансовые организации в 2021 году? 6 ключевых прогнозов
22.12.2020в Data governance 0 Комментарии 0 "Нравится"

Что ждёт финансовые организации в 2021 году? 6 ключевых прогнозов

Вебинары Опыт внедрения Data Governance в страховой компании State Farm
16.11.2020в Вебинары 0 Комментарии 0 "Нравится"

Опыт внедрения Data Governance в страховой компании State Farm

Big Data Как решить 7 ключевых проблем сбора, обработки и аналитики потоковых данных IoT. Часть 1
10.08.2020в Big Data 0 Комментарии 0 "Нравится"

Как решить 7 ключевых проблем сбора, обработки и аналитики потоковых данных IoT. Часть 1

Big Data CDO нужны лидерские качества. Какие именно?
21.07.2020в Big Data 0 Комментарии 0 "Нравится"

CDO нужны лидерские качества. Какие именно?

Big Data Роль CDO во время кризиса
13.07.2020в Big Data 0 Комментарии 0 "Нравится"

Роль CDO во время кризиса

Аналитика нового поколения Внедрение BI: 5 ключевых рекомендаций
25.06.2020в Аналитика нового поколения 0 Комментарии 0 "Нравится"

Внедрение BI: 5 ключевых рекомендаций

Data governance Польза от Data Governance для бизнеса
19.06.2020в Data governance 0 Комментарии 0 "Нравится"

Польза от Data Governance для бизнеса

Data governance Озеро данных в облаке: 4 причины роста популярности
19.06.2020в Data governance 0 Комментарии 0 "Нравится"

Озеро данных в облаке: 4 причины роста популярности

Data governance Озеро данных: как с помощью искусственного интеллекта извлекать максимальную пользу?
11.06.2020в Data governance 0 Комментарии 0 "Нравится"

Озеро данных: как с помощью искусственного интеллекта извлекать максимальную пользу?

Data governance 5 причин того, почему MDM-система необходима для ведения бизнеса онлайн в условиях эпидемии коронавируса
14.05.2020в Data governance 0 Комментарии 0 "Нравится"

5 причин того, почему MDM-система необходима для ведения бизнеса онлайн в условиях эпидемии коронавируса

Big Data Почему озеро данных не приносит пользы и что с этим делать?
13.05.2020в Big Data 0 Комментарии 0 "Нравится"

Почему озеро данных не приносит пользы и что с этим делать?

Data governance Как с помощью Informatica Enterprise Data Catalog ускорить цифровую трансформацию на основе SAP
08.05.2020в Data governance 0 Комментарии 0 "Нравится"

Как с помощью Informatica Enterprise Data Catalog ускорить цифровую трансформацию на основе SAP

Big Data «Газпром нефть»
06.05.2020в Big Data 0 Комментарии 0 "Нравится"

«Газпром нефть»

Аналитика нового поколения Интеллектуальный анализ данных с помощью единой платформы Sisense и Periscope
26.03.2020в Аналитика нового поколения 0 Комментарии 0 "Нравится"

Интеллектуальный анализ данных с помощью единой платформы Sisense и Periscope

Big Data Позиция CDO становится важнейшей позицией в госсекторе
26.03.2020в Big Data 0 Комментарии 0 "Нравится"

Позиция CDO становится важнейшей позицией в госсекторе

Аналитика нового поколения Что такое BI-дашборд и как его создать
21.01.2020в Аналитика нового поколения 0 Комментарии 1 "Нравится"

Что такое BI-дашборд и как его создать

Аналитика нового поколения Пять шагов к построению успешной стратегии BI. Часть 1
20.01.2020в Аналитика нового поколения 0 Комментарии 0 "Нравится"

Пять шагов к построению успешной стратегии BI. Часть 1

Big Data Успешная реализация программы Data Governance. Опыт страховой компании L.A. Care Health Plan
15.01.2020в Big Data 0 Комментарии 0 "Нравится"

Успешная реализация программы Data Governance. Опыт страховой компании L.A. Care Health Plan

Аналитика нового поколения Пять шагов к построению успешной стратегии BI. Часть 2
26.12.2019в Аналитика нового поколения 0 Комментарии 0 "Нравится"

Пять шагов к построению успешной стратегии BI. Часть 2

Аналитика нового поколения Умная монетизация данных: нужно аккуратно рисковать. Часть 2
16.12.2019в Аналитика нового поколения 0 Комментарии 0 "Нравится"

Умная монетизация данных: нужно аккуратно рисковать. Часть 2

Аналитика нового поколения Умная монетизация данных: нужно аккуратно рисковать. Часть 1
13.12.2019в Аналитика нового поколения 0 Комментарии 0 "Нравится"

Умная монетизация данных: нужно аккуратно рисковать. Часть 1

Big Data На что обратить внимание CDO (Chief Data Officer) при переходе компании в облако
21.11.2019в Big Data 0 Комментарии 0 "Нравится"

На что обратить внимание CDO (Chief Data Officer) при переходе компании в облако

Big Data Как обеспечить высокое качество данных для машинного обучения и почему это важно?
19.11.2019в Big Data 0 Комментарии 0 "Нравится"

Как обеспечить высокое качество данных для машинного обучения и почему это важно?

Новости DIS Group Сотрудники DIS Group рассказали на Cnews Forum, как сочетать инструменты Informatica и BMC Software для эффективной работы с Big Data
07.11.2019в Новости DIS Group 0 Комментарии 0 "Нравится"

Сотрудники DIS Group рассказали на Cnews Forum, как сочетать инструменты Informatica и BMC Software для эффективной работы с Big Data

Big Data 2019: BIG DATA для бизнеса – серия вебинаров
13.02.2019в Big Data 0 Комментарии 1 "Нравится"

2019: BIG DATA для бизнеса – серия вебинаров

Вебинары Big Data как инструмент выживания.
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Big Data как инструмент выживания.

Вебинары Качество Больших Данных или почему моя Big Data не взлетает?
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Качество Больших Данных или почему моя Big Data не взлетает?

Вебинары Большие данные – Большие знания.
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Большие данные – Большие знания.

Вебинары Конфиденциальность Больших Данных
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Конфиденциальность Больших Данных

Вебинары Data Lake – Озеро надежды. Как привлечь бизнес в проект Big Data.
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Data Lake – Озеро надежды. Как привлечь бизнес в проект Big Data.

Вебинары Как получить единый взгляд на ключевые данные компании?
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Как получить единый взгляд на ключевые данные компании?

Вебинары Cреда хранения и обработки данных – «Универсальная платформа данных Arenadata»
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Cреда хранения и обработки данных – «Универсальная платформа данных Arenadata»

Вебинары Цифровая монетизация данных
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Цифровая монетизация данных

Блог компании DIS Group Решаем 5 главных проблем Big Data и среды Apache Hadoop. Часть 1.
31.10.2018в Блог компании DIS Group 0 Комментарии 0 "Нравится"

Решаем 5 главных проблем Big Data и среды Apache Hadoop. Часть 1.

Блог компании DIS Group Если бы Big Data могли говорить, они бы сказали нам: «Дело не во мне, дело в тебе»
24.08.2018в Блог компании DIS Group 0 Комментарии 0 "Нравится"

Если бы Big Data могли говорить, они бы сказали нам: «Дело не во мне, дело в тебе»

Блог компании DIS Group Ценность Big Data: висит груша, нельзя скушать. А вы научились монетизировать? Часть 2
05.08.2018в Блог компании DIS Group 0 Комментарии 0 "Нравится"

Ценность Big Data: висит груша, нельзя скушать. А вы научились монетизировать? Часть 2

Блог компании DIS Group Ценность Big Data: висит груша, нельзя скушать. А вы научились монетизировать?
02.08.2018в Блог компании DIS Group 0 Комментарии 0 "Нравится"

Ценность Big Data: висит груша, нельзя скушать. А вы научились монетизировать?

Блог компании DIS Group Обработка данных или магия искусственного интеллекта
12.07.2018в Блог компании DIS Group 0 Комментарии 1 "Нравится"

Обработка данных или магия искусственного интеллекта

Поиск

Рубрики

  • Истории успеха (310)
    • Индустрия (130)
      • Банковский сектор (24)
      • Государственный сектор (1)
      • Другие (13)
      • Медицина (17)
      • Нефтегаз и энергетика (9)
      • Промышленность (7)
      • Розница (15)
      • Сельское хозяйство (2)
      • Страхование (19)
      • Телекоммуникации (18)
      • Транспорт (8)
      • Финансовые организации (3)
    • Решение (234)
      • Data governance (58)
      • E-commerce и омниканальность (32)
      • Аналитика нового поколения (83)
      • Противодействие финансовым преступлениям (6)
      • Решение в области Big Data (43)
      • Сustomer Experience (60)
    • Технологии (296)
      • Big Data (54)
      • NiceActimize (7)
      • Бизнес-аналитика (13)
      • Защита данных (17)
      • Интеграция данных (55)
      • Качество данных (22)
      • Система управления знаниями (58)
      • Технологии Data Governance (34)
      • Управление ИТ (39)
      • Управление мастер-данными (27)
  • Книги (12)
  • Новости компании (539)
    • Блог компании DIS Group (153)
    • Мероприятия (103)
      • Вебинары в записи (44)
    • Новости DIS Group (239)
    • СМИ о нас (37)
  • Опросы (6)
  • Ответы эксперта (21)
Модуль изображения

Мы упрощаем работу с данными и информацией, предоставляя новые возможности для роста бизнеса.
Email: info@dis-group.ru
Телефон: +7 495 645-0201, факс +7 495 645-0188
125284, Москва, Ленинградский проспект 31А, стр1, 6 этаж, БЦ «МонАрх»

Решения
Data Governance
Аналитика нового поколения
E-commerce и омниканальность
Сustomer Experience
Решение в области Big Data
Противодействие финансовым преступлениям
Мы в соцсетях
  • Facebook
  • LInkedIn
  • Youtube
Подписаться на новости

Будьте в курсе последних тенденций вместе с нами.

  • Новости рынка
Этот веб-сайт использует файлы cookie для улучшения обслуживания. Подробнее см. в Политике конфиденциальности DIS Group. Принять
Privacy & Cookies Policy

Privacy Overview

Этот веб-сайт использует куки для улучшения вашей навигации по сайту. Из этих файлов cookie файлы, которые классифицируются по мере необходимости, хранятся в вашем браузере, поскольку они необходимы для работы основных функций веб-сайта. Мы также используем сторонние файлы cookie, которые помогают нам анализировать и понимать, как вы используете этот веб-сайт. Эти куки будут храниться в вашем браузере только с вашего согласия. У вас также есть возможность отказаться от этих файлов cookie. Но отказ от некоторых из этих файлов cookie может повлиять на ваш опыт просмотра.
Privacy Overview

Этот веб-сайт использует куки для улучшения вашей навигации по сайту. Из этих файлов cookie файлы, которые классифицируются по мере необходимости, хранятся в вашем браузере, поскольку они необходимы для работы основных функций веб-сайта. Мы также используем сторонние файлы cookie, которые помогают нам анализировать и понимать, как вы используете этот веб-сайт. Эти куки будут храниться в вашем браузере только с вашего согласия. У вас также есть возможность отказаться от этих файлов cookie. Но отказ от некоторых из этих файлов cookie может повлиять на ваш опыт просмотра.

Necessary Always Enabled

Necessary cookies are absolutely essential for the website to function properly. This category only includes cookies that ensures basic functionalities and security features of the website. These cookies do not store any personal information.

Non-necessary

Any cookies that may not be particularly necessary for the website to function and is used specifically to collect user personal data via analytics, ads, other embedded contents are termed as non-necessary cookies. It is mandatory to procure user consent prior to running these cookies on your website.