Логотип сайта
Логотип фиксированного хедера
Мобильный логотип
  • Технологии и решения
    • Управление данными
      • Big Data
        • Data Engineering lntegration
        • Data Engineering Streaming
      • Data Governance
        • Axon Data Governance
        • Enterprise Data Catalog
        • Informatica Data Quality
      • Качество данных
        • Informatica Data Quality
      • Защита чувствительных данных
        • Data Privacy Management
        • Data Masking
      • Супермаркет данных
        • Axon Data Governance
        • Enterprise Data Catalog
        • Enterprise Data Preparation
      • Интеграция данных
        • PowerCenter
        • B2B Data Exchange
        • Data Integration Hub
      • Управление мастер-данными
        • Multidomain MDM
        • Product 360 (PIM)
        • Customer 360
      • Хранение и обработка данных
      • Управление потоками данных и процессами
        • BMC Control-M
    • Управление ИТ
      • Управление потоками данных и процессами
        • BMC Control-M
      • Управление ИТ-услугами
        • BMC Helix (Remedy)
      • Автоматизация бизнес-процессов
        • BMC Control-M
      • Мониторинг ИТ-сервисов
        • BMC TrueSight Operations Management
      • Управление мощностями
        • BMC TrueSight Operations Management
    • Управление знаниями
      • KMS Lighthouse
    • Противодействие финансовым преступлениям
      • Антифрод
      • Противодействие отмыванию денег
      • Compliance на финансовых рынках
      • Enterprise Risk Case Management
    • Интеллектуальное рабочее место
    • Бизнес-аналитика
  • Продукты и услуги
    • Informatica
      • PowerCenter
      • Enterprise Data Catalog
      • Axon Data Governance
      • Data Masking
      • Multidomain MDM
      • Informatica Data Quality
      • Data Privacy Management
      • Другие продукты Informatica
    • BMC Software
      • BMC Helix (Remedy)
      • BMC Control-M
      • BMC TrueSight Operations Management
    • KMS Lighthouse
    • Nice Actimize
      • Антифрод
      • AML
      • Enterprise Risk Case Management
    • Citrix
    • Arenadata
    • Sisense
    • Консалтинг и внедрение
    • Тренинг-центр
    • Техническая поддержка
  • Истории успеха
  • Тренинг-центр
  • Ресурсы
    • Электронные книги
    • Вебинары в записи
    • Блог компании DIS Group
    • Спроси эксперта
    • Ток-шоу Game Changers
  • О компании
    • Контакты
    • Мероприятия
    • Новости DIS Group
    • СМИ о нас
    • Партнеры
    • Вакансии
    • Техническая поддержка
Пред.Важность изучения набора больших данных перед началом работы06 августа 2020След.Как большие данные помогают в стремлении к автоматизации12 августа 2020
  • Big Data
  • Data governance
  • Блог компании DIS Group
  • Решение в области Big Data

Как решить 7 ключевых проблем сбора, обработки и аналитики потоковых данных IoT. Часть 1

10.08.2020в Big Data

О том, как эффективно использовать данные IoT, рассказывает Вишванат Белур. Вишнават отвечает за решения Enterprise Streaming Data Management в Informatica. О том, что такое потоковая обработка данных IoT и зачем она нужна, читайте в другой статье блога.

Данные IoT создают новые проблемы

Интернет вещей развивается такими быстрыми темпами, что к концу 2020 года на планете будет больше подключённых к нему устройств, чем людей (так подсчитала компания Cisco). При этом интернет вещей по сути своей представляет неоднородную и распределённую среду. Это накладывает значительные ограничения на то, какие методологии подойдут для сбора данных IoT и их потоковой передаче в слои обработки и аналитики.

Проблем становится ещё больше, когда речь идёт о промышленном интернете вещей, где информация собирается с тысяч датчиков. В этой статье я постарался подробно рассказать о том, что это за проблемы и как их можно эффективно решить.

Как собирать данные IoT из разрозненных источников и устройств

Сейчас есть тысячи различных платформ для поддержки устройств интернета вещей, могут быть прошиты простые устройства (например, осветительные приборы) и более сложные (медицинские аппараты, например, аппараты искусственной вентиляции лёгких). Есть возможность самому программировать работу различных устройств на основе решений open-source (например, Arduino). Можно использовать для интернета вещей промышленные облачные решения или компьютеры. Несмотря на это разнообразие большинство компаний не уделяет должного внимания сбору данных IoT. А из-за этого инновационные проекты (в том числе проекты с применением продвинутой аналитики и искусственного интеллекта) часто оказываются провальными. Часто в проекте просто подразумевается, что данные IoT будут ждать аналитиков и data scientists в нужном месте. На практике же оказывается, что нужно приложить много усилий, чтобы собрать информацию для обработки.

Как справиться с дрейфом данных IoT

Существует множество различных способов взаимодействия с миллиардами датчиков, генерирующих информацию. Но из-за различных ограничений (информационная безопасность, требования вендоров и прочее) собирать данные IoT чаще всего приходится как можно ближе к датчику, который их генерирует. «Как можно ближе» значит в той же локальной сети или через физически связанный кабель. Поэтому так важно иметь возможность без проблем устанавливать программных агентов на оптимальные для сбора данных IoT участки. Кроме того, важно следить, чтобы программное обеспечение соответствовало требованиям к информационной безопасности не только на момент установки датчика, но и на протяжении всего периода его использования.  Также важно учитывать, что придётся иметь дело со средами, в которые включены сотни и тысячи отдельных устройств.

Как справиться с дрейфом данных IoT

Дрейф данных IoT – это постепенное изменение их формата и семантики с течение времени. Худший вариант – когда такие изменения происходят незаметно. Но гораздо чаще часть изменений всё-таки фиксируется. Например, команда замечает новый формат данных IoT, но упускает из виду изменения в семантике, неправильно заполненные или никак не запененные поля. В любом случае при сборе данных IoT нужно помнить о дрейфе, чтобы не собирать мусор. Ниже несколько распространённых подходов, которые компании обычно применяют по отношению к дрейфу.

  • Самая простая стратегия – полностью игнорировать дрейф. Компании придерживаются такого подхода, когда ничего не могут сделать с этой проблемой или когда даже не подозревают о её существовании. Очень не рекомендую так делать, так как данные IoT в этом случае будут очень низкого качества.
  • Также можно при изменении формата или семантики данных IoT сразу останавливать сбор информации и оповещать всех заинтересованных сотрудников об инциденте. Этот подход самый безопасный. Благодаря ему вы избежите сбора некачественных сведений, потому что какое-то время не будете собирать ничего.
  • Ещё один подход – постараться передавать только качественные данные IoT в потоковую аналитику, не прекращая сбор информации как таковой. Можно не передавать отдельные поля, в которых находится некачественная информация. При этом важно сделать советующую пометку для коллег и сообщить об инциденте тем, кто сможет устранить его.
  • Ещё более сложный подход – обучить систему автоматически устранять дрейф. Например, представьте себе поле «сумма», в которое всегда попадало какое-то значение, выраженной в числах, по умолчанию в какой-либо валюте. Но по каким-то причинам в это поле начали попадать не только цифры, но и название валюты. В этой ситуации система должна автоматически определить дрейф, сообщить об этом ответственным сотрудникам и самостоятельно устранить проблему.

Дрейф – одна из ключевых причин плохого качества данных IoT. Ситуацию осложняет то, что происходит дрейф в системе, которая потом будет служить источником информации для других систем. Если у вас не будет возможности тщательно мониторить ситуацию, будет очень сложно добиться того, чтобы собираемая информация была верной. Рано или поздно сбор потоковых данных IoT будет нарушен, или, что ещё хуже, некачественная информация попадёт в различные системы компании.

Как справиться с тем, что сеть не всегда доступна

Как справиться с тем, что сеть не всегда доступна

Мы привыкли к тому, что интернет сейчас доступен всегда. Однако всякое может произойти. К тому же в некоторых ситуациях использование интернета затруднено в принципе. Прекрасный пример этому – судоходное дело. Корабли, субмарины, трейлеры и яхты большую часть времени не подключены к всемирной паутине, остаются изолированными. А если подключение и есть, оно осуществляет через спутники и обычно очень дорогое. Операции на борту не могут зависеть от подключения к дата-центру на земле. В такой ситуации обычные подходы к мониторингу (сбор больших объёмов информации о параметрах работы и оповещения о сбоях через сервер) не работают. При этом те сведения, которые собираются на суднах, также хотелось бы использовать.

Выход может быть следующий: подготовить заранее процесс сбора данных IoT (в том числе и потоковых) к перебоям с интернетом – настроить процессы эффективного сохранения информации и её последующей загрузки в системы-приёмники. Частично собранные сведения можно обработать и использовать на месте, остальные – сохранить и использовать, когда связь появится. При настройке такого сохранения и отложенного использования данных IoT необходимо учитывать целый ряд важных факторов. В частности, что должно произойти при внезапном появлении сети на несколько секунд? Будут ли более приоритетными свежие данные IoT по сравнению с более старыми? Или стоит поочерёдно загружать в системы потоковые и сохранённые сведения.

О том, как справиться с другими проблемами потоковой аналитики данных IoT, читайте во второй части статьи.

Задайте вопрос эксперту

техническому директору DIS GROUP Олегу Гиацинтову
Ответы эксперта Как обработать данные, собранные с датчиков Интернета вещей?

Как обработать данные, собранные с датчиков Интернета вещей?

Ответы эксперта Что такое каталог данных?

Что такое каталог данных?

Ответы эксперта Как внедрение проектов по управлению данными помогает компании?

Как внедрение проектов по управлению данными помогает компании?

Задайте ваш вопрос эксперту
  • Big Data
  • cdo_hub
  • Informatica
  • аналитика
  • большие данные
  • интеграция данных
  • интернет вещей
  • потоковая обработка данных

Похожие посты

Big Data Монетизация данных. Что нового в 2020 году?
30.12.2020в Big Data 0 Комментарии 0 "Нравится"

Монетизация данных. Что нового в 2020 году?

Data governance Что ждёт финансовые организации в 2021 году? 6 ключевых прогнозов
22.12.2020в Data governance 0 Комментарии 0 "Нравится"

Что ждёт финансовые организации в 2021 году? 6 ключевых прогнозов

Новости компании Опрос. Поделитесь своим мнением об ИТ и цифровой трансформации в России
23.11.2020в Новости компании 0 Комментарии 0 "Нравится"

Опрос. Поделитесь своим мнением об ИТ и цифровой трансформации в России

Вебинары Опыт внедрения Data Governance в страховой компании State Farm
16.11.2020в Вебинары 0 Комментарии 0 "Нравится"

Опыт внедрения Data Governance в страховой компании State Farm

Big Data CDO нужны лидерские качества. Какие именно?
21.07.2020в Big Data 0 Комментарии 0 "Нравится"

CDO нужны лидерские качества. Какие именно?

Big Data Роль CDO во время кризиса
13.07.2020в Big Data 0 Комментарии 0 "Нравится"

Роль CDO во время кризиса

Аналитика нового поколения Внедрение BI: 5 ключевых рекомендаций
25.06.2020в Аналитика нового поколения 0 Комментарии 0 "Нравится"

Внедрение BI: 5 ключевых рекомендаций

Блог компании DIS Group 5 трендов управления ИТ-услугами, которые нельзя оставить без внимания. Часть 2
23.06.2020в Блог компании DIS Group 0 Комментарии 0 "Нравится"

5 трендов управления ИТ-услугами, которые нельзя оставить без внимания. Часть 2

Блог компании DIS Group 5 трендов управления ИТ-услугами, которые нельзя оставить без внимания. Часть 1
22.06.2020в Блог компании DIS Group 0 Комментарии 0 "Нравится"

5 трендов управления ИТ-услугами, которые нельзя оставить без внимания. Часть 1

Data governance Польза от Data Governance для бизнеса
19.06.2020в Data governance 0 Комментарии 0 "Нравится"

Польза от Data Governance для бизнеса

Data governance Озеро данных в облаке: 4 причины роста популярности
19.06.2020в Data governance 0 Комментарии 0 "Нравится"

Озеро данных в облаке: 4 причины роста популярности

Data governance Озеро данных: как с помощью искусственного интеллекта извлекать максимальную пользу?
11.06.2020в Data governance 0 Комментарии 0 "Нравится"

Озеро данных: как с помощью искусственного интеллекта извлекать максимальную пользу?

Блог компании DIS Group Как повсеместное внедрение интернета вещей влияет на управление ИТ-услугами. Часть 2
10.06.2020в Блог компании DIS Group 0 Комментарии 0 "Нравится"

Как повсеместное внедрение интернета вещей влияет на управление ИТ-услугами. Часть 2

Блог компании DIS Group Как повсеместное внедрение интернета вещей влияет на управление ИТ-услугами. Часть 1
09.06.2020в Блог компании DIS Group 0 Комментарии 0 "Нравится"

Как повсеместное внедрение интернета вещей влияет на управление ИТ-услугами. Часть 1

Data governance 5 причин того, почему MDM-система необходима для ведения бизнеса онлайн в условиях эпидемии коронавируса
14.05.2020в Data governance 0 Комментарии 0 "Нравится"

5 причин того, почему MDM-система необходима для ведения бизнеса онлайн в условиях эпидемии коронавируса

Big Data Почему озеро данных не приносит пользы и что с этим делать?
13.05.2020в Big Data 0 Комментарии 0 "Нравится"

Почему озеро данных не приносит пользы и что с этим делать?

Data governance Как с помощью Informatica Enterprise Data Catalog ускорить цифровую трансформацию на основе SAP
08.05.2020в Data governance 0 Комментарии 0 "Нравится"

Как с помощью Informatica Enterprise Data Catalog ускорить цифровую трансформацию на основе SAP

Big Data «Газпром нефть»
06.05.2020в Big Data 0 Комментарии 0 "Нравится"

«Газпром нефть»

Аналитика нового поколения Интеллектуальный анализ данных с помощью единой платформы Sisense и Periscope
26.03.2020в Аналитика нового поколения 0 Комментарии 0 "Нравится"

Интеллектуальный анализ данных с помощью единой платформы Sisense и Periscope

Big Data Позиция CDO становится важнейшей позицией в госсекторе
26.03.2020в Big Data 0 Комментарии 0 "Нравится"

Позиция CDO становится важнейшей позицией в госсекторе

Аналитика нового поколения Что такое BI-дашборд и как его создать
21.01.2020в Аналитика нового поколения 0 Комментарии 1 "Нравится"

Что такое BI-дашборд и как его создать

Аналитика нового поколения Пять шагов к построению успешной стратегии BI. Часть 1
20.01.2020в Аналитика нового поколения 0 Комментарии 0 "Нравится"

Пять шагов к построению успешной стратегии BI. Часть 1

Big Data Успешная реализация программы Data Governance. Опыт страховой компании L.A. Care Health Plan
15.01.2020в Big Data 0 Комментарии 0 "Нравится"

Успешная реализация программы Data Governance. Опыт страховой компании L.A. Care Health Plan

Аналитика нового поколения Кто нужен вашей компании: инженер данных или data scientist? Часть 2.
10.01.2020в Аналитика нового поколения 0 Комментарии 0 "Нравится"

Кто нужен вашей компании: инженер данных или data scientist? Часть 2.

Аналитика нового поколения Пять шагов к построению успешной стратегии BI. Часть 2
26.12.2019в Аналитика нового поколения 0 Комментарии 0 "Нравится"

Пять шагов к построению успешной стратегии BI. Часть 2

Аналитика нового поколения Умная монетизация данных: нужно аккуратно рисковать. Часть 2
16.12.2019в Аналитика нового поколения 0 Комментарии 0 "Нравится"

Умная монетизация данных: нужно аккуратно рисковать. Часть 2

Аналитика нового поколения Умная монетизация данных: нужно аккуратно рисковать. Часть 1
13.12.2019в Аналитика нового поколения 0 Комментарии 0 "Нравится"

Умная монетизация данных: нужно аккуратно рисковать. Часть 1

Big Data На что обратить внимание CDO (Chief Data Officer) при переходе компании в облако
21.11.2019в Big Data 0 Комментарии 0 "Нравится"

На что обратить внимание CDO (Chief Data Officer) при переходе компании в облако

Big Data Как обеспечить высокое качество данных для машинного обучения и почему это важно?
19.11.2019в Big Data 0 Комментарии 0 "Нравится"

Как обеспечить высокое качество данных для машинного обучения и почему это важно?

Новости DIS Group Сотрудники DIS Group рассказали на Cnews Forum, как сочетать инструменты Informatica и BMC Software для эффективной работы с Big Data
07.11.2019в Новости DIS Group 0 Комментарии 0 "Нравится"

Сотрудники DIS Group рассказали на Cnews Forum, как сочетать инструменты Informatica и BMC Software для эффективной работы с Big Data

Big Data BIG DATA для бизнеса – серия вебинаров
13.02.2019в Big Data 0 Комментарии 1 "Нравится"

BIG DATA для бизнеса – серия вебинаров

Вебинары Big Data как инструмент выживания.
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Big Data как инструмент выживания.

Вебинары Качество Больших Данных или почему моя Big Data не взлетает?
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Качество Больших Данных или почему моя Big Data не взлетает?

Вебинары Большие данные – Большие знания.
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Большие данные – Большие знания.

Вебинары Конфиденциальность Больших Данных
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Конфиденциальность Больших Данных

Вебинары Data Lake – Озеро надежды. Как привлечь бизнес в проект Big Data.
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Data Lake – Озеро надежды. Как привлечь бизнес в проект Big Data.

Вебинары Как получить единый взгляд на ключевые данные компании?
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Как получить единый взгляд на ключевые данные компании?

Вебинары Cреда хранения и обработки данных – «Универсальная платформа данных Arenadata»
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Cреда хранения и обработки данных – «Универсальная платформа данных Arenadata»

Вебинары Цифровая монетизация данных
13.02.2019в Вебинары 0 Комментарии 0 "Нравится"

Цифровая монетизация данных

Блог компании DIS Group Решаем 5 главных проблем Big Data и среды Apache Hadoop. Часть 1.
31.10.2018в Блог компании DIS Group 0 Комментарии 0 "Нравится"

Решаем 5 главных проблем Big Data и среды Apache Hadoop. Часть 1.

Блог компании DIS Group Если бы Big Data могли говорить, они бы сказали нам: «Дело не во мне, дело в тебе»
24.08.2018в Блог компании DIS Group 0 Комментарии 0 "Нравится"

Если бы Big Data могли говорить, они бы сказали нам: «Дело не во мне, дело в тебе»

Блог компании DIS Group Ценность Big Data: висит груша, нельзя скушать. А вы научились монетизировать? Часть 2
05.08.2018в Блог компании DIS Group 0 Комментарии 0 "Нравится"

Ценность Big Data: висит груша, нельзя скушать. А вы научились монетизировать? Часть 2

Блог компании DIS Group Ценность Big Data: висит груша, нельзя скушать. А вы научились монетизировать?
02.08.2018в Блог компании DIS Group 0 Комментарии 0 "Нравится"

Ценность Big Data: висит груша, нельзя скушать. А вы научились монетизировать?

Блог компании DIS Group Обработка данных или магия искусственного интеллекта
12.07.2018в Блог компании DIS Group 0 Комментарии 1 "Нравится"

Обработка данных или магия искусственного интеллекта

Поиск

Рубрики

  • Истории успеха (329)
    • Индустрия (135)
      • Банковский сектор (25)
      • Государственный сектор (1)
      • Другие (13)
      • Медицина (18)
      • Нефтегаз и энергетика (9)
      • Промышленность (7)
      • Розница (15)
      • Сельское хозяйство (2)
      • Страхование (20)
      • Телекоммуникации (19)
      • Транспорт (9)
      • Финансовые организации (3)
    • Решение (248)
      • Data governance (62)
      • E-commerce и омниканальность (32)
      • Аналитика нового поколения (85)
      • Противодействие финансовым преступлениям (9)
      • Решение в области Big Data (45)
      • Сustomer Experience (64)
    • Технологии (315)
      • Big Data (58)
      • NiceActimize (10)
      • Бизнес-аналитика (14)
      • Защита данных (17)
      • Интеграция данных (58)
      • Качество данных (24)
      • Система управления знаниями (62)
      • Технологии Data Governance (39)
      • Управление ИТ (41)
      • Управление мастер-данными (27)
  • Книги (20)
  • Новости компании (554)
    • Блог компании DIS Group (156)
    • Мероприятия (107)
      • Будущие мероприятия (1)
      • Вебинары в записи (45)
    • Новости DIS Group (248)
    • СМИ о нас (37)
  • Опросы (6)
  • Ответы эксперта (21)
Модуль изображения

Мы упрощаем работу с данными и информацией, предоставляя новые возможности для роста бизнеса.
Email: info@dis-group.ru
Телефон: +7 495 645-0201, факс +7 495 645-0188
125284, Москва, Ленинградский проспект 31А, стр1, 6 этаж, БЦ «МонАрх»

Решения
Data Governance
Аналитика нового поколения
E-commerce и омниканальность
Сustomer Experience
Решение в области Big Data
Противодействие финансовым преступлениям
Мы в соцсетях
  • Facebook
  • LInkedIn
  • Youtube
Подписаться на новости

Будьте в курсе последних тенденций вместе с нами.

  • Новости рынка
Этот веб-сайт использует файлы cookie для улучшения обслуживания. Подробнее см. в Политике конфиденциальности DIS Group. Принять
Privacy & Cookies Policy

Privacy Overview

Этот веб-сайт использует куки для улучшения вашей навигации по сайту. Из этих файлов cookie файлы, которые классифицируются по мере необходимости, хранятся в вашем браузере, поскольку они необходимы для работы основных функций веб-сайта. Мы также используем сторонние файлы cookie, которые помогают нам анализировать и понимать, как вы используете этот веб-сайт. Эти куки будут храниться в вашем браузере только с вашего согласия. У вас также есть возможность отказаться от этих файлов cookie. Но отказ от некоторых из этих файлов cookie может повлиять на ваш опыт просмотра.
Privacy Overview

Этот веб-сайт использует куки для улучшения вашей навигации по сайту. Из этих файлов cookie файлы, которые классифицируются по мере необходимости, хранятся в вашем браузере, поскольку они необходимы для работы основных функций веб-сайта. Мы также используем сторонние файлы cookie, которые помогают нам анализировать и понимать, как вы используете этот веб-сайт. Эти куки будут храниться в вашем браузере только с вашего согласия. У вас также есть возможность отказаться от этих файлов cookie. Но отказ от некоторых из этих файлов cookie может повлиять на ваш опыт просмотра.

Necessary Always Enabled

Necessary cookies are absolutely essential for the website to function properly. This category only includes cookies that ensures basic functionalities and security features of the website. These cookies do not store any personal information.

Non-necessary

Any cookies that may not be particularly necessary for the website to function and is used specifically to collect user personal data via analytics, ads, other embedded contents are termed as non-necessary cookies. It is mandatory to procure user consent prior to running these cookies on your website.