Skypro.Media. Что такое big data
Термин «большие данные» появился в 2008 году, когда редактор журнала Nature Клиффорд Линч заявил, что объем информации в мире растет слишком быстро. До 2011 года термин big data использовали только в науке и статистике. С 2014 года сбором и анализом данных занялись ведущие вузы мира и IT-гиганты: IBM, Google, Microsoft. В статье рассказываем, что такое большие данные, какие методы анализа существуют и где хранятся данные.
Что такое big data
Большие данные — это огромный объем структурированной и неструктурированной информации. Еще к big data относятся технологии, которые используют, чтобы собирать, обрабатывать данные и использовать их в работе. К большим данным можно отнести поток сообщений из соцсетей, системы подсчета посетителей интернет-магазинов и других сайтов, спутниковые снимки, стриминговые аудио- и видеопотоки, банковские транзакции, содержимое веб-страниц и мобильных приложений, телеметрию — дистанционную автоматизированную систему сбора показаний с автомобилей и мобильных устройств, данные финансового рынка — то есть практически всю информацию, которая есть в мире.
Кто владеет информацией — тот владеет миром. Именно поэтому технологические компании практически никогда не удаляют собранную информацию: завтра она может стоить в разы больше, чем вчера. Даже первые версии системы хранения больших данных не имели команды «Удалить данные».
Благодаря высокой производительности технологий big data появилась возможность обрабатывать данные с такой же большой скоростью, с которой они возникают.
Преимущества технологии
Рассказывает Александр Тарасов, управляющий партнер DIS Group.
Технологические возможности, которые появились в последние 10–12 лет, превратили big data не просто в бизнес-инструмент, а в цивилизационное явление. Эти технологии позволили собирать данные из разных источников, работать с их качеством и структурой, приводить их к общему знаменателю и на основе этого делать прогнозы.
Это открывает перед человечеством огромные перспективы. И если мечта людей — предсказывать будущее, то именно технология big data позволила сделать шаг в этом направлении. Собирая данные из множества источников, описывая тот или иной объект, мы получаем возможность прогнозировать и моделировать поведение объекта.
Где применяется: примеры использования big data
Бизнес. В Америке больше 55% компаний из разных сфер работают с технологиями. В Азии и Европе — 53% компаний. Бизнес, который не использует big data, упускает выгоду. Производитель спецтехники Caterpillar признался, что его дистрибьюторы ежегодно упускали до $18 миллиардов прибыли, потому что не работали с big data.
Банковская сфера (финтех). Финтехом банковскую сферу называют потому, что там много технологий. Благодаря большим данным банки могут оказывать совершенно новые услуги, которые раньше были недоступны: выявлять мошеннические схемы, автоматически анализировать кредитоспособность и вести бухгалтерию.
Маркетинг. Маркетинг был и является двигателем big data: решения в нём принимают на основе данных. Их используют, например, чтобы анализировать посетителей сайта, определять предпочтения клиента, понимать эффективность рекламы.
Медицина. Современные методы анализа данных открывают дорогу одному из самых перспективных направлений на текущий момент. Анализ показателей жизнедеятельности человека может изменить нашу жизнь и сделать нас здоровее. Сейчас активно развивается технология компьютерного зрения — это позволит быстрее и точнее ставить диагнозы, а еще эффективнее лечить.
Автомобилестроение. Автопилоты, роботы-доставщики, автоматизированное производство машин — то, что уже существует сегодня. Без больших данных это было бы невозможно: big data помогают быстро находить ошибки, анализировать, как можно улучшить продукт, и выдавать готовые решения.
Ретейл. Наряду с финтехом и маркетингом у ретейлового направления — вклады, ипотека, автокредиты и операции с пластиковыми картами — есть очень много данных о транзакциях. Их используют, чтобы улучшать пользовательский опыт в магазинах и онлайн. Например, раскладывать товар на полках на основе истории продаж и карты перемещения людей по магазину.
Наем сотрудников. Автоматическое чтение резюме, выявление подходящих кандидатов среди десятков тысяч других резюме, чат-боты для базового тестирования сотрудника — это лишь небольшая часть применения big data в рекрутменте.
Госструктуры. Могут использовать большие данные, чтобы сделать города удобнее. С помощью big data можно создавать умные города с интеллектуальной системой помощи людям. В таком городе расширен перечень доступных жителям услуг и оптимизирован каждый аспект городских мероприятий.
Например, вы заезжаете на парковку, а бортовой компьютер уже подсказывает, где есть свободное место. При этом он учитывает ваше местоположение и запоминает предыдущий опыт: где вы парковались, как и почему.
Медиа и сфера развлечений. Знания о том, какие заголовки и темы чаще интересуют определенную аудиторию, анализ пользовательского поведения — это возможность больше зарабатывать. Например, стриминговые сервисы типа «Кинопоиска» используют большие данные даже для создания сериалов, а не только для продвижения в сети.
Логистика. Big data помогают находить оптимальный путь на длинные дистанции, оптимизировать движение морского транспорта. Есть компании, которые используют дополненную реальность в складском учете.
«Big data применяют в разных сферах. Например, в медицине они позволяют точнее ставить диагноз, противодействовать эпидемиям.
Технология эффективна и при развитии городов. Она позволяет прогнозировать изменения транспортных потоков, анализировать места для развития инфраструктуры района. На промышленном предприятии технологию используют, чтобы оптимизировать производственные циклы, повысить эффективность труда.
В ретейле, банкинге, медиа можно точнее прогнозировать спрос, увеличивать финансовый результат компании без дополнительных ресурсов».
Александр Тарасов, управляющий партнер DIS Group
Полную версию статьи читайте здесь.
Обновлено: 03.08.2023
Опубликовано: 03.08.2023