Компания DIS Group приглашает Вас посмотреть запись вебинара «Оценка зрелости управления данными – зачем, что, как?» 1 декабря в 10:00.

• С чего начать качественное построение системы управление данными?
• Как оценить текущее состояние критически важных участков работ и выявить недостатки, нуждающиеся в устранении?
• Как определить критические направления работы и создать устойчивую корпоративную программу управления данными?

На эти и другие вопросы мы ответим на нашем вебинаре. Спикер Юлия Устинова, Бизнес-аналитик, DIS Group Вебинар будет полезен бизнес-руководителям, CDO, CIO, бизнес-аналитикам, архитекторам, а также всем, кто интересуется неограниченными возможностями Smart Data Lake.

Данные приобрели очень большое значение. Можно сказать, что они по-настоящему меняют мир, в котором мы живём. Но это приносит не только новые возможности, но и новые проблемы. Сейчас много говорят о том, что данные в современном мире собираются в очень больших объёмах. Можно найти много статистики, которая это подтверждает. Из-за таких значительных объёмов извлечь, обработать и переместить данные для анализа может быть очень непросто. У инженеров по данным сейчас очень много работы, а со временем её станет только больше. Кроме того, пока не все организации научились данные монетизировать и извлекать из собранных сведений максимальную пользу.

Генеральный директор Sisense Амир Орад считает, что сейчас каждая компания уже стала дата-центричной или в скором времени должна такой стать. Амир отмечает, что Nike, Burger King, McDonald’s и другие крупные корпорации, а также новые игроки на некоторых рынках (например, в страховании) уже давно используют данные и аналитику для развития своих конкурентных преимуществ. «Анализ данных меняет операционные процессы многих бизнесов и создаёт новые потоки прибыли во всей глобальной экономике, – продолжает Амир. – Уже совсем скоро данные станут важнейшим первичным материалом практически для каждой компании, а аналитика (в том числе с помощью искусственного интеллекта) станет основой большинства бизнес-моделей. Практически все продукты или станут «умными» или устареют». Беспрецедентное значение данных для бизнеса подтверждается и недавним назначением Джона Донахью генеральным директором Nike. До того, как возглавить спортивный бренд, Джон занимал позицию президента маркетплейса eBay, а ранее – генерального директора ИТ-компании Service Now. Назначение Джона показывает, насколько сильно бизнес ориентируется на новые информационные технологии и становится дата-центричным. Недавнее исследование Accenture говорит о том же. 79% руководителей крупных компаний считают, что пренебрежение технологиями Big Data может привести к потере важного конкурентного преимущества и даже закрытию бизнеса.

95% опрошенных отмечает, что для извлечения из корпоративной информации максимальной пользы необходимо эффективно управлять большими данными, в частности, неструктурированными данными. Те, кто преуспел в этой области, добиваются роста прибыли на 8-10% и сокращают затраты на 10%. Поэтому не удивительно, что 83% руководителей сообщает о том, что проекты Big Data позволяют добиваться значительного конкурентного преимущества. При этом ситуация в разных секторах экономики разная. Так, только 62% респондентов, которые работают в ритейле, считают данные и их аналитику конкурентным преимуществом. И это при том, что ещё в 2011 консалтинговая компания McKinsey подсчитала, что масштабный анализ данных может увеличить операционную рентабельность компаний в этом секторе на 60%. В здравоохранении решения Big Data и аналитики внедряются для лучшей диагностики, составления более эффективных стратегий лечения, лучшего сегментирования пациентов и прочего. А эпидемия коронавируса позволила очень наглядно увидеть, насколько важны точные сведения, которые обновляются в реальном времени. Это касается и проведения лечения пациентов, и составления расписания работы медицинского персонала, и распределения защитных средств. Транспортные компании уже довольно преуспели в использовании данных. Среди них – компания Transport for London, которая отвечает за общественный транспорт в столице Великобритании. Аналитика и Big Data в логистике используется для управления непредвиденными обстоятельствами, клиентского обслуживания, предотвращения сбоев. Традиционно остаются дата-центричным и банки. Они всё чаще используют данные для управления рисками, предотвращения финансовых мошенничеств, аналитики привычек клиентов и других целей. Согласно исследованию McKinsey, в целом в 50% компаний всех секторов экономики данные меняют маркетинг и продажи, а в 30% – R&D. В исследовании Accenture отмечено, что в ближайшие пять лет Big Data и аналитика будут оказывать значительное влияние на отношения с клиентами, разработку новых продуктов, оптимизацию цепочек поставок, операционную деятельность. Бизнес будет становиться всё более дата-центричным. А опрос NewVantage Venture Partners показал, что Big Data принесёт больше всего пользы, снижая затраты (так считают 49,2% респондентов) и создавая новые возможности для инноваций и прорывов (44,3%).

97% компаний уже активно инвестируют в Big Data и искусственный интеллект. При этом не стоит забывать, что для того, чтобы добиться максимального эффекта от корпоративных данных, важно правильно выбрать BI-платформу. От этого выбора во многом будет зависеть, насколько широкий круг сотрудников сможет искать в данных инсайты и извлекать из этих инсайтов пользу для себя.

К сожалению, во многих медицинских организациях нет хорошего понимания корпоративных данных, а большая часть сведений плохо задокументирована. Это приводит к тому, что отчётности и аналитике не всегда можно доверять и принимать на их основе управленческие решения. Вместо того, чтобы стать ценным активом, данные используются скорее, чтобы по факту подкрепить уже принятые решения. Многие медицинские организации в той или иной мере уже пытались внедрить у себя Data Governance. Обычно такие попытки начинаются сверху, инициируются руководством. Предполагается, что эти попытки должны охватить сразу всю компанию и все её данные и раз и навсегда решить проблему с качеством корпоративной информации. Чаще всего такой подход приводит к провалу и ещё больше снижает ожидания от эффективности Data Governance как методологии. А ведь начинаться может всё с очень большой помпой. Создаются комитеты со сложной иерархичной структурой, в которые входят даже руководители компании. Проводятся регулярные встречи, на которых обсуждается текущее положение дел и проблемы, а также разрабатываются планы дальнейших действий. Но со временем ключевые члены таких комитетов начинают пропускать всё больше и больше встреч, потому что они на самом деле никогда не верили в то, что Data Governance сможет принести пользу именно им. На самом деле эти члены участвовали в комитете, потому что чувствовали, что должны это делать, а не потому, что это было их ключевым приоритетом. Оказывается, что никто не несёт конечной ответственности за программу Data Governance, результатов никаких добиться не удаётся, и комитет исчезает сам по себе через 9-18 месяцев.

В чём же причина таких неудач? Большинство инициаторов проектов Data Governance искренне верит, что оптимален централизованный подход «сверху вниз». Такой подход подразумевает, что сотрудникам в компании будет сказано, какое значение имеют данные и как их стоит использовать. Ещё одна причина провала в том, что компании стремятся сразу внедрить Data Governance для всех доменов данных, при этом стараясь одновременно описать все термины в организации. Затруднения могут возникать и при желание подвести под каждый термин одно единственное описание. Но если такой подход не верен, то чем его заменить? Прежде всего, нужно помнить, что для проектов Data Governance важна совместная работа. Практически все сотрудники вашей компании (а также сотрудники компаний-партнёров, клиенты и прочее) создают, используют, изменяют и потребляют данные. У них может быть чёткое понимание того, какую пользу приносит им та или иная информация, как она помогает осуществлять процессы и принимать те или иные решения. Также сотрудники, которые напрямую работают с данными, хорошо представляют недостатки тех сведений, которые есть у них в наличии, и уже потратили множество рабочих часов на улучшение качества информации. Именно этим вашим коллегам приходится постоянно сталкиваться с тем, что данные не совпадают в разных отчётах. Именно они хорошо знакомы с требованиями регуляторов, процессами фильтрации и агрегирования информации для формирования отчётности. Поэтому люди, которые работают с данными в вашей компании, должны стать героями проекта по Data Governance. Им не нужно пытаться объяснять, зачем им нужно более эффективное управление данными. Вместо этого постарайтесь вовлечь этих сотрудников в своей проект: попросите их поделиться своим опытом работы с информацией и задокументировать его. Консолидируйте этот опыт, чтобы выделить приоритетные бизнес-процессы и решения, для которых особенно важны данные. Data Governance в компании должно быть «ровно столько, сколько нужно». Другими словами, применяйте DG только к тем данным, которые кто-то использует, и только в том объёме, в котором это необходимо сейчас. Не нужно начинать новый проект Data Governance или внедрять эту методику в масштабах всей компании до тех пор, пока ваши результаты в первом проекте не позволили вам добиться реальных результатов, поддержки руководства и заинтересованных сотрудников компании. С каких данных можно начать? Например, с тех, которые используются для финансовой моделей прогнозирования прибыли компании или прогнозирования риска повторной госпитализации. Такой подход имеет множество преимуществ. Он позволит вам быстро выделить данные и термины, управление которыми имеет ключевое значение для вашей организации. Вы также поймёте, до какой степени нужно управление в каждом конкретном случае. Так, если те или иные сведения пойдут в отчёт с детализацией до года или месяца, то не стоит уделять большого внимания тому, какие именно показатели наблюдались в отдельный час или отдельную минуту. (Поверьте мне, будут кто-то из коллег обязательно будет просить спорить и просить детализацию до секунд, даже если это на самом деле не нужно). Старые подходы к Data Governance подразумевали разделение всех корпоративных данных на домены (биллинговые данные, клинические данные, данные пациентов и прочее). После такого разделения предлагалось разработать план на несколько лет для внедрения Data Governance для каждого отдельного домена. Такой подход с самого начала был обречён на провал: фокус был на данных, а не на том, как и почему они используются. Большая часть аналитики и отчётности в медицинских организациях нельзя подготовить, используя данные только одного домена. Можете ли вы припомнить случай, когда кто-то использовал административную информацию о пациентах без клинических данных об их состоянии? При этом в каждом домене есть большой объём информации, который практически никогда не используется. Так зачем тратить ресурсы на то, что практически никому не нужно и никогда не принесёт понятной выгоды вашей компании? Также стоит помнить, что не всегда для каждого термина можно подобрать одно единственное определение. Цель Data Governance – собрать основные варианты определений, стандартизировать их, унифицировать, где это нужно. Иногда для каких-то терминов придётся оставить несколько унифицированных определений. Так, для разных видов отчётности (регуляторной, отчётности по качеству лечения и прочее) скорее всего придётся оставить несколько определений термина «продолжительность госпитализации». Главное – не забудьте аккуратно описать разные сценарии использования, которые соответствуют разным определениям термина. Должно быть понятно, что значат те или иные данные в том или ином контексте.

Современный подход к Data Governance учитывает ошибки прошлого и позволяет компаниям сравнительно быстро извлекать выгоду. Скорее всего, вы уже слышали про принцип: «думай масштабно, но начинай с малого». Именно так вам и стоит действовать относительно Data Governance. Начните с малого и сконцентрируйтесь на достижении пусть не больших, но реальных результатов. Сфокусируйте ресурсы и своё внимание на краткосрочной и видимой пользе для бизнеса. Выберете для себя какой-то клинический или бизнес-кейс, для которого важны данные. Примените методики DG к этому кейсу и постарайтесь точно измерить результаты от такого применения. Первые успехи позволят создать правильную динамику. При этом не забывайте планировать по-крупному. Помните, что именно Data Governance позволяет обеспечить надёжность данных, что так важно для цифровой трансформации медицинской компании. Надёжность всех корпоративных данных для таких организаций – ключевая задача.

«Какую пользу я получу от Data Governance?» – любому CDO (директору по данным) приходится постоянно слышать этот вопрос от разных сотрудников компании очень часто. Именно на вопрос о пользе Data Governance для разных бизнес-пользователей нужно ответить в первую очередь при составлении стратегии по управлению данными. Изначально Data Governance (DG) широко внедрялся для защиты данных и соответствия требованиям регуляторов. Теперь требования в DG возросли: управление данными должно приносить пользу бизнесу. Другими словами, чтобы вашу стратегию Data Governance поддержали в компании, вы должны чётко определить выгоды, которые получит бизнес. Кроме того, важно эффективно об этих выгодах рассказать сотрудникам вовлечённых отделов и подразделений.

В вашей компании могут быть команды и целый отделы, работу которых могли бы улучшить эффективная аналитика данных. В данных можно было бы искать инсайты, определять перспективность новых продуктов, услуг, рынков. Но отдельно выделенного инженера по данным в такой команде или отделе может не быть. Остальные сотрудники – «потребители данных» – могут хорошо разбираться в бизнес-процессах, но не обладать достаточными техническими навыками для того, чтобы получить доступ к релевантной информации или хотя бы понять, где она хранится. Сейчас таким командам и отделам приходится непросто. Им приходится подавать заявки на получение тех или иных данных, самостоятельно договариваться с сотрудниками, которые этим занимаются. А когда данные для них готовы, может оказаться, что для проекта нужны совсем другие сведения. Data Governance позволил бы упростить поиск и выгрузку нужной информации, от такой демократизации могли бы выиграть многие. Потребителям нужно дать возможность увидеть данные, как на витрине: сведения должны быть точно классифицированы, для них должны быть указаны контактные данные специалиста, который за них отвечает. У потребителей должна быть возможность легко и удобно выбрать нужную информацию и получить её для своих целей – приобретение данных должно быть похоже на покупку товаров в супермаркете.

Важно, чтобы в супермаркете данных можно было увидеть и происхождение сведений, маршруты их перемещений и связи между ними – так называемые линеджи данных или карты происхождения данных). Доступ к таким данным поможет сотрудникам легко выяснить:

• где данные были сгенерированы и как перемещались из одной системы в другую;
• куда данные попадают в итоге;
• попадают ли данные к тому или иному сотруднику в коммерческих отделах или в производственных;

Другими словами, сотрудники поймут не только маршрут перемещения данных, но и лучше осознают то, как связаны разные отделы, подразделения и работники организации. Люди смогут больше доверять данным и лучше понимать, подходят ли те или иные сведения для конкретного кейса использования. Например, на моём предыдущем месте работы в крупной фармацевтической компании одной из самых сложных задач был мониторинг стоимости производства того или иного лекарственного средства. Мы должны были контролировать эту стоимость на всех этапах: от первичного исследования и разработки лекарства, до доклинических и клинических испытаний, и наконец вывода на рынок. Финансовый результат с учётом всех этих этапов посчитать было непросто: лекарство могло получать новые имена или коды при переходе из одной линии бизнеса в другую. В этой ситуации нам мог бы значительно помочь какой-то идентификатор, который позволял бы распознавать одно и то же лекарство во всех системах. Понять, в какой линии бизнеса и для какого процесса были собраны нужные вам сведения, даёт возможность супермаркет данных.

Но как же наполнить полки этого супермаркета? Прежде всего, важно учитывать бизнес-цели вашей организации и потребности тех, кто может быть вовлечён в реализацию программы Data Governance. Приведу в пример одного из клиентов Informatica – крупной хорошо известной страховой компании. На рынке, на котором эта компания работала, начали активно появляться новые стартапы, конкурировать с которыми становилось всё сложнее. Для того, чтобы продолжить преуспевать, компания должна была сместить фокус со страховых продуктов на своих клиентов. Кроме того, было важно снизить текучку среди страховых агентов. Обе этих перемены в бизнесе компании требовали фундаментальных изменений в работе с корпоративными данными при внедрении Data Governance. Чтобы разработать стратегию Data Governance, которая учитывала бы приоритеты бизнеса, важно тщательно исследовать задачи, которые стоят перед вашей организацией. В частности, необходимо понять:

• с какими трудностями сейчас столкнулась организация;
• каким образом можно достичь текущих бизнес-целей;
• чем компания рискует, если ничего не предпринимать для достижения этих целей.

Когда вы проясните для себя эти аспекты, составьте перечень выгод от Data Governance для разных подразделений компании, для отделов продаж, маркетинга, финансов и других. Отдельно можно выписать выгоды Data Governance для линий бизнеса, которые непосредственно отвечают за те или иные бизнес-цели или цели в области цифровой трансформации. С учётом этого всего вы сможете правильно наполнить свой супермаркет данных. Пользуясь этим супермаркетом, бизнес-пользователи смогут быстрее находить релевантную информацию и быстрее принимать важные решения на их основе.

Когда вы разработали свою стратегию Data Governance, важно донести её до коллег. Постарайтесь ничего не усложнять. Не нужно пытаться кого-то впечатлить сложными терминами, такими как «метаданные», «дата-стюард» или «качество данных». Используйте простые понятия, чтобы донести свои сообщения до всех работников компании. CDO одной европейской финансовой организации так объяснил, что именно представляет собой его программа Data Governance: «Фактически мы создаём супермаркет данных. Любой потребитель может сам взять товар «данные» с полки. Безусловно, наша команда в любой момент может прийти на помощь и проконсультировать на счёт этого товара. Но главная задача для нас – максимально полно описать товар на его упаковке, чтобы потребитель мог использовать его без посторонней помощи». Используйте предложенный мной список для объяснения ценности Data Governance для своих коллег: и тех, кто пойдёт делать покупки в «супермаркет данных» и тех, кто будет этим супермаркетом управлять. Правильная коммуникационная стратегия – залог успеха любой программы Data Governance.

Качество данных не новая проблема. Однако раньше оно в большей степени обсуждалось в контексте хранилища и операционных систем. Сегодня мир данных значительно изменился. Объёмы и разнообразие данных постоянно растут, появились озёра для хранения структурированных и неструктурированных данных в больших объёмах. Кроме того, методы машинного обучения пережили второе рождение. Это всё привело к тому, что от аналитиков и инженеров по данным всё чаще звучит вопрос: «Как обеспечить качество данных, которое подходило бы под эту новую парадигму работы с данными?».

Для эффективного использования машинного обучения качество данных играет важнейшую роль. Неполные, дублирующиеся, несогласующиеся друг с другом сведения могут значительно ухудшить результаты, которые вы получаете с помощью методов ML (кластеризации, использование прогностических моделей и прочее). Некачественное обучение моделей ML приведут к тому, что бизнес-пользователи не смогут доверять результатам вашего исследования данных или будут принимать на основе этих результатов неверные решения. Давайте подробнее рассмотрим, как избежать проблем в качеством данных.

Начать стоит с инструментов для каталогизации и профилирования данных. Профилирование помогает определить, какие действия по обработке и очищению данных нужно предпринять следующими.

• Нехватка данных. Если в дата-сете не хватает значений в каких-либо полях, безусловно, это повлияет на обучение моделей. Нехватку нужно будет как-либо компенсировать. Что вы будете делать? Удалите записи с недостающими значениями полностью? Вставите в пустые поля случайные значения? Используете усреднённое, медианное значение, заполните пустое поле значением из ближайшей записи или что-то ещё? С одной стороны, любой из этих подходов может помочь. С другой, – привести к потере важных деталей или к противоречиям.
• Неточность данных. Например, точность данных из CRM-системы чаще всего зависит от того, насколько точно информация была внесена в эту систему вручную. Salesforce – вендор одной из лидирующих CRM-систем. Компания провела исследование, в результате которого выяснила, что 20% записей о клиентах, на самом деле, бесполезно из-за неточных данных. Неточности часто возникают, когда пользователь пытается изменить значение по умолчанию. Например, он создаёт возможность продажи и изменяет дату в записи с 01-01-00 на реальную дату во всплывающем меню. Определять, какие значения подойдут для обучения модели, а какие нет, нужно для каждого конкретного случая. Так, иногда неточные данные могут быть полезны для определения мошенничеств.
• Дубликаты данных. Если данные дублируются в одной системе – это проблема. Но если данные поступают из нескольких систем, то проблема дублирующихся данных будет стоять гораздо острее. Например, Джим Смитт в CRM-системе может проходить как Джеймс Смитт в биллинговой системе. В системе обслуживания клиентов его имя может превратиться в Джеймса Дж Смитта. Дублирующиеся данные приведут к тому, что модель может переобучаться, поэтому важно определить эффективную процедуру определения и удаления дубликатов. При этом удаление дублирующихся данных может быть проблематичным и может потребовать много времени).
• Отсутствие стандартизации. Стандартизация может быть и простой, и сложной. Пример простой стандартизации – перевод всех текстовых запросов в один регистр (все прописные, все строчные, прописные буквы для начала предложений или названий).

Более сложный процесс стандартизации подразумевает приведение разных вариантов названий одной и той же компании к единой версии (“Pacific Gas and Electric”, “PG&E”, “PGE” должны стать Pacific Gas & Electric”). А задача по сведению к единому знаменателю обозначения цвета («чёрный», «черн» и так далее) или параметров товаров может потребовать особенно много времени.

Когда у вас появится ясная и точная картина данных и их формата, который нужен вам для обучения моделей ML, вы сможете перейти к определению правил очищения данных. Эти правила нужны, чтобы данные были точными с семантической и синтаксической точек зрения, автоматически исправлялись и стандартизировались. При этом обо всех исключениях из правил должны формироваться отчёты. Процесс создания отчётов об исключениях помогает найти и исправить слабые места в данных, а также сделать эти слабые места заметными для дальнейшего профилирования и анализа. Кроме того, по мере того как компания начинает использовать новые источники информации, правила обеспечения качества данных могут использоваться повторно. Отмечу, что обеспечение качества данных нельзя установить раз и навсегда. Чтобы поддерживать высокий уровень результативности моделей и постоянное его улучшать, нужно постоянно мониторить и управлять качеством данных во всех источниках информации. При этом важно учитывать все моменты, которые перечислены выше.

Выше перечислено только несколько способов очистить информацию для ML с помощью инструментов обеспечения качества данных. На самом деле их гораздо больше. Для того, чтобы получить более подробную консультацию по теме, пишите на почту info@dis-group.ru Также читайте о том, как Альфа-Банк Казахстан повышает качество данных. А перед тем, как в следующий раз начнёте реализовывать свою следующую инициативу с машинным обучением, не забудьте спросить себя:

• Тратите ли вы больше времени на улучшение качества данных, чем на улучшение моделей ML?
• Используете ли вы сложные модели машинного обучения, чтобы компенсировать низкое качество данных?
• Можно ли доверять результатам анализа данных, которые вы получили с помощью машинного обучения?

Можно много от кого услышать, что «люди – самый важны актив бизнеса». Но мне кажется, что это убеждение немного устарело. Я часто общаюсь с топ-менеджерами разных компаний. Многие из них считают, что человеческий капитал уже уступил пальму первенства другому активу – данным. Именно поэтому позиция директора по данным во многих организациях становится ключевой. Рост роли директора по данным свидетельствует о том, что организации (особенно в финансовом секторе) придают большое значение данным. Всё шире распространяется понимание, что данные – это всё-таки актив. Сейчас у директоров по данным появилась возможность определять, в каком направлении будет развиваться организация. А также определять отношения своей компании с миром, определять ассортимент продуктов и услуг и то, каким будет будущий успех. В недавнем отчёте консалтинговой компании Capgemini отмечается: «финансовым организациям необходимо стать дата-центричными» не только, чтобы расширять формирование регуляторной отчётности, но и из-за «исключительной конкуренции за активы клиентов и их лояльность».

Как написано выше, данные – это актив компании, поэтому и относиться к ним нужно как к активу. Их нужно защищать, поддерживать и курировать, нужно управлять ими. Это поможет увеличить ценность данных и извлечь из них пользу. В том, что извлечь из данных прибыль возможно, ни у кого не осталось сомнений. Вопрос только в том, как быстро бизнес сможет это сделать. На самом деле, в руках директора по данным оказался самый дорогой и важный актив во всём бизнесе. Но контролировать этот актив CDO сможет только если управление данными и Data Governance в организации будут строиться на следующих принципах:

• Данные хорошо защищены;
• Понятно, где какие данные находятся;
• Данные хорошо очищены.

Рассмотрим каждый пункт по отдельности.

Не нужно относиться к защите информатизации как к обязанности, навязанной регулятором. Прежде всего, безопасность данных должна быть важным приоритетом из-за того огромного ущерба, который будет нанесён организации в случае утечки.

Кажется очевидным: директор по данным должен знать, где какие данные хранятся. Но мне приходилось сталкиваться со множеством организаций, которые постоянно не могут найти свои данные. Информация часто генерируется в различных департаментах, системах и форматах. Сведения рассредоточены по организации, общей картины ни у кого нет. Нет и контроля над данными, потому что они аккумулируются органически. Из-за этого большая часть собранной в компании информации не используется. А если кто-то решит её использовать, то только выгрузка сведений приведёт к большой потере времени и денег.

Данные требуют пристального внимания, чтобы гарантировать, что они всегда актуальные и релевантные. Важно, чтобы данные всегда отображали полную картину, а не её часть. Пользователи должны быть уверены в данных и доверять им. У сотрудников компании всегда должна быть возможность получить доступ к необходимой информации и оптимально её использовать на благо компании. Данные, как и многие другие активы, – сырой материал, который нужно очистить, чтобы он стал ценным.

Я уже говорил, что позиция директора по данным сейчас на подъёме. И мне кажется, что эта роль в компаниях будет только расти пока не достигнет стратосферы. Позиция директора по данным станет важнейшей в бизнесе, когда бизнес признает, что он дата-центричный, что его определяют данные и что он зависит сильно от них зависит. CDO не просто будет играть значимую роль в управлении компанией, но и займёт самое удобное кресло рядом с CEO. Ранее я писал, что компании должны выстраивать свои ИТ-архитектуры так, чтобы принцип «сначала данные» стоял во главе угла. Теперь мне кажется, что пришло время пойти дальше: выстраивать уже бизнес-архитектуры вокруг этого принципа. И управлять такими архитектурами должны директора по данным. Также читайте больше по теме в статье Кто такой CDO? «Chief Data Officer» или «Chief Digital Officer»? статье Директора по данным Банка ВТБ, «Ростелекома», «МегаФона», Газпромбанка, X5 Retail Group: роль CDO изменилась, статье Позиция CDO – новые возможности для женщин в области ИТ и работы с данными.

Данные – новая нефть. Скорее всего вы уже слышали эту аналогию или другие похожи на неё: данные также называют новым топливом для реактивных двигателей, новой валютой и так далее. Однако, согласно исследованию New Vantage Partners, менее одной трети организаций действительно строят свой бизнес вокруг данных. Хотите максимально эффективно использовать возможности, которые открывают перед организацией данные? Необходимо дать как можно большему числу сотрудников доступ к данным, которые будут релевантными для выполнения их обязанностей. Другими словами, фокус Data Governance должен сместиться с управления рисками на выполнение бизнес-задач. Кроме того, Data Governance нужно масштабировать, чтобы охватить больше данных, их типов и пользователей. Каким же образом происходит этот переход? Data Governance должен помочь разработать и реализовать стратегию работы с данными, повысить грамотность сотрудников в области данных, их доверие к данным, улучшить конфиденциальность данных. Давайте рассмотрим каждый пункт в отдельности.

У вас наверняка есть бизнес-стратегия, но обозначена ли в ней стратегия управления данными? Согласно исследованию McKinsey, стратегия управления данными есть только у 30% компаний. Data Governance помогает понять, как данные связаны с бизнес-процессами и их результатами. На основе этого вы сможете построить стратегию управления данными и выбрать приоритетные активности для этого на основе бизнес-целей (увеличение прибыли, снижение затрат и минимизация рисков).

Gartner считает, что к 2020 году 80% организаций будут развивать компетенции своих сотрудников в области работы с данными. Уже много раз говорилось, что недостаточно собирать больше данных. Сотрудники компании должны хорошо понимать, какие данные есть в их распоряжении, каким значением для бизнеса они обладают и в каком бизнес-контексте находятся. Data Governance вносит значительный вклад в выполнение этих задач. DG помогает искать данные, каталогизировать их, стандартизировать бизнес-терминологию и политики работы с данными. Кроме того, он помогает создать стандартный для всей компании язык для работы с данными. Всё это играет всё большее значение по мере того, как число сотрудников растёт, а также расширяется разнообразие их навыков и профессионального опыта.

Данные всё больше используются всеми сотрудниками в организации. Важно поддерживать их уверенность в том, что данные подходят под их бизнес-задачу. При этом в одной из статей Harvard Business Review указано, что только 3% данных соответствует основным стандартам качества. Data Governance помогает оценить качество данных и связи между ними, а это позволяет определить релевантность источника информации для конкретной бизнес-задачи. Data Governance также позволяет понять, как качество данных меняется по мере движения информации между системами и в разных процессах. Кроме того, Data Governance помогает внедрить проверку данных непосредственно в бизнес-процессы, чтобы обеспечить высокое качество информации уже не этапе занесения в ИТ-системы.

Защита данных и ответственное их использование имеет большое значение, если организация планирует продолжать использовать клиентские данные. Согласно исследованию компании RSA Security, почти 70% потребителей товаров и услуг по всему миру готовы бойкотировать любую компанию, которая, по их мнению, несерьёзно относится к защите данных. Data Governance помогает определять и внедрять специальные политики, гарантирующие соответствующий сбор, использование и цикл жизни персональных данных. Благодаря Data Governance компания всегда сможет ответить на любые вопросы своих клиентов. Например, на вопросы: «Какие данные собирает ваша компания?», «Как они используются?», «Кто имеет к ним доступ?».

Когда стратегия Data Governance в основном ориентировалась вокруг соответствия требованиям регуляторов, требования к данным и управлению ими чётко контролировались и были чётко регламентированы. Этот узкий подход позволил вручную осуществлять процессы Data Governance и курирования данных (Stewardship). Теперь, как я выше отметил, ценность Data Governance определяется его ценностью для бизнеса. Сейчас сам объём данных и необходимость совместной работы во всех функциях организации делает автоматизацию критичной для успеха DG. Сегодня мы используем озёра данных с петабайтами данных, данные в них постоянно обновляются в реальном времени, в частности, сведениями с датчиков интернета вещей, социальных данных и данных о геолокации с мобильных телефонов. К корпоративной информации есть доступ у тысяч пользователей из различных отделов (отдел финансов, продаж, маркетинга, закупок, отдела исследований, производства, логистики и дистрибуции). А это в тысячи раз увеличивает масштабы и сложность управления данными. Остаётся один способ справиться с этим – автоматизация Data Governance с помощью искусственного интеллекта. Gartner предсказывает, что в 2022 году на 45% процентов меньше задач будет выполняться вручную благодаря машинному обучению и автоматизации. Хотите узнать больше о Data Governance? Смотрите серию вебинаров DIS Group. Также присылайте свои вопросы по Data Governance на почту info@dis-group.ru

Управление данными играет всё большее значение во многих компаниях. Но стоит ли бизнес-пользователям его активно осваивать или можно оставить эту область на откуп ИТ-специалистам? Читайте размышления на этот счёт Моники МакДонелл. Моника – ключевой член европейской команды консалтинга в Informatica.

Я работаю в Informatica, в компании, которая разрабатывает программное обеспечение для управления данными. Мне часто приходится сталкиваться с тем, что не ИТ-специалисты считают нашу сферу слишком технической. Мне и моим коллегам постоянно указывают на дверь ИТ-отдела. Сотрудники всех остальных департаментов считают, что именно там мы должны рассказывать о своих решениях и технологиях. Однако нельзя отрицать, что данные сейчас имеют большое значение не только для ИТ, но и практически для всех в компании. Я понимаю, ваш рабочий день может быть наполнен требованиями к эффективности цепочки поставок, KPI по продажам, маркетинговыми мероприятиями или задачами по снижению стоимости продукции. Поэтому может показаться, что управление данными должно быть задачей кого-то другого. Но это только наполовину правда.

Чтобы понять, почему управление данными – задача всех сотрудников компании, давайте разберёмся со значением этого термина. Международная ассоциация по управлению данными DAMA даёт следующее определение: «управление данными – это разработка, применение и мониторинг планов, политик, программ и практик для контроля данных и информационных активов, их защиты, выгрузки и повышения их ценности». Важно понимать, что управление данными не ограничивается их интеграцией.

Сотрудники различных департаментов должны принимать участие в управлении данными. Если участия они принимать не будут, как-то влиять на эти процессы они не смогут. Бизнес-пользователи давно признали данные ценным активом, но до сих пор стараются ускользнуть от активного участия в управлении данными. Однако в отличие от других активов, данные не входят область ответственности одного отдела. Данные создаются во многих системах и используются многими людьми. Из-за этого сложно просить один отдел (даже если это ИТ-отдел) полностью брать ответственность за управление данными. Давайте подробнее рассмотрим три основные причины того, почему не ИТ-специалисты должны принимать активное участие в управлении данными.

Самые успешные спортивные команды включают в себя игроков с разными умениями. Также и команда по управлению данными требует разных компетенций. Чтобы управление данными было максимально эффективным, бизнес-пользователи должны помогать определять самые ценные и чувствительные данные. Также не ИТ-специалисты лучше определяют качество данных в определённом контексте и лучше определяют, как часто должны выгружаться данные для разных процессов, в каком качестве и так далее. При этом именно ИТ-специалисты должны в конце концов отвечать за то, что данные доставлены вовремя, очищены, защищены и в конце концов заархивированы в соответствии с правилами и политиками. Однако не стоит полностью оставлять ИТ-отдел подготовку этих политик и правил, чтобы избежать недопонимания того, что бизнесу нужно от данных.

То, как качественные данные напрямую влияют на эффективное выполнение KPI, можно видеть на примере клиентов Informatica. При этом большинство ИТ-систем и аналитических алгоритмов прекрасно будут работать и с некачественными данными. Но в чём будет смысл их работы? Некачественные данные становятся причиной некачественных результатов. Это в свою очередь приводит к переделкам и неэффективному процессу принятия решений. Именно поэтому очень важно для бизнес-пользователей принимать участие в управлении данными, так они могут напрямую улучшать качество данных и их доступность.

Экономика сейчас активно становится цифровой. В основе процесса цифровой трансформации – данные, потому что все цифровые продукты и сервисы и потребляют, и производят данные. Уже сейчас на многих рынках лидируют организации, которые умеют быстро извлекать инсайты из своих данных. Без эффективного управления данными сложно уже сейчас сложно выполнять многие бизнес-задачи, а в будущем это будет делать ещё сложнее. Надеюсь, вы найдёте мои доводы о важности управления данными убедительными. Остались вопросы? Присылайте их на почту info@dis-group.ru

Бизнес сейчас очень активно инвестирует в машинное обучение и анализ данных, обработку естественного языка и глубинное обучение. Особенно приятно видеть, что концепция искусственного интеллекта, наконец-то получила необходимую поддержку. До этого интерес к ней возникал и исчезал с переменным успехом на протяжении трёх десятилетий. Каждая волна интереса разбивалась о разочарование по мере того, как компании понимали, что им сложно применить технологию для своих проблем и возможностей. Возможно, в этот раз всё будет по-другому, и мы увидим, как ИИ выйдет на совершенно новый уровень. Искусственному интеллекту дует сейчас попутный ветер. У него наконец-то появилась возможность помочь системам и приложениям служить бизнесу и его клиентам с минимумом человеческой крови, пота и слёз.

Но нельзя забывать, что необходимая составляющая машинного обучения и анализа данных, обработки естественного языка и глубинного обучения – качественные данные. Данные должны быть не просто актуальными и надёжными. Они должны быть безупречными. Только тогда они помогут обновить и освежить алгоритмы ИИ, а аналитика будет эффективной. В противном случае мы увидим, как бизнес сорвётся в пропасть из-за своей автоматизации. Я не могу в полной мере выразить важность доверия к данным, когда от них зависят инсайты, на которых строится бизнес.

Важность качества данных подчёркивают и эксперты технологического стартапа GumGum в своём последнем посте на TechCrunch. Они замечают, что «несмотря на то, что наш мир буквально затоплен данными (сейчас ежедневно собирается около 2,5 квинтиллиона битов в день). Их большая часть никак не маркирована и не структурирована. Это приводит к тому, что для большинства данных существующие форматы неконтролируемого обучения алгоритмов ИИ нельзя применить». Из-за того, что целый пласт данных исключается из обучения ИИ, алгоритмы последнего обучаются хуже. Особенно заметно это для глубинного обучения. Оно «зависит от постоянного потока качественной, структурированной и маркированной информации», – замечают эксперты GumGum.

Проблема в том, что «процесс поступления данных для машинного обучения и анализа данных похож на набивание колбасок: для обучения используются только контролируемые методы. А данные заранее скрупулёзно маркируются». Сотрудники GumGum замечают, что нужно больше автоматизировать процессы маркирования и индексации неструктурированных данных. Сейчас эти процессы громоздкие, а для изображений, графики и документов их вообще нельзя применить. Танз и Картер озвучивают необходимость применять неконтролируемое обучение алгоритмов, чтобы те сами научились осознавать различия в неструктурированных данных. Это очень похоже на то, как новорождённые и дети развивают свои способности распознавать разные вещи и свои познавательные способности. «Давайте исключим ситуацию, что компании нанимают людей для маркирования данных (что, действительно существует и дорого стоит). А также – что все организации мира неожиданно откроют все свои данные и раздадут их data scientists. Тогда решение проблемы недостатка данных для обучения ИИ одно – перестать полагаться на результаты работы искусственного интеллекта совсем. Или же вместо того, чтобы стараться собрать как можно больше данных, глубокое обучения может начать двигаться в сторону развития самих неконтролируемых методов обучения». В ближайшие годы нужно будет сделать много, чтобы развить этот подход. Но это необходимая стадия полноценного развития ИИ и успешной реализации дата-центричных инициатив. Если эту стадию мы не пройдём, ИИ и его компоненты так и останутся ограничены структурированными данными (данными из реляционных баз). А это чревато однобоким пониманием клиентов компании и её бизнес-процессов. Искусственный интеллект Informatica Clair уже умеет искать в некоторых данных структуру. Хотите знать, как? Читайте другую статью блога.

В последние несколько лет все конференции, на которых мне довелось побывать, имеют одно общее. Основной фокус каждой из них – цифровая трансформация. Аналитики, лидеры мнений и эксперты индустрии транслируют одно и тоже ключевое сообщение. Они говорят о том, что сейчас мы находимся в середине самой большой в корпоративной истории трансформации. Трансформация эта цифровая по своей натуре и в основе её лежат данные. По роду своей деятельности я глубоко погружена в мир дата-центричной цифровой трансформации. Но недавно у меня состоялся разговор с клиентом, который буквально вернул меня на 10 лет назад. Меня попросили объяснить одной из производственных компаний ценность управления мастер-данными о клиентах. При этом меня попросили не рассказывать о таких преимуществах, как повышение дополнительных продаж и кросс-продаж, потому что эта компания «и так достаточно зарабатывает». Этот уровень самодовольства руководства совершенно не совпадает с ситуацией на рынке «адаптируйся или умри», которую большинство экспертов активно проповедуют. Компания, о которой идёт речь, по большей мере продаёт нишевые продукты. Сейчас у неё мало конкурентов. Оказалось, что руководство организации полностью удовлетворено текущим положением дел. Они не видят необходимости управлять данными и обеспечивать качество данных для того, чтобы не отстать от всеобщей цифровой трансформации и даже для того, чтобы поддержать статус кво на рынке. Но само то, что кто-то в организации интересуется этими вопросами, уже говорит о необходимости этого для бизнеса. К тому же, история показывает, что компании, которые самодовольно вели себя перед лицом перемен, в итоге проигрывали. По моему мнению, сегодня такое самодовольство по отношению к цифровой трансформации чаще всего можно встретить на промышленном предприятии. Они создают реальные, физические товары, у которых есть свои преимущества. В это сфере важность качества данных и управление ими может быть сложнее продать, чем в сфере обслуживания, где связь данных и цифровых возможностей компании более явная. Работаете в компании, где высшее руководство пока не понимает того, что данные – это основа цифровой трансформации? Нужно продемонстрировать им ценность данных. Основываясь на своём опыте в управлении данными, я подготовил для вас несколько советов.

• Шаг 1. Определите, как неэффективное управление и низкое качество данных влияет на бизнес компании. Выявите основные проблемы, которые требую решения. Среди нихможет быть недостаток гибкости, неэффективный процесс принятия решений или упущенные возможности. Также – к неспособность быстро адаптироваться в высокотехнологичном мире.
• Шаг 2. Разработайте чёткий план поиска первопричин таких проблем. Зачастую в том, то вы упускаете выгоду от данных, виновато низкое качество данных и их низкая доступность
• Шаг 3. Старайтесь, чтобы ваши инициативы были нацелены на решение этих проблем и приносили реальную пользу бизнесу. Для этого выбирайте для реализации такие инициативы, которые помогут устранить первопричины проблем.
• Шаг 4. Расскажите всем о своих инициативах. Внутренние коммуникации – это ключевой фактор для того, чтобы привлечь к своему проекту людей.
• Шаг 5. Повторяйте все предыдущие шаги. Используйте уже достигнутый успех, увеличивайте количество проектов и их сложность.

Предложенная мной стратегия рассчитана на долгое время. Но реальность такова, что обеспечить высокое качество данных и эффективное управление ими в организации нельзя быстро. А без первых успехов доказать руководству полезность ваших инициатив будет непросто. Но первый же успех поможет вызвать больший интерес, который рано или поздно приведёт к более крупным проектам. Скорее всего у вас есть коллеги, которые работают над проектами, которые призваны использовать ценность от данных или цифровой трансформации. Эти коллеги естественно станут вашими союзниками на пути улучшения качества данных, их доступности во всей организации. Координация с другими командами в области ключевых сообщений и технологий может ускорить получение реальной пользы и улучшить возможности управлять данными. А это в свою поможет вам скорее получить поддержку от руководства. Естественно, никогда нельзя гарантировать всё на 100%. Даже если вы успешно демонстрируете ценность качества данных, у вас может не получиться убедить высшее руководство в необходимости перемен. Плюс в том, что, если вы выполните хотя бы первые четыре шага, ваш опыт в будущем оценит любая другая из сотен компаний, которые уже поняли преимущества дата-центричной цифровой трансформации и активно её у себя внедряют.