Переход на отечественное программное обеспечение в 2023 году

26 августа 2023
С российского рынка ушли зарубежные поставщики и производители программного обеспечения, которые отказали компаниям в поддержке ПО и его возможной модернизации. Приобретенные цифровые решения до сих пор работают, но рано или поздно потребуется их обновление. Сейчас развивать производственные активы компании, не развивая при этом программное обеспечение, практически невозможно. Таким образом, санкции, новые требования регулятора, необходимость совершенствования ИТ-решений вынуждают компании активнее проводить импортозамещение в сфере ИТ. Однако тормозить этот процесс могут ряд сложностей, с которыми сталкивается бизнес. Они связаны с ограниченными сроками, в течение которых необходимо заменить программное обеспечение, небольшим выбором продуктов, удовлетворяющих потребности заказчиков относительно набора необходимых функций, отсутствием опыта по внедрению подобного рода продуктов. Небольшое число внедрений связано с конкуренцией с зарубежными поставщиками, которая была раньше. Выбор в их пользу определялся тем, что их продукты были более мощными, стабильными в работе, обладали широким функционалом, а большой опыт внедрения давал возможность разработчикам развивать продукты быстро и качественно, это создавало им конкурентные преимущества. Зрелость и качество ПО напрямую зависит от объема внедрений, потому что возможные недостатки решений всегда выявляются в ходе эксплуатации, и производитель может их устранить, выпуская обновления. Из-за меньшего количества внедрений совершенствование российских продуктов было медленным. Сейчас у отечественных разработчиков программного обеспечения есть больше возможностей для развития. На появление новых продуктов с необходимыми бизнесу функциями потребуется время, поэтому пока некоторые компании будут вынуждены использовать один или несколько продуктов, не до конца удовлетворяющие их нужды. Важно, чтобы компании помогали производителям ПО в разработке нужных им продуктов, говорили о своих нуждах, обозначали приоритеты и давали время. Компания DIS Group имеет большой опыт работы с российским бизнесом по внедрению ИТ-решений, поэтому предлагает ПО, которое сегодня максимально удовлетворяет нужды бизнеса. Вопрос выбора программного обеспечения сейчас особенно острый, ведь компаниям нужно менять большое количество ПО сразу. В крупных компаниях есть много систем, созданных и поддерживаемых из-за рубежа. Иногда бизнесу нужно заменить сотни таких систем за короткое время. Усложняется этот процесс и тем, что когда нужное ИТ-решение выбрано, перед заказчиком и производителем стоит задача по переносу данных из существующей системы. Если технически новая система обладает меньшей функциональностью, то с данными из старой системы нужно будет что-то делать, а работавшие ранее процессы могут не быть реализованы с учетом новой системы. Некоторые бизнес-процессы изменятся (часть процессов станут бумажными или компания будет использовать другие менее удобные технологии), что может затруднить и замедлить принятие решений в компании. Чтобы этого избежать, нужен контроль в процессе миграции данных и замены программного обеспечения на уровне руководства организации. В процессе импортозамещения важно задуматься и о сжатии данных (это создаст запас для роста и высвободит часть оборудования), провести проверки соответствия политик резервирования и катастрофоустойчивости требованиям бизнеса в новое время, рассмотреть риски переиспользования оборудования. Все это может значительно ускорить процесс перехода на новое ПО.

Российские продукты для цифровой трансформации бизнеса

Сегодня многие компании все еще совмещают работу с российским и зарубежным ПО, что становится делать все сложнее в новых условиях. Поэтому на российском рынке появляется все больше ИТ-продуктов, решающих проблемы бизнеса в сфере управления данными, их интеграции, обеспечения качества данных, управления знаниями. В большинстве случаев заказчик критически подходит к набору нужного ему функционала в продуктах, из-за этого на рынке начинают появляться решения с подлогом. То есть разработчики заявляют о наличии функций, которых на самом деле в продукте нет, что выясняется только в процессе внедрения. На этом фоне компания DIS Group предлагает бизнесу проверенное ПО с необходимым объемом функционала. Например, решение Плюс7 ФормИТ интегрирует корпоративные данные для автоматического создания, воспроизведения и рассылки персонализированных документов любого формата и сложности, что значительно увеличивает скорость получения информации бизнес-подразделениями. Это кросс-отраслевое ПО решает задачу построения единого цифрового пространства и цифровой компании, в основе которой лежит интеграция и быстрый обмен данными между подразделениями, юридическими лицами и пр. Использовать решение можно в разных целях: для повышения эффективности работы с финансовыми данными, для консолидации данных и быстрого обмена ими, при управлении коммуникациями с клиентом. Главные преимущества решения связаны с мощным механизмом интеграции данных, выгрузкой данных из любых источников, обработкой любых типов данных на любых языках, управлением рассылками и шаблонами, формированием документов по требованию. Проверить качество данных и выполнить их профилирование помогает решение Плюс7 ФормИТ DQ. Оно подходит для любых задач анализа и системного улучшения качества данных, позволяет снизить затраты на инфраструктуру и подготовку данных для проектов компании. Решение позволяет провести мониторинг полноты​ и качества данных​, выявить дубликаты и обеспечить чистоту данных, осуществить стандартизацию и консолидацию данных. Первое не принадлежащее к классу open source российское ETL-решение, обеспечивающее полную обработку данных на кластере Hadoop – Плюс7 ФормИТ на Hadoop. Оно позволяет создавать решения по интеграции данных на уровне кластера Hadoop и практически не имеет ограничений на работу с различными источниками и приёмниками данных. За счёт интеграции кластера Hadoop в инфраструктуру компании и поддержки всех основных дистрибутивов Hadoop, компания может сократить свои затраты на реализацию и поддержку новых бизнес-инициатив, так или иначе связанных с обработкой данных. Также решение ускоряет разработку любой бизнес-задачи вне зависимости от архитектуры приемника или источника. Благодаря сокращению показателя time-to-market, конкурентное преимущество компании увеличивается. Одно из преимуществ решения – высокая скорость и прозрачность разработки за счёт работы в визуальной среде. Создать обезличенные тестовые среды позволяет Плюс7 ФормИТ Маскинг. Решение эффективно при создании в компании централизованной «фабрики обезличивания», создании стандартов и выстраивании бизнес-процессов обезличивания. ПО формирует подход и внедряет промышленный инструмент обезличивания​, снижает трудозатраты, сроки обезличивания и его контроль, обеспечивает соответствие внешним и внутренним регулятивным требованиям. Решение по управлению мастер-данными (нормативно-справочной информацией) Юниверс MDM позволяет сформировать и развивать единую систему управления ключевыми данными компании. Это повышает операционную эффективность организации, и ее ключевых бизнес-процессов. По нашим данным, решение позволяет ускорить процесс закупок на 40%, в два раза сократить число ошибок в снабжении производства, увеличить количество вторичных продаж почти на 30%, формировать и выдавать отчетность быстрее в пять раз. Главные возможности решения: управление основными справочниками информации (когда номенклатура, контрагенты, клиенты, продукция есть в единой системе), наличие единых и чётких регламентов управления данными, централизация управления данными и визуализация связанных с этим процессов, управление качеством данных, поиск дубликатов и консолидация, а также обеспечение безопасности данных. Выстроить полный цикл управления данными в компании помогает Юниверс DG. Решение эффективно при ведении общей бизнес-терминологии, визуализации потоков происхождения данных, мониторинге и поддержке целевого уровня качества данных, построении моделей и аналитики любой сложности, подготовке данных для создания и модификации отчётов, анализе и проектировании решений, анализе отчетности и поиске ошибок. Решение позволяет выполнить требования регуляторов в части работы с данными. Датафлот Репликация – продукт для создания онлайн-копий систем и баз данных. Репликация представляет собой процесс перемещения или копирования данных в резервное место хранения. Она позволяет создать одну или несколько резервных копий базы данных системы, в том числе хранилища данных. Это необходимо для создания операционной отчётности, снижения нагрузки на системы-источники, а также обеспечения отказоустойчивости. Чем выше качество данных, тем эффективнее бизнес принимает решения на их основе. Репликация данных обеспечивает их надёжную синхронизацию и ввод. Решение поддерживает широкий спектр источников, целей и платформ, упрощает операции чтения и записи, использует все доступные вычислительные мощности для создания реплики, обеспечивает готовность и доступность данных, когда они нужны, дает доступ к данным в режиме реального времени. Плюс7 МаяК помогает в создании системы управления знаниями, в целях повышения эффективности внешних коммуникаций и внутрикорпоративных взаимодействий. В основе системы лежит постоянно обновляемая база информации и развитые интерфейсы интеграции с внешними системами, включая CRM, телефонию, корпоративный веб-сайт, чат-боты и др. Решение можно использовать для оптимизации работы контакт-центра, создания бизнес-википедии для повышения внутренней эффективности или создания справочника для работников продаж. Плюс7 МаяК обеспечивает быстрый омниканальный доступ к релевантной информации, что повышает эффективность внешних коммуникаций, сокращает время на поиск информации, тем самым оптимизируя внутренние процессы в компании, улучшает клиентский опыт, что увеличивает лояльность клиентов. Внедрение единой базы знаний с помощью решения улучшает бизнес-показатели и снижает сопутствующие затраты. Для автоматизации операционной деятельности компании подходит low-code платформа Плюс7 Форсаж. Она представляет собой комплекс программных компонентов, работающий по принципу конструктора. Простое и быстрое конфигурирование компонентов упрощает запуски различных процессов силами бизнес-пользователя или технического специалиста. Решение эффективно при автоматизации операционной деятельности, выстраивании цепочек поставок, а также во время управления инвестиционно-инновационной деятельностью компании. По нашим данным, платформа позволяет сократить срок разработки MVP до пары недель вместо 3-4 месяцев, эффективно автоматизировать любые бизнес-функции, даже узкоспециализированные. Плюс7 Форсаж интегрируется с системами сквозной корпоративной автоматизации, а не входит с ними в противоречие, и дает возможность разрабатывать конечный продукт самостоятельно или с привлечением наших специалистов.

Развитие российских ИТ-продуктов для бизнеса

В России процесс импортозамещения проходит на протяжении последних десяти лет, но сейчас получил активное развитие. С 2025 года, в соответствии с Указом Президента РФ, будет невозможно использовать западное ПО в критической инфраструктуре. Поэтому внедрение в компаниях отечественных ИТ-решений ускорилось. В связи с этим для российских разработчиков предусмотрены льготные кредиты, освобождение от налоговых проверок и уплаты налога на прибыль, расширение программы грантов. А чтобы продвигать новые продукты, Минцифры РФ запустило в тестовом режиме маркетплейс отечественного ПО. Результатом таких мер становится стабильное пополнение Реестра российского ПО. Это ускоряет цифровую трансформацию отечественных компаний по разным направлениям, исходя из целей: совершенствование клиентского опыта, бизнес-модели или операционных процессов и управления. В результате этого компании принимают более эффективные решения на основе анализа массивов данных внутренних и внешних источников. Решения по управлению знаниями позволяют поддерживать в актуальном виде объём знаний компании и обеспечивать к ним быстрый доступ. Таким образом, текущая цифровая трансформация с помощью российского ПО влияет и на внешнюю оптимизацию процессов при перестройке бизнеса и на внутренние процессы в отношении работы с сотрудниками. Уже сейчас в некоторых сегментах есть отечественные решения мирового уровня. Но есть области, в которых российские аналоги либо не представлены, либо отсутствуют полностью. Сейчас это открывает безграничные перспективы для российских разработчиков ИТ-решений.

Рекомендуем также

Управление рисками проекта: поиск, оценка и решения

10 июля 2023

Один из ведущих экспертов России во многих областях, связанных с Big Data и стратегическим управлением данными, включая интеграцию данных, обеспечение их качества, управления знаниями и построение датацентричных бизнес-процессов.

Что такое риски в проекте?

Риски в проекте — это потенциальные события или обстоятельства, которые могут негативно повлиять на достижение целей проекта. Например, в проектах по управлению данными эти риски могут возникнуть из-за различных факторов, таких как технические проблемы, ошибки в данных, недостаточная безопасность данных, неправильное планирование и организация проекта, изменения в требованиях и т.д.

Основные виды рисков

Некоторые из распространенных рисков в проектах по управлению и работе с данными включают:
  • Потерю данных: возможность потерять данные из-за сбоев в системе, ошибок операторов или хакерских атак;
  • Неправильную интерпретацию данных: возможность неправильного анализа или интерпретации данных, что может привести к неправильным решениям и проблемам в принятии решений;
  • Недостаточную безопасность данных: возможность несанкционированного доступа к данным или утечки информации, что может привести к ущербу для организации или нарушению конфиденциальности;
  • Недостаточную производительность системы: возможность неправильной настройки или недостаточной производительности системы, что может привести к задержкам в обработке данных и некачественной работе;
  • Изменение требований: возможность изменения требований к проекту в процессе его выполнения, что может привести к несоответствию и потере времени и ресурсов;
  • Ошибки в данных: возможность наличия ошибок или неточностей в данных, что может повлиять на качество анализа и принятие решений.
Для успешного управления данными необходимо провести анализ и оценку рисков, разработать стратегии по их снижению или устранению, а также установить меры по предотвращению и управлению рисками в проекте.

Что значит управление рисками?

Управление рисками связано с принятием мер для идентификации, анализа, оценки, снижения и контроля рисков, связанных с проектом. Это включает в себя следующие шаги:
  1. Идентификация рисков: определение потенциальных рисков, которые могут возникнуть в проекте по управлению данными. Это может быть достигнуто с помощью анализа сценариев, обсуждения с участниками проекта и использования предыдущего опыта.
  2. Анализ рисков: оценка вероятности возникновения рисков и их влияния на проект. Это позволяет определить наиболее критические риски, требующие особенного внимания.
  3. Оценка рисков позволяет определить уровень риска для каждого идентифицированного риска на основе его вероятности и влияния. Это помогает понять, насколько критичными являются риски для проекта.
  4. Снижение рисков: разработка стратегий и планов действий для снижения вероятности возникновения рисков или уменьшения их влияния на проект. Это может включать в себя принятие мер по улучшению безопасности данных, резервное копирование данных, обучение персонала и другое.
  5. Контроль рисков: мониторинг и контроль рисков в течение всего проекта позволяет своевременно реагировать на изменения ситуации и принимать соответствующие меры для управления рисками.
Управление рисками позволяет минимизировать потенциальные негативные последствия рисков и повышает вероятность успешной реализации проекта.

Как найти риски и оценить их?

Для того чтобы найти и оценить риски в проектах по работе с данными используются следующие методы:
  • Анализ предыдущего опыта: изучение прошлых проектов, связанных с управлением данными, и анализ рисков, которые в них возникали. Это помогает идентифицировать потенциальные риски, которые могут возникнуть в текущем проекте.
  • Проведение сеансов мозгового штурма. Для этого происходит сбор команды проекта и других заинтересованных сторон для обсуждения и идентификации возможных рисков. Важно создать открытую и доверительную атмосферу, чтобы все участники могли свободно высказываться.
  • Использование экспертных оценок: привлечение экспертов в области управления данными или проектного менеджмента для оценки рисков на основе своего опыта и знаний. Это может помочь выявить потенциальные риски, которые не были замечены командой проекта.
  • Анализ сценариев: разработка различных сценариев, которые могут произойти в проекте, и оценка рисков, связанных с каждым из них. Это помогает идентифицировать критические риски, которым требуется особое корпоративное внимание.
  • Использование матрицы рисков: создание матрицы, которая позволяет оценить вероятность возникновения рисков и их влияние на проект.
После идентификации и оценки рисков, необходимо разработать стратегию и план действий для их снижения или контроля, а затем следить и контролировать риски в течение всего проекта.

Виды рисков

Чтобы определить возможные риски и их минимизировать в проектах по управлению данными, важно понимать, что это управление дает на самом деле. Этот процесс определяется объемом типов данных, которыми оперирует компания и которые требуются, чтобы создавать отчетность, проводить аналитические работы внутри фирмы. Управление данными — это подход к систематизации их и накопленных знаний, которые существуют в компании. Неверный, однобокий подход в управлении данными может снижать эффективность работы сотрудников. Такое бывает, когда компания стремится просто описать все знания. В таком случае специалистам дают соответствующее задание, которое они выполняют в течение нескольких месяцев, а иногда и лет. Они описывают всё, что знают с точки зрения терминологии и используемых показателей для дальнейшей работы. У такого подхода есть несколько существенных проблем: они связаны с тем, кто на самом деле будет пользоваться подобным глоссарием и терминологией и как она будет применяться. Необходимо учитывать, что глоссарий будет ежедневно использоваться в корпоративных процессах. При таком подходе есть риск использования неактуальной информации и ограниченная применимость такого глоссария (пользователю придется постоянно смотреть, соответствует ли понимание показателей тому, что о них знают). Второй подход при работе с данными отвечает на вопрос о местонахождении данных. Мы исследовали, насколько ускоряется время работы с данными и принятие решений, если выдавать информацию о нахождении данных непосредственно бизнес-пользователю. В результате оказалось, что существенной экономии времени нет. При такой работе с глоссарием есть риски, связанные с тратой времени на проверку качества данных, если информация об их местонахождении и доступ к ним передается между сотрудниками. На таких повторных перепроверках теряется много времени, ведь пользователь занимается не своей работой (его работа заключается в том, чтобы на основании данных принимать решения). Возможность обойти риски, связанные с данными подходами, лежит в том, какой процесс использовать для работы с данными. Например, решения data governance используются для обработки запросов на предоставление данных. Именно в этом основная суть управления данными: ускорить их предоставление и сделать его достоверным. При этом ускоряется аналитическая работа по бизнес-исследованиям того, что спросил пользователь в своем запросе, и по переводу с бизнес-языка на технический при постановке задачи разработчику, который занимается предоставлением данных. Также теряется необходимость заполнения документации с бизнес-требованиями, техническими заданиями. Они переходят в вид иерархии глоссария в виде конкретных документов по перемещению данных или созданию их структур. В результате модель данных, созданная в глоссарии, может не описывать работу всех бизнес-подразделений, а содержать только ту информацию, которая есть в запросах. Это позволяет максимально быстро отвечать на вопросы пользователя и снизить очередь запросов. Такая систематизация данных ведет к быстрой и точной постановке задачи на обработку данных и позволяет эффективно использовать полученную информацию. При таком подходе ресурсов компании тратится очень мало, а эффект достигается максимальный. Примером такого решения может служить Юниверс DG. Оно помогает выстроить полный цикл управления данными в организации. В том числе используется при ведении общей бизнес-терминологии, визуализации потоков происхождения данных, мониторинге и поддержке целевого уровня качества данных, а также при создании моделей и аналитики любой сложности. Также оно позволяет ускорить процесс цифровой трансформации компании благодаря использованию качественных, полных и актуальных данных. Решение позволяет создать эффективное в работе описание данных компании, снизить время на поиск нужной информации, собрать корпоративный каталог данных с механизмом индексирования на основе машинного обучения, автоматизировать каталогизацию данных. Это позволяет усовершенствовать поиск информации и сэкономить время сотрудников при работе с данными. Преимущество решения – возможность поэтапного внедрения за счет модульного подхода, совместимость со всеми источниками данных, визуализация зависимостей метаданных для технических специалистов. Продукт Юниверс MDM эффективен в управлении мастер-данными (нормативно-справочной информацией). Решение помогает в формировании и развитии единой системы управления ключевыми данными компании. К примеру, на производстве это позволяет сократить число ошибок в снабжении производства, ускорить запуск новых продуктов, а также быстрее формировать и выдавать отчетность. Это происходит благодаря широким возможностям в управлении основными справочниками информации, когда информация по номенклатуре, контрагентам, клиентам и продукции хранится в единой системе, есть централизация управления данными и визуализация связанных с этим процессов. Решение предполагает наличие единого и четкого регламента управления данными, помогает в управлении качеством данных, поиске дубликатов и консолидации. Управлять знаниями возможно с помощью промышленного решения Плюс7 МаяК. Это система управления знаниями, в основе которой лежит регулярно обновляемая база информации и развитые интерфейсы интеграции с внешними системами, включая CRM, телефонию, сайт и др. Решение делает возможным повышение эффективности внешних коммуникаций благодаря быстрому омникальному доступу к релевантной информации, сокращение времени на поиск информации сотрудниками, улучшение бизнес-показателей за счет внедрения единой базы знаний. Таким образом, правильный подход к управлению данными и снижение рисков по неисполнению проектов связаны с тем, каким образом построен процесс по работе с данными, какова организационная структура и роли сотрудников в этом процессе, какое программное обеспечение позволяет поддерживать процесс по обработке запросов данных. Эти аспекты делают процесс по управлению данными эффективным, быстрым и достоверным, без дополнительных рисков.

Этапы управления рисками

Главные задачи бизнеса при работе с проектами связаны с своевременным выявлением рисков, оценкой их масштаба и вероятности. На основе этого создается риск-стратегия, которая позволяет предотвратить наступление рисков или максимально смягчить их последствия. Не менее важна и своевременная корректировка такой стратегии в соответствии с меняющимися условиями. Рассмотрим подробнее алгоритм создания плана управления рисками:
  1. Идентификация рисков: определение потенциальных рисков, которые могут возникнуть в проекте. Это может включать в себя анализ предыдущего опыта, проведение сеансов мозгового штурма и использование экспертных оценок.
  2. Оценка рисков: определение вероятности возникновения каждого риска и его влияния на проект. Это может быть выполнено с использованием матрицы рисков или других методов оценки.
  3. Разработка стратегий управления рисками: определение подходов к снижению и контролю рисков. Это включает в себя принятие мер по предотвращению рисков, разработку плана действий для минимизации воздействия рисков и определение ответственных лиц.
  4. Реализация стратегий управления рисками: внедрение планов действий и мер по снижению и контролю рисков. Это включает обучение персонала, внесение изменений в процессы управления данными и мониторинг рисков.
  5. Мониторинг и контроль рисков: отслеживание и оценка эффективности принятых мер по управлению рисками, регулярное обновление матрицы рисков, проведение аудитов проекта и корректировка стратегий управления рисками при необходимости.
  6. Коммуникация и отчетность: информирование заинтересованных сторон о рисках, принятых мерах по управлению рисками и их результате. Это обеспечивает прозрачность и согласованность в управлении рисками проекта.
При создании риск-стратегии важно создавать аналитические модели с опорой на корпоративные данные и обеспечивать высокий уровень качества этих данных. В этом может помочь решение Плюс7 ФормИТ DQ. Оно выполняет проверки качества данных и осуществляет профилирование данных, мониторинг полноты и качества данных, выявляет дубликаты и обеспечивает чистоту данных, стандартизацию и консолидацию данных. Естественно, ни одно из решений не может работать без данных. Их эффективная и своевременная доставка до получателей информации является залогом правильности принятых решений для обхода рисковых ситуаций. Промышленная платформа интеграции данных Плюс7 ФормИТ предназначена как раз для реализации процессов предоставления достоверных, точных, своевременных данных любому получателю. Регулярный мониторинг проектов помогает в управлении инновациями и инвестициями, а также снижает риски в этой области. В этом эффективно помогает решение по управлению инновационно-инвестиционной деятельностью компании Плюс7 Пульс. Оно обеспечивает автоматизацию управления и мониторинга проекта (что крайне эффективно в работе с рисками), управление инвестициями в проекте и инвестиционными проектами. Из преимуществ решения: гейтовый подход (позволяет разделить процесс на несколько этапов с принятием решения «go – not go» в конце каждого из них), гибкость (решение позволяет подстроиться под специфику процессов компании), скорость и масштабируемость (решение позволяет получить эффект «здесь и сейчас», без длительного развёртывания системы). Использование вышеперечисленных решений позволяет регулярно получать релевантные отчеты, контролировать корпоративные данные и сокращать число ошибок до минимума. А при регулярном обновлении информации это делает возможным предотвращение большого числа риска в проектах.

Рекомендуем также

Что такое цифровизация?

23 июня 2023

Один из ведущих экспертов России во многих областях, связанных с Big Data и стратегическим управлением данными, включая интеграцию данных, обеспечение их качества, управления знаниями и построение датацентричных бизнес-процессов.

Что такое цифровизация?

Цифровизация – это процесс превращения аналоговых данных и рабочих процессов в цифровой формат. Она включает в себя использование цифровых технологий для автоматизации бизнес-процессов, улучшения уровня качества услуг, оптимизации производства и повышения эффективности работы организаций и предприятий в целом. В результате этого меняется и общественная жизнь, повышается ее качество, у человека появляется электронный доступ к информации и услугам, происходит совершенствование систем здравоохранения и образования. Цифровизация на предприятии – это процесс внедрения цифровых технологий и инструментов в бизнес-процессы компании, чтобы повысить ее эффективность и конкурентоспособность. Она включает в себя автоматизацию рабочих процессов, использование облачных технологий, аналитику данных, интернет вещей, искусственный интеллект и другие инновационные технологии. Главным признаком цифровизации на предприятии является принятие решений на основе данных и вытеснение труда человека из рутинной деятельности. Такая компания при принятии решений использует данные и результаты отчетов, аналитические показатели из разных источников внутри компании. Цифровизация предполагает усложнение информационного пространства. Данные, которые использует руководитель при принятии решений, становятся качественно сложнее и больше в объеме. Цифровизация не только сокращает время на принятие разных решений, вовремя предоставляя необходимые данные и делая систему управления более гибкой, но и позволяет предотвращать кризисные ситуации. Например, если в автомобиле двигатель обеспечен датчиками, контролирующими его эксплуатационные показатели, производитель или владелец авто может анализировать работоспособность изделия, сравнивать его параметры с изначальными показателями на заводе. Благодаря этому можно заранее понять, когда двигателю понадобится профилактика вне плана или ремонт. Это может помочь в управлении бизнесом логистическим и транспортным компаниям. Факторы цифровизации в компании:
  • Увеличение производительности и эффективности работы. Цифровые технологии ускоряют процессы, благодаря их автоматизации, исключению человеческого труда и более эффективному управлению данными с помощью программного обеспечения, что уменьшает количество ошибок в работе.
  • Улучшение качества услуг. Цифровые технологии позволяют повысить качество обслуживания клиентов, в результате увеличивается клиентская база и улучшается репутация компании.
  • Сокращение затрат. Цифровые технологии позволяют снизить затраты на производство, обслуживание клиентов и управление компанией в целом.
  • Увеличение конкурентоспособности. Компании, которые используют цифровые технологии, могут быть более конкурентоспособными на рынке, чем те, которые не используют их, благодаря вышеперечисленным преимуществам.
  • Улучшение коммуникации и сотрудничества. Благодаря цифровым технологиям улучшается коммуникация и связь между сотрудниками и отделами компании, а это делает их работу эффективнее и ведет к более быстрому принятию решений.
  • Автоматизация бизнес-процессов. Цифровые технологии автоматизируют многие бизнес-процессы. Это сокращает время работы и позволяет сосредоточиться на других вопросах, требующих внимания.
  • Улучшение аналитики данных. При цифровизации возможно собирать и анализировать большое количество данных, что помогает компании принимать более обоснованные решения.

В чем отличие от автоматизации?

Автоматизация на предприятии означает замену ручных операций на автоматические процессы, которые выполняются машинами или компьютерами. Это может быть, например, автоматическая сборка продукта на производстве или автоматическая обработка данных в бухгалтерии. Цифровизация же включает в себя не только автоматизацию процессов, но и использование новых технологий. Это может быть, например, использование аналитики данных для принятия решений, использование интернета вещей для оптимизации логистики или использование искусственного интеллекта для улучшения качества продукции. При этом при цифровизации решения в компании принимаются на основе цифр, которые могут передаваться между информационными системами и использоваться в разных процессах. Это влияет на работу компании. Основной подход в принятии управленческих решений на цифровом предприятии основан именно на данных. Это организационная особенность компании, когда она при принятии любого решения делает предварительный просчет чего-либо или аналитическую работу, чтобы получить цифровые результаты и определить тенденции. Таким образом, цифровизация влияет на разработку и внедрение информационных систем, так как они интегрируются друг с другом, что позволяет сократить время на обработку данных и повысить точность информации. Кроме того, цифровые технологии позволяют собирать и анализировать большое количество данных. Примеры цифровизации в компании:
  1. Внедрение электронных систем управления. Они позволяют автоматизировать бизнес-процессы и ускорить принятие решений.
  2. Внедрение системы электронной отчетности. Это сокращает время на подготовку отчетности, минимизирует ошибки и повышает точность данных.
  3. Использование облачных технологий. С помощью них можно хранить и обрабатывать большие объемы данных, а также они упрощают доступ к информации для сотрудников компании.
  4. Внедрение системы электронного документооборота. Он сокращает время на обработку документов, уменьшает затраты на бумажную документацию и повышает безопасность хранения данных.
  5. Разработка и внедрение программного обеспечения для автоматизации производственных процессов. Это позволяет сократить затраты на производство, увеличить производительность и повысить качество продукции.

Основные направления цифровизации

Основные направления цифровизации связаны с развитием решений для наиболее долгих процессов в компании, которое могут быть даже автоматизированными. Например, при управлении данными. Процесс предоставления данных уже автоматизирован, но, когда бизнес-пользователь просит подготовить отчет, начинается аналитическая работа, которая помогает правильно поставить задачу разработчикам и создать решения, соответствующие потребностям бизнеса. Зачастую это ручная работа, которая может сопровождаться автоматизированными технологиями. Цифровизация помогает связать разные процессы друг с другом, что значительно ускоряет работу. Для управления данными можно использовать разные продукты, например Юниверс DG. Он позволяет выстроить полный цикл управления данными в организации, вести общую бизнес-терминологию, визуализировать потоки происхождения данных, осуществлять мониторинг и поддержку целевого уровня качества данных, строить модели и аналитику любой сложности. Также это решение трансформирует входные данные в выходные, хранит и классифицирует найденные ошибки, фильтрует их и экспортирует. Управлять мастер-данными помогает решение Юниверс MDM. С помощью него возможно избавиться от дубликатов записей (например, об одном и том же клиенте, продукте или подрядчике) и собрать всю информацию в единую запись. Такие записи позволяют быстрее обновлять продуктовые данные в нескольких каналах коммуникаций, эффективнее управлять подрядчиками и персонализировано общаться с клиентами. Как результат, в пять раз быстрее формируется отчетность, ускоряется запуск новых продуктов, возрастают вторичные продажи, а число ошибок в снабжении производства сокращается. Главное преимущество Юниверс MDM управление основными справочниками информации в единой системе. Управлять качеством данных в проектах MDM и DG помогает решение Юниверс DQ. Оно осуществляет хранение и классификацию найденных ошибок в данных. Это позволяет избавиться от дубликатов записей, сократить число ошибок в аналитике и отчетности, избежать штрафов и репутационных потерь. Другое решение, эффективное в управлении качеством данных – Плюс7 ФормИТ DQ. Оно выполняет проверки качества данных и профилирование данных, осуществляет мониторинг полноты​ и качества данных​, выявляет дубликаты. В управлении данными эффективно и другое решение Плюс7 ФормИТ. Промышленный ETL-инструмент интегрирует корпоративные данные для автоматического создания, воспроизведения и рассылки персонализированных документов. Возможна выгрузка данных из любых источников, обработка любых типов данных, управление рассылками и шаблонами, формирование документов по требованию. Это кросс-отраслевое решение подойдет для всех компаний, которые ставят перед собой задачу построения единого цифрового пространства и интеграцию между разными подразделениями, производственными и юридическими лицами. Защитить важные данные и заблокировать доступ к конфиденциальной информации можно с помощью технологий маскирования. Они выявляют чувствительные данные компании и преобразуют их, делая непригодными для использования злоумышленниками. Одним из таких инструментов является Плюс7 ФормИТ Маскинг. Он формирует подход и внедряет промышленный инструмент обезличивания. Данное решение применяется для создания обезличенных тестовых сред. Если необходимо сделать репликацию данных (переместить и копировать данные в резервное место хранения), то подойдет решение Датафлот Репликация. Оно позволяет создать одну или несколько резервных копий базы данных системы, в том числе хранилища данных. Это позволяет снизить нагрузку на системы-источники, обеспечить отказоустойчивость и упростить операции чтения и записи. Репликация данных происходит постоянно, благодаря чему копия регулярно обновляется и синхронизируется с источником. Направления цифровизации разные в зависимости от отрасли и сферы деятельности компании, но можно выделить несколько основных:
  • Цифровизация производственных процессов. Включает в себя автоматизацию производственных линий, использование роботов и других устройств для ускорения и оптимизации процессов.
  • Цифровизация обслуживания клиентов. Включает в себя использование онлайн-сервисов и приложений для улучшения коммуникации с клиентами, ускорения процесса обслуживания и повышения уровня удовлетворенности клиентов.
  • Цифровизация управления компанией. Включает в себя использование цифровых инструментов для управления бизнес-процессами, анализа данных, принятия решений и мониторинга результатов.
  • Цифровизация маркетинга и продаж. Включает в себя использование цифровых каналов для продвижения продуктов и услуг, анализа поведения потребителей и улучшения маркетинговых стратегий.
  • Цифровизация финансовой деятельности. Включает в себя использование цифровых инструментов для учета финансовых операций, анализа финансовых показателей и оптимизации финансовых процессов.

Цифровизация инфраструктуры

Инфраструктура включает в себя физические объекты и системы, необходимые для ее функционирования, включая здания, оборудование, сети связи, транспортные средства и другие ресурсы. Она обеспечивает поддержку бизнес-процессов и позволяет компании достигать своих целей. Цифровизация инфраструктуры позволяет улучшить ее эффективность, надежность и безопасность, а также снизить затраты на ее эксплуатацию. Например, с помощью отслеживания показателей работы объекта или системы и быстрых корректировок. Цифровизация включает в себя использование цифровых технологий для улучшения инфраструктуры компании, таких как управление энергопотреблением, управление зданиями и транспортом, мониторинг и контроль систем безопасности и т.д. При цифровизации инфраструктуры компания может столкнуться с рядом проблем:
  1. Бюджетные ограничения могут возникнуть при внедрении цифровых технологий из-за высоких затрат на покупку и обновление оборудования, разработку программного обеспечения и подготовку персонала. Для преодоления этой проблемы необходимо провести анализ затрат и определить приоритеты, выбрать более экономичные варианты решения задач, использовать облачные сервисы и аутсорсинг.
  2. Для успешной цифровой трансформации компании требуется изменение организационной культуры и структуры, что требует определенное количество времени. Ускорить этот процесс помогает команда цифровых экспертов, которые отвечают за внедрение и развитие цифровых технологий, проводят обучение сотрудников новым инструментам и укрепляют коммуникацию между отделами.
  3. При интеграции различных цифровых систем могут возникнуть проблемы совместимости, сложности в настройке и синхронизации данных, а также сбои в работе. Для решения этих проблем необходимо проводить тестирование перед внедрением новых систем, использовать стандартизированные протоколы и проводить регулярное обновление программного обеспечения.
  4. При использовании цифровых технологий в компании могут возникнуть этические и правовые вопросы, связанные с защитой данных, конфиденциальностью информации, доступом к данным. Для решения этих проблем необходимо разработать политику безопасности и конфиденциальности, проводить обучение сотрудников правилам использования цифровых технологий и привлекать юристов для консультаций.
  5. Трудности при обучении сотрудников новым цифровым инструментам могут быть связаны с недостаточной мотивацией, отсутствием знаний и опыта в работе с новыми технологиями. Для преодоления этих препятствий необходимо проводить мотивационную работу, организовывать курсы обучения и тренинги, создавать условия для практического использования новых инструментов и поддерживать коммуникацию между сотрудниками.
Цифровизации в компании позволяет автоматизировать и оптимизировать рабочие процессы, повысить производительность и снизить издержки, улучшить качество услуг и продуктов, ускорить их производство или создать новые продукты и быстрее вывести их на рынок, улучшить коммуникацию с клиентами и оптимизировать маркетинговые стратегии, повысить конкурентоспособность и стать привлекательнее для инвесторов. Однако внедрение цифровых технологий занимает время. Чтобы ускорить этот процесс и предотвратить возможные трудности, компании необходимо ответить на ряд вопросов и определить какие данные необходимо собирать и анализировать для оптимизации бизнес-процессов, какие риски связаны с цифровой трансформацией и как их минимизировать, какие знания и навыки необходимы сотрудникам для успешной реализации цифровых проектов, какие бюджетные ограничения могут возникнуть при внедрении цифровых технологий, какие изменения в организационной культуре и структуре компании могут потребоваться.

Рекомендуем также

Современное цифровое предприятие — что это?

22 мая 2023

Один из ведущих экспертов России во многих областях, связанных с Big Data и стратегическим управлением данными, включая интеграцию данных, обеспечение их качества, управления знаниями и построение датацентричных бизнес-процессов.

Термин цифровое предприятие

Цифровое предприятие – это организация, которая в своих бизнес-процессах при принятии решений использует данные и результаты разного рода отчетов, аналитические показатели, полученные из внутренних или внешних источников компании. Информационные технологии в такой компании необходимы для перестройки всего бизнеса, производства, отношений с клиентами и подрядчиками и формирования методов управления компанией, предусматривающих интеграцию процессов в рамках всего предприятия.

Цифровое управление предприятием

Ранее в производстве проводили оптимизацию отдельных его фаз или этапов, сегодня создание цифрового предприятия затрагивает не только производственные изменения, но и трансформирует финансовую деятельность фирмы, работу кадров, логистику. Внедрение цифровых технологий на предприятии приводит к смене бизнес-модели (особенно сильно это заметно в традиционных отраслях). Это связано с изменением принципов управления предприятием, цифровую трансформацию организационных функций и оптимизацию операций в бизнесе. Основной подход в принятии управленческих решений на цифровом предприятии основан на данных. Это организационная особенность компании, когда она при принятии любого решения (от малого до большого) делает предварительный просчет чего-либо или аналитическую работу, чтобы получить цифры и определить тенденции. И чем точнее эти данные, тем более эффективное решение будет принято. Такая организация на предприятии может приводить к замедлению процесса принятия решения, потому что на формирование отчета и работу с ним требуется определенное время. Чтобы ускорить время принятия решения и облегчить работу с отчетами, компании используют соответствующие технологии, связанные с управлением данными и повышением их качества. При цифровой трансформации предприятия меняются отношения как с поставщиками, так и с потребителями. Поэтому при внедрении цифровых технологий необходимо:
  1. идентифицировать спектр новых возможностей для бизнеса на цифровом предприятии и предусмотреть риски, которые их сопровождают;
  2. обратить внимание на повышение ценности компании в глазах клиента благодаря внедрению цифровых технологий и сделать анализ инвестиций;
  3. подготовиться к трансформации маркетинговых процессов и работы отдела продаж;
  4. подготовиться к внедрению инноваций в товарах или услугах;
  5. обеспечить информационную безопасность.
В цифровом предприятии меняются и принципы управления им, исходя из внутренней структуры компании, взаимодействия во внутренней и внешней среде. Среди основных принципов в таком предприятии можно выделить:
  • Архитектурный подход. При внедрении любых изменений необходима понятная и прозрачная модель предприятия, в которой легко прослеживаются структурные и иерархические взаимосвязи. Архитектурный подход к реформированию системы управления позволяет компании иметь прозрачную модель, которая описывает все взаимосвязи и взаимодействия элементов. Это помогает вовремя контролировать все изменения и видеть их последствия;
  • Управление бизнес-процессами на основе данных, когда отслеживаются и обрабатываются данные по всем бизнес-функциям. Все решения на цифровом предприятии принимаются на основе анализа данных. Клиенты или партнеры, связанные с предприятием электронно, могут получать персонализированные предложения за счет точного определения их потребностей в результате анализа данных. Также такая работа позволяет оптимизировать многие процессы в компании;
  • Поддержка внутренних коммуникаций. Цифровые технологии позволяют организовать эффективный обмен информацией внутри компании. Это укрепляет систему связей внутри предприятия и помогает эффективнее и быстрее реагировать при решении задач;
  • Адаптивность. Для быстрой адаптации к изменениям рынка и новым требованиям внешней среды предприятию важно непрерывно проводить организационные изменения. Поэтому необходимо регулярно наращивать компетенции персонала в сфере проектного управления;
  • Вовлеченность руководителя при внедрении инноваций в бизнесе. Цифровое предприятие предусматривает вертикальную интеграцию процессов (от разработки продуктов до их логистики и обслуживания во время эксплуатации), а горизонтальная интеграция охватывает поставщиков, потребителей и партнеров. Руководителям разных уровней в компании необходимо принимать активное участие в этих процессах;
  • Экосистемный подход. Когда предприятие работает в рамках внешней мотивирующей среды, объединяющей разные компетенции участников при внедрении инноваций.

Цифровые технологии на предприятии

Задержка при предоставлении данных или их низкое качество приводят к медленному принятию решений, ошибкам и повторному рассмотрению одних и тех же вопросов. Поэтому важно, чтобы цифровые технологии соответствовали потребностям предприятия. Например, для некоторых компаний важно знать о наличии товаров, иметь информацию об определенных характеристиках этого товара (например, прочность, гибкость и т.п.), данные о количестве продаж или о том, насколько эти товары соответствуют текущим требованиям рынка. Всю эту информацию необходимо собирать, структурировать и предоставлять руководству или рабочей группе, которая принимает решение на основе этих данных. Цифровая трансформация предполагает наличие определенной технологической культуры, соответствующих процессов в бизнесе, определенных подходов к проектированию информационных систем и эффективную работу с данными предприятия. При внедрении цифровых технологий компания способна:
  • повысить производительность;
  • обеспечить операционную эффективность;
  • сделать информацию более точной и доступной;
  • снизить затраты;
  • эффективнее удовлетворять потребности клиентов;
  • быстрее выходить на рынок и т.д.
В результате исследований Capgemini Consulting и MIT Sloan School of Management выяснилось, что компании, которые внедряют цифровые технологии и меняют методы управления, имеют прибыль выше, чем у конкурентов почти на 30%. Одним из главных признаков цифровых предприятий является усложнение информационного пространства. Данные, на которые опираются руководители при принятии решений, становятся качественно более сложными, большими в объеме, между данными появляется больше связей. Это позволяет управлять организацией в режиме реального времени, а быстрое принятие решений и их высокое качество предполагают увеличение скорости реализации этих решений. Другим признаком цифрового предприятия является вытеснение человеческого труда из регулярной рутинной деятельности. Как строится работа на цифровом предприятии? Например, если компания решает выпустить новый продукт, то его разработка может происходить сначала в цифровой среде. Когда все сведения о новом продукте и его свойства вносят в информационную базу, конструкторы на основе этих данных начинают над ним работу также в электронном виде. Благодаря системам инженерного анализа тест продукта можно сделать на цифровых моделях. Это позволяет сэкономить затраты на изготовление прототипов продукта и организацию их испытаний. Спланировать этапы производственного процесса и смоделировать работу цехов также можно в цифровой среде. Это даст информацию о том, сколько сотрудников и оборудования понадобится для работы над новым продуктом в реальности, какое количество времени и объем сырья потребуется для работы. На таком цифровом предприятии оборудование оснащено датчиками, которые собирают информацию о его состоянии. Полученные данные помогают дорабатывать производственные сценарии, предотвращать неисправности техники, экономить сырье. Какие технологии эффективны для таких предприятий? Те, которые работают с озерами данных, обеспечивают интеграцию данных, работают с их качеством и помогают в управлении ими. Важна и единая система по управлению справочной информацией. Все это позволяет эффективнее проводить аналитическую работу, заниматься продуктовой аналитикой, находить корреляцию между событиями, чтобы отследить определенный тренд и принять необходимое решение.

Примеры

Чаще всего цифровые технологии широко используются в банковской сфере, IT-компаниях, ритейле, чуть меньше распространены в телекоммуникационной отрасли и в сфере гостиничного бизнеса. Меньше всего цифровые предприятия распространены в сферах ЖКХ и фармацевтики. Цифровое предприятие может существовать в любой отрасли, например, в авиапромышленности. Когда авиадвигатель оснащен датчиками, контролирующими его эксплуатационные показатели, производитель может анализировать работоспособность изделия, сравнивать его рабочие параметры с изначальными показателями на заводе. Это позволяет производителю понять, когда двигателю необходима внеплановая профилактика или требуется ремонт. Как результат, повышается безопасность полетов. В банковской сфере на цифровом предприятии возможно создавать системы самообслуживания или внедрять программы-роботов, а также разрабатывать мобильный банкинг. По статистике, большая часть банковских процедур может быть автоматизирована. Это значительно экономит расходы предприятий на аренду или постройку зданий и работу сотрудников. В работе цифрового предприятия используются цифровые технологии и IT-решения. Рассмотрим основные. В таких компаниях распространено внедрение хранилищ и озер данных. В управлении данными помогают разные продукты, например Юниверс DG. Оно позволяет выстроить полный цикл управления данными в организации, вести общую бизнес-терминологию, визуализировать потоки происхождения данных, осуществлять мониторинг и поддержку целевого уровня качества данных, строить модели и аналитику любой сложности. Это решение позволяет также подготавливать данные для создания и модификации отчетов, анализировать отчетность и находить ошибки. Программный компонент Юниверс DQ позволяет трансформировать входные данные в выходные, хранить и классифицировать найденные ошибки, фильтровать их и экспортировать. Другое решение, которое эффективно работает на цифровом предприятии, – Юниверс ETL. Оно осуществляет интеграцию данных с помощью технологий open source. ETL (Extract, Transform, Load) – один из главных процессов в управлении данными. В него входит извлечение данных из внешних источников, трансформация и очистка данных согласно требованиям и потребностям модели бизнеса, загрузка данных в хранилище. От интеграции данных зависит корректное, быстрое и эффективное перемещение и преобразование данных. Это решение обладает встроенными сервисами очистки, валидации, нормализации и канонизации данных в соответствии с матрицей критериев. Оно позволяет хранить первичные, промежуточные и финальные данные с гарантированной доставкой до потребителя, контролировать целостность композитных данных. Управлять мастер-данными (нормативно-справочной информацией) помогает решение Юниверс MDM. Оно помогает сформировать и развивать единую систему управления ключевыми данными компании. Это способствует повышению операционной эффективности компании, ускорению процесса закупок почти вполовину, сокращению числа ошибок в снабжении производства в два раза, возрастанию вторичных продаж на треть и ускорению запуска новых продуктов. Решение позволяет управлять основными справочниками информации с номенклатурой, контрагентами, клиентами и продукцией в единой системе. Другое решение Плюс7 ФормИТ также участвует в интеграции данных для автоматического создания, воспроизведения и рассылки персонализированных документов. Оно позволяет увеличить скорость получения информации отделами компании до 60%. Такое кросс-отраслевое решение подходит для построения единого цифрового пространства и цифровой компании, в основе которой лежит интеграция и быстрый обмен данными между юридическими лицами, производственными подразделениями и др. Оно показало свою эффективность в работе с финансовыми данными, при консолидации и быстром обмене данными, при управлении коммуникациями с клиентом. Решение Плюс7 EDM внедряют для управления данными в государственных организациях и частных компаниях. Оно позволяет ускорить процесс цифровой трансформации бизнеса за счет использования полных, качественных и достоверных данных. Использование решения позволяет снижать временные затраты на поиск информации, эффективно выстраивать процесс заказа и использования данных, составлять каталог данных с механизмом индексирования, автоматически сканировать данные и объединять их в каталоги. Решение обеспечивает совместимость со всеми источниками метаданных. Главные цели цифровой трансформации предприятий: увеличение скорости принятия решений, вариативности процессов, снижение количества сотрудников, вовлеченных в процесс принятия решений. Уже сейчас цифровые предприятия имеют конкурентные преимущества на рынке, поэтому количество таких компаний со временем будет только увеличиваться.

Рекомендуем также

Российское ПО на замену иностранному: обзор

12 апреля 2023

Один из ведущих экспертов России во многих областях, связанных с Big Data и стратегическим управлением данными, включая интеграцию данных, обеспечение их качества, управления знаниями и построение датацентричных бизнес-процессов.

Ранее зарубежные лидеры рынка в сфере программного обеспечения получали более широкое распространение своих решений среди компаний, в сравнении с российским ПО. Выбор в их пользу определялся тем, что их продукты были более мощными, стабильными в работе, обладали широким функционалом, а опыт внедрения по всему миру позволял разработчикам развивать системы еще быстрее и качественнее, что создавало им явные конкурентные преимущества. Сегодня многие российские компании вынуждены отказаться от использования иностранного ПО. Теперь бизнес требует от отечественных продуктов той же функциональности, которая была у современного зарубежного программного обеспечения, но предложение IT-рынка сильно ограничено и сейчас не готово удовлетворить все пожелания заказчиков. Поэтому в данный момент идет активная разработка нового российского программного обеспечения. Такие решения пока не стабильны, а функционал ограничен. Для создания качественного ПО требуется время и поддержка заказчиков, которые готовы идти навстречу разработчикам, давать обратную связь и необходимое время.

ETL-решения – интеграция данных

Несмотря на все сложности, на рынке есть успешные примеры оперативного внедрения ПО российского производства, которое содержит даже больший функционал, чем зарубежные аналоги. Одно время рынок был наполнен решениями класса ETL, но после ухода западных вендоров образовалась продуктовая «дыра». Это позволило развиваться и активно использоваться решению Плюс7 ФормИТ, функционал которого соответствует зарубежным аналогам. Оно способно интегрировать корпоративные данные для автоматического создания, воспроизведения и рассылки персонализированных документов любого формата и сложности. Благодаря его внедрению, скорость получения информации бизнес-подразделениями возрастает до 60%. Это решение кросс-отраслевое и подходит для всех, кому необходимо построить единое цифровое пространство, в основе которого лежит интеграция и быстрый обмен данными между различными подразделениями, производственными, юридическими лицами и пр. Оно может использоваться для повышения эффективности работы с финансовыми данными, для консолидации данных и быстрого обмена ими, при управлении коммуникациями с клиентом. Другое российское решение в сфере интеграции данных – Юниверс ETL. Оно также создано для интеграции данных, основываясь на технологиях open source. Из преимуществ: обеспечивает быстрый, эффективный и корректный процесс интеграции данных и их перемещения, имеет встроенные сервисы очистки, валидации, нормализации и канонизации данных, обеспечивает хранение первичных, промежуточных и финальных данных с гарантированной доставкой до потребителя, осуществляет контроль целостности композитных данных.

Управление качеством данных

Для проверки качества данных и профилирования данных подходит решение Плюс7 ФормИТ DQ. Оно справляется с решением любых задач анализа и системного улучшения качества данных, позволяет снизить затраты на инфраструктуру и подготовку данных для проектов компании. Решение осуществляет мониторинг полноты и качества данных, выявляет дубликаты и решает вопросы стандартизации и консолидации данных. Другое решение – Юниверс DQ, трансформирующее входные данные в выходные. Делает возможным разработку и подключение сторонних функций. Из ключевых возможностей: хранение и классификация найденных ошибок, возможность расширения классификации, фильтрация и индикация записей с ошибками, а также экспорт обнаруженных ошибок.

Управление нормативно-справочной информацией

Отечественные решения на рынке нормативно-справочной информации развивались в России с 2014 года, но имели узкую применимость из-за высокой конкуренции с зарубежными ПО. С уходом западных производителей с рынка у российских разработчиков появилось больше возможностей для развития. Например, на сегодняшний день Юниверс MDM – наиболее мощная российская система мирового уровня, которая позволяет управлять нормативно-справочной информацией согласно всем требованиям, предъявляемым разными заказчиками. Решение способно сформировать и развить единую систему управления ключевыми данными компании. Ее внедрение позволяет повысить операционную эффективность компании и ее бизнес-процессов за счет ускорения процесса закупок, сокращения числа ошибок в снабжении производства в 2,5 раза, возрастания вторичных продаж и ускорения запуска новых продуктов, а также быстрого формирования отчетности. Благодаря внедрению решения номенклатура, контрагенты, клиенты, продукция объединены в одной системе, происходит централизация управления данными и визуализация связанных с этим процессов. Юниверс MDM уже давно существует на российском рынке, не уступает мировым аналогам и мало была распространена только из-за высокой конкуренции с зарубежными производителями, сейчас происходит ее активное развитие и внедрение во многих государственных органах.

Data Governance

Среди решений Data Governance также есть российские ПО. Например, Юниверс DG позволяет выстроить полный цикл управления данными в организации, в том числе ведение общей бизнес-терминологии, визуализацию потоков происхождения данных, мониторинг и поддержку целевого уровня качества данных, построение моделей и аналитики любой сложности, подготовку данных для создания и модификации отчетов, анализ отчетности и поиск ошибок. Сегодня импортозамещение открывает большие возможности для разработчиков по развитию российского ПО в сфере управления данными. Одновременно с решениями-однодневками, которые со временем исчезнут, на рынке существует и качественное программное обеспечение, не имевшее ранее возможностей для роста из-за конкуренции с западными производителями, но обладающее широким функционалом для удовлетворения запросов государственных и частных компаний.

Рекомендуем также

Качество данных: критерии оценки

15 марта 2023

Один из ведущих экспертов России во многих областях, связанных с Big Data и стратегическим управлением данными, включая интеграцию данных, обеспечение их качества, управления знаниями и построение датацентричных бизнес-процессов.

Что такое Data Quality?

При работе с корпоративными данными важна их точность, непротиворечивость, доступность, достоверность, актуальность, целостность, измеримость, управляемость, релевантность. Совокупность оценок перечисленных показателей демонстрирует качество данных (Data Quality). Эта характеристика обозначает пригодность данных к обработке и анализу, их соответствие обязательным и специальным требованиям. На пригодность данных для работы влияет сфера бизнеса или отдела, который с ними работает, а также критерии оценки. Одни и те же данные для финансового отдела могут быть пригодны для работы, а для аналитиков – нет. Анализ качества данных и работа с ним важна в проектах при построении хранилищ и озер данных. Чтобы данные, которые попадают в эти структуры, в последующие отчетности и аналитику данных были качественными, приемлемого уровня согласно требованиям, которые выдвигает заказчик. Это первая и наиболее частая задача при построении интеграционных и миграционных проектов. Также при перемещении систем важно восстановление качества данных до уровня требуемого другой системой. Второй вид проектов, где есть работа с качеством данных: управление нормативно-справочной информацией, ведение справочников, выявление дубликатов данных, приведение данных к необходимому виду для дальнейшего использования. Например, приведение адресов в стандартизированный вид для сегментации данных. Третий вид проектов – управление данными Data Governance, содержащее информацию о проверках качества, об уровне и показателях качества данных по тем метрикам, которые заказчик выбрал, чтобы понять, насколько можно и нужно использовать данные, получаемые пользователем при выгрузке информации или в отчетах. В таких проектах вопросы восстановления решаются отдельно в зависимости от того, что необходимо пользователю. Вопросы качества важны и в процессах защиты данных. Например, при обезличивании тестовых сред.

Управление качеством данных

Качество данных тесно связано с продуктами, которые обеспечивают проверку и приведение качества в необходимый вид, согласно выдвигаемым требованиям со стороны владельцев данных. Поэтому инструменты, направленные на работу с качеством данных, должны содержать в себе набор характеристик и функций, которые не зависят от типа данных (важна возможность работы с данными любого формата) и имеют широкие возможности. В первую очередь функции должны включать возможность разного рода проверок качества данных. Унифицированный формат стандартных проверок с техническими метриками – профилирование (первоначальная оценка данных, чтобы понять их текущее состояние). Оно включает в себя построение профиля данных, которое позволяет определить, что представляют данные с точки зрения технического заполнения, какого они формата, их максимальные и минимальные значения, полноту данных, соответствие требованиям по актуальности, распределение по основным профилям. Вторая функция – проверка качества данных, согласно требованиям, выдвигаемым бизнесом. Например, попадают ли данные в нужный набор условий согласно бизнес-процессам. Так, для нефтегазовой отрасли актуален показатель условий погружения насоса в слой нефти и т.п. Третья функция связана с возможностью восстановления качества данных и механизмами обогащения данных, их доставки из других систем и источников, стандартизации данных, то есть их приведение к нужному виду по тому, как данные стоят внутри поля (например, адрес, номер телефона, e-mail). Четвертая функция – наличие системы отчетности, которая показывает текущий уровень качества данных, изменение уровня качества и те наборы данных, которые не соответствуют нужным параметрам с уведомлением, что качество изменилось с указанием сути проблемы. Широкий функционал по управлению качеством данных есть у решения ФормИТ DQ. Оно решает следующие задачи: обеспечение качества данных, мониторинг полноты и качества данных, выявление дубликатов и обеспечение чистоты данных, стандартизация и консолидация данных. Решение обеспечивает качество данных путем создания проверок силами бизнес-пользователей, проверок и обеспечения качества данных на основе технических требований, единого реестра проверок качества данных, валидации данных при их передаче, выявления дубликатов и построения мастер-записей для всех видов данных, а также мониторинга проверок качества и профилирования данных на всех этапах. Как результат, растет доверие к данным, предоставляемым бизнес-подразделениями, осуществляется проактивный мониторинг качества данных с оповещением владельцев данных в случае изменения уровня качества, сквозной мониторинг качества данных в каждой точке их преобразования. В управлении качеством может помочь и решение Юниверс DQ в проектах с Data Governance. Оно имеет программный компонент, трансформирующий входные данные в выходные, набор стандартных функций по очистке данных, возможность разработать и подключить сторонние функции, построить новые функции как композиции существующих функций. Решение помогает хранить и классифицировать найденные ошибки, фильтровать записи с ошибками в пользовательском интерфейсе, экспортировать обнаруженные ошибки с данными. Качество данных обеспечивается за счет нескольких фаз: фильтрация данных, их валидация, очистка и проверка согласованности, а также обогащение внутренними и внешними источниками.

Показатели качества данных

Метрики качества данных могут быть разнообразны. Есть методика оценки качества данных и метрики, которые определяются регулятором. К ним относятся:
  • полнота – содержат ли данные информацию, необходимую для конкретного бизнес-процесса;
  • точность – полностью ли соответствуют данные необходимым требованиям по значениям и заполнению;
  • актуальность данных, своевременность – описываются ли данные события в требуемом временном интервале;
  • согласованность – не противоречат ли данные друг другу
  • доступность – время и усилия, которые требуются для получения данных в определенном формате и др.
Есть более детализированные метрики, которые могут понадобиться бизнес-пользователю. Например, валидность данных, когда при их перемещении они соответствуют данным источников, или возможность использования данных в том или ином диапазоне. Инструменты, которые отвечают за качество данных, должны уметь работать с проверками и требованиями по восстановлению данных. Не все можно восстановить и проверить с точки зрения качества данных, поэтому инструменты, которые есть на рынке, занимаются чаще всего строчными данными, числовыми, но не работают на уровне бинарных данных или не поддерживают возможность работы с большими объемами или бизнес-логикой. Если важна метрика контролируемости данных (указание на то, что данные приходят из нужного источника), согласованность данных, соответствие хранимых данных в системе наименованиям, которые им присвоены, то используется Data Governance – платформа для управления корпоративными данными. Она позволяет быстро находить любые данные, выстраивать единую понятийную основу, обеспечивать быстрый поиск терминов, анализировать связи. Решение обеспечивает консолидацию знаний о данных, структурирует совместную работу с ними и облегчает понимание, как данные влияют на бизнес.

Данные с ошибками

Среди ошибок чаще всего встречается неполнота данных. В некоторых случаях в зависимости от выдвигаемых заказчиком требований и матрицы критериев такие данные могут считаться качественными и использоваться в определенных сферах. Например, в банке при создании единого клиентского справочника заказчик поставил задачу, что данные должны содержать ФИО, дату и место рождения клиента. В ходе работы выяснилось, что место рождения указано только у 2% клиентов. Такие данные можно использовать только в ограниченном сегменте, а для составления справочника их недостаточно. Среди ошибок не редко возникает недостоверность данных. Например, когда имеет место неверный тип данных (значения в определенном столбце должны иметь определенный тип данных), диапазон (временной, числовой и др.), неверный набор значений. Иногда встречается несоответствие данных. Оно возникает, когда два значения в наборе данных противоречат друг другу. При выявлении ошибок их можно исправить вручную, автоматически при помощи инструментов обеспечения качества данных, при обработке данных с помощью скриптов. Исправление данных включает в себя анализ причин ошибок (определяется источник ошибочных данных, причины возникновения ошибок, изолируются факторы, влияющие на эту проблему), парсинг и стандартизацию (сопоставление записей в базах данных с заданными паттернами, грамматикой и репрезентациями для выявления неверных значений), сопоставление данных (выявление одинаковых данных и их объединение), добавление новых данных и их мониторинг. Все это осуществляют разные решения и платформы после оценки качества данных и выявления ошибок. Низкокачественные данные препятствуют принятию эффективных бизнес-решений, проведению точных аналитических исследований, прогнозированию будущих процессов в бизнесе. Поэтому решения в сфере оценки и управления качеством данных так эффективны в работе бизнеса.

Рекомендуем также

Управление ИТ-проектами

2 февраля 2023
Управление проектами в области ИТ и работы с данными нацелено на удовлетворение информационных потребностей бизнеса и создание для него новых конкурентных преимуществ на рынке. Управление проектами – это процесс организации, планирования, мотивации команды и контроля хода реализации проекта.

В чем отличие управления проектами от традиционного менеджмента

Если традиционный менеджмент ориентирован больше на ход событий, то проектный – на достижение цели и результата. В проектной деятельности много риска (часто проектный менеджмент жестко ограничен в финансах и во времени). Особенная сложность в управлении проектами – координированное выполнение действий. При нарушении синхронизации выполнения разных заданий, достижение результата оказывается под угрозой. Особенно это актуально для ИТ-проектов, когда к работе привлекаются подрядчики и партнеры. Так, есть несколько основных вариантов ведения проектов по работе с данными:
  1. Когда проект выполняет команда подрядчика, а затем происходит обучение и передача экспертизы партнеру
  2. Когда осуществляется совместное управление проектом компанией и подрядчиком
  3. Когда выполнение проекта осуществляется командой компании, а подрядчики выступают в роли кураторов
Координация действий в каждом варианте имеет особенную специфику. Проекты, связанные с управлением данными, имеют свои особенности в сравнении с традиционными ИТ-проектами. Это проекты корпоративного уровня. В процесс их реализации вовлечен широкий круг участников как со стороны компании, так и со стороны подрядчика. Важна заинтересованность и вовлечение бизнес-заказчика. Для успеха внедрения потребуется перестройка работы компании и создание комплексной инфраструктуры по работе с данными. При управлении проектами важно учитывать и их динамичность. Планирование должно быть гибким, могут меняться первоначально запланированные цели и методы их достижения.

Управление проектами: зачем нужно

Рассмотрим на примере проекта по созданию озера данных. Работа с данными относится к классу сквозных функций и оказывает влияние на все процессы организации. В контур работы с данными включены интересы многих подразделений. Работа с данными включает в себя миграцию, архивирование, консолидацию, синхронизацию данных, отслеживание качества данных, Big Data, Data mining и др. Все эти процессы влияют на принятие управленческих решений в области продаж, закупок, финансов, управления рисками, персоналом. При успешном управлении проектом по работе с данными компания быстрее создает новые продукты, выходит на новые рынки, растут продажи продуктов, инвестиции. Слаженная работа команды гарантирует эффективную реализацию проекта.

Стандарты управления проектами

Стандарты управления представляют собой набор рекомендаций, на которые можно ориентироваться при работе над проектом. Они не регламентируют роли и не имеют последовательных шагов действий. Существует несколько разновидностей стандартов:
  1. международные – используются компаниями по всему миру;
  2. национальные – созданы для использования внутри страны;
  3. общественные – разработаны сообществом специалистов;
  4. частные – используются частными лицами, компаниями или учреждениями;
  5. корпоративные – разработаны для применения внутри одной компании или группы родственных компаний.
Рассмотрим стандарты, которые часто используются в международной практике, в том числе в российской:
  • Project Management Body of Knowledge. Является базовым стандартом PMI по управлению проектами. Он охватывает несколько сфер: управление интеграцией, содержанием, сроками, стоимостью, качеством, коммуникациями, рисками и др.
  • Стандарт ISO 10006. Стандарт сконцентрирован на качестве проекта, улучшении менеджмента проекта. Ключевыми являются процессы измерения, анализа и процесс совершенствования работы.
  • IPMA Competence Baseline определяет требования к компетентности менеджеров проектов.
  • Стандарт содержит более сорока требований к знаниям, мастерству и профессиональному опыту сотрудников.
  • Стандарт оценки уровня зрелости организации по управлению проектами ОРМЗ. Содержит методологию определения состояния управления проектом. Он помогает бизнесу оценивать и развивать возможности по эффективной реализации проектов.

Роли

Распределение ролей может меняться в зависимости от специфики проекта. Рассмотрим базовую структуру эффективной рабочей группы по проекту в области управления данными.
Роль в управлении проектомФункция
Председатель правления (спонсор)Указание стратегического фокуса активностей
Управляющий комитет (УК): председатель УК (директор ДИТ или CDO), специалисты Департамента информационных технологий/CDO (chief editor officer), бизнес-специалистыУтверждение кросс-департаментных решений, механизм матричного подчинения организационной рабочей группы (ОРГ), разрешение возможных эскалаций, по запросу доступность для руководителя ОРГ. УК балансирует интересы подразделений, включенных в работу с данными, и устраняет барьеры, критические для продвижения проекта. На заседании УК принимаются стратегические решения.
Руководитель ОРГНа ежедневной основе координация деятельности сотрудников ОРГ, способность предсогласовывать решения для УК, оперативное взаимодействие с подрядчиками (внутренними и внешними). Руководитель ОРГ должен иметь видение проекта в целом и уметь балансировать интересы, исходя из выгодных возможностей (win-win решения)
Операционная рабочая группа: ДИТ/ офис CDO и бизнес-специалистыЗакрытие гэпов информационного обеспечения по проекту, ассимиляция новых экспертиз и методологий
Привлекаемые эксперты“Точки входа” в экспертизу подразделений
Такая структура эффективна для комплексных проектов. Она позволяет сохранять баланс интересов между структурами внутри организации и наращивать внутреннюю экспертизу.

Преимущества и недостатки управления проектом

Верно выбранные стандарты и методы управления проектом позволяют эффективно решать такие задачи, как:
  • определение целей проекта;
  • подготовка обоснования проекта и его структурирование;
  • определение финансовых потребностей и источников финансирования;
  • подбор исполнителей;
  • заключение контрактов;
  • расчет бюджета проекта;
  • определение сроков выполнения проекта и разработка графика;
  • контроль процесса выполнения задач и внесение изменений в план реализации; управление рисками.
Одним из главных недостатков являются возможные конфликтов между руководителем проекта, высшим руководством, руководителями подразделений и сотрудниками. Это сильно замедляет процесс работы. Также часть работ по ИТ–проекту обычно выполняются внешними исполнителями. Поэтому важно найти надежных подрядчиков и партнеров.

Этапы управления проектами

При организации управления проектами необходимо выделить:
  1. фазы жизненного цикла проекта, этапы и задачи;
  2. оргструктуру исполнителей;
  3. структуру распределения ответственности;
  4. общие системные функции.
Жизненный цикл – последовательность фаз проекта, необходимых для достижения результата. Управление жизненным циклом проекта состоит из нескольких этапов. Например, при построении хранилища данных выделяют: определение требований и задач проекта, проектирование и разработку моделей хранилищ данных, определение источников данных, разработку, внедрение, отслеживание работы и управление повседневными операциями, обеспечение защиты хранилища, вывод из эксплуатации.

Методология управления проектами

Одним из важных шагов успешного управления проектом является верно выбранная методология. Основные существующие методы: Waterfall — каскадная модель управления «Водопад», предусматривает решение задач последовательно и строго по изначальному плану. Отличительные принципы методологии: документы и инструкции очень важны, следующий этап работы не начнется до момента окончания предыдущего, нет итераций, есть общий процесс создания продукта. На практике такая методология чаще всего не очень эффективна при реализации проектов по управлению данными, так как они предусматривают более гибкий подход, поэтому во многих ИТ-проектах используется Agile. Agile – это методология управления проектами, состоящая из коротких циклов инкрементальной разработки – спринтов. Каждый цикл нацелен на непрерывное улучшение разработки продукта или сервиса. Часто такой метод выбирают при работе с данными или построении озера данных: первые гипотезы можно проверять и на небольшом количестве подключенных к озеру источников, постепенно увеличивая их состав, подключая новые. Суть такого подхода кроется в нескольких стадиях:
  1. Выявление бизнес-кейса
  2. Определение требований к результатам
  3. Разработка процессов, определение ролей
  4. Применение разработанных процессов
  5. Контроль и мониторинг результатов
Из преимуществ этого метода: благодаря коротким спринтам и фокусу на качестве, команда выявляет и исправляет недостатки быстрее, чем при каскадной методологии. Основные подходы и понятия agile-системы:
  • Scrum – это методология, которая предусматривает работу над проектом короткими циклами. При таком методе заказчик также активно участвует в проекте, много личного общения. При внедрении такого метода важна слаженная командная работа, потому что в конце спринта команда приходит к результату и получает обратную связь от заказчиков о проделанной работе.
  • Kanban – методология, при которой в команде нет разделения на роли. Также она предусматривает постепенное внесение изменений. При таком методе любая задача разбивается на этапы, которые фиксируются на доске задач. Все участники доски знают о конечной цели проекта, видят, какие существуют промежуточные этапы, когда и кому нужно подключиться.

Инструменты для управления проектом

Чаще всего в управлении проектом используются инструменты для визуализации и структурирования задач и целей. Kanban-доски. Это визуальные доски с однотипными задачами и статусами. С помощью них легко понять, над какой задачей уже работает команда, а какие ждут своего часа. Другой инструмент – диаграмма Ганта. Это дорожная карта проекта, на которой отслеживаются связи между задачами, критические точки и время работы над задачами. Это позволяет руководителю контролировать рабочий процесс и отслеживать задержки по срокам. Также в работе над проектом широко используются CRM-системы. С помощью их базовых элементов можно быстро получать отчеты и статистику, хранить файлы, создавать рабочие чаты, контролировать финансы и др. Вышеперечисленные инструменты позволяют упорядочить и визуализировать рабочие процессы, что является одним из факторов успеха реализуемого проекта.

Рекомендуем также

Переход на отечественное ПО (импортозамещение ПО)

26 декабря 2022

Один из ведущих экспертов России во многих областях, связанных с Big Data и стратегическим управлением данными, включая интеграцию данных, обеспечение их качества, управления знаниями и построение датацентричных бизнес-процессов.

Переход на отечественное программное обеспечение

Российские компании в самых разных отраслях активно переходят на отечественное ПО в области управления данными. При этом бизнес сталкивается с разными трудностями. Рассмотрим их далее подробнее. Сегодня острая необходимость в замене программного обеспечения связана как с внешними мировыми событиями, так и с внутренними. Из-за санкций и новых требований регулятора компании были вынуждены срочно приступить к импортозамещению в сфере IT. Основные трудности в этом вопросе связаны с:
  • ограниченными сроками, в течение которых необходимо заменить программное обеспечение;
  • небольшим выбором продуктов, подходящих под нужды бизнеса (многие существующие предложения не соответствуют требованиям заказчиков по набору необходимых функций). Особенно это касается нишевых продуктов, которые используются в определенных отраслях – необходимых продуктов на российском рынке сейчас вообще может не существовать;
  • отсутствие опыта по внедрению подобного рода продуктов.
Сейчас у заказчиков высокие требования к отечественному программному обеспечению, его функционалу (который в сравнении с западным может пока не соответствовать ожиданиям) и короткие сроки по его внедрению. Потребуется время, чтобы появились продукты с необходимыми бизнесу функциями, поэтому пока некоторые компании будут вынуждены использовать один или несколько продуктов, не до конца удовлетворяющие их нужды. Вопрос выбора программного обеспечения сейчас стоит особо остро. Проблема состоит в том, что нужно выбирать большое количество ПО сразу. В крупных компаниях есть много систем, созданных и поддерживаемых из-за рубежа. Иногда бизнесу нужно заменить сотни таких систем за короткий срок. Сложность выбора состоит еще и в том, чтобы заказчик мог увидеть в предлагаемых программных продуктах возможность их развития в плане функционала, а не просто наличие существующих функций, половина из которых ему не подходит или нет необходимых. Важно, чтобы компании помогали производителям ПО в разработке нужных им продуктов, доносили до них свои нужды, обозначали приоритеты и давали время. Такие консорциумы помогают развиваться ИТ-отрасли максимально быстро, но в реальности они существуют редко. В большинстве случаев заказчик критически подходит к набору нужного ему функционала в продуктах, из-за этого на рынке начинают появляться решения с подлогом. То есть разработчики заявляют о наличии функций, которых на самом деле в продукте нет, что выясняется только в процессе внедрения. Поэтому при выборе решений важно учитывать, как развивается компания-разработчик ПО, есть ли у неё ресурсы на разработку и поддержку решений в полном объеме без обращения за рубеж, и каким образом она может осуществить решение тех или иных проблем в кратчайшие сроки. Когда нужное ИТ-решение выбрано, перед командами заказчика и производителя стоит важная задача по переносу данных из существующей системы. На этом этапе главная проблема заключается в том, что заказчик не хочет работать с менее функциональным ПО. Если технически новая система обладает меньшей функциональностью, то с данными из старой системы нужно будет что-то делать, разработанные ранее процессы могут не быть реализованы с учетом новой системы. Чтобы процесс замены проходил постепенно в запланированные сроки, нужно создавать рабочие группы на самом высоком уровне в компании. Технические проблемы решить тем или иным способом можно, но некоторые бизнес-процессы изменятся (часть процессов вместо цифровых станут бумажными или компания будет использовать другие менее удобные технологии), что приведет к повышению уровня хаоса при принятии решений. Чтобы этого избежать, нужен контроль в процессе миграции данных и замены программного обеспечения на уровне руководства организации. Дополнительные рекомендации при импортозамещении программного обеспечения в новых российских условиях работы в 2022 году:
  • задуматься о сжатии данных. Это позволит создать запас для роста и высвободить часть оборудования (в случае его нехватки);
  • провести проверки соответствия политик резервирования и катастрофоустойчивости требованиям бизнеса в новое время. Если требования снизились, то часть мощностей хранения можно высвободить;
  • задуматься о рисках переиспользования оборудования. Они могут возникнуть, если у клиента есть инженерная система или другое оборудование, адаптированное под конкретный софт, но по определенным причинам им пользоваться невозможно. Что в этом случае нужно учитывать: проверить будут ли работоспособны сервера в случае зачистки и установки другого ПО; если оборудование не работоспособно в комплексе, то можно проверить переиспользуемы ли отдельные его компоненты: CPU, RAM, диски, сетевые карты и др.; вопрос переиспользования оборудования нужно поднимать в контексте архитектуры нового ПО, под которое будут использованы компоненты.

Использование российского программного обеспечения

Четверть российских компаний уже использует только отечественные ИТ-решения, остальные пока еще совмещают работу с российским и зарубежным ПО, что становится делать все сложнее в новых условиях. На российском рынке появляется все больше ИТ-продуктов, решающих проблемы бизнеса в сфере управления данными, их интеграции, обеспечения качества данных, управления знаниями. Например, система управления знаниями, нацеленная на повышение эффективности внешних коммуникаций и внутрикорпоративных взаимодействий PLUS7 MAYAK. В ее основе регулярно обновляемая база информации и развитые интерфейсы интеграции с внешними системами (CRM, телефония, веб-сайт и т.д.). Такая система повышает эффективность внешних коммуникаций и оптимизирует внутренние процессы в компании, благодаря сокращению времени на поиск информации, к тому же простая база знаний ускоряет обучение новых сотрудников. Систему можно использовать для оптимизации работы контакт-центра и при продажах. Для автоматизации бизнес-процессов нишевых отечественных продуктов пока существует не много, поэтому большой популярностью пользуются low-code платформы. Их основной плюс – возможность качественно реализовывать конкретные задачи за короткое время. Одна из таких платформ – Plus7 Forsage Platform. Она представляет собой комплекс программных компонентов, работающий по принципу конструктора. Простое и быстрое конфигурирование компонентов упрощает запуски процессов силами бизнес-пользователя или технических специалистов. Платформа позволяет сократить срок разработки MVP до 2-3 недель вместо 3-4 месяцев автоматизировать даже узкоспециализированные бизнес-функции. В сфере логистики есть решение Плюс7 Смарт Логистик. Оно обеспечивает комплексную автоматизацию подбора подрядчика и перевозчика, а также распределения грузов в рамках сборных перевозок. Также с помощью продукта возможно разместить заявки на выполнение услуг, собрать отклики от верифицированных подрядчиков и ранжировать их по критерию стоимости. Для управления инвестиционными проектами компании и ведения базы патентной разработки можно использовать решение Плюс7 Пульс. А для управления данными в государственных организациях и частных компаниях – Плюс7 EDM. Решение Плюс7 ФормИТ интегрирует корпоративные данные для автоматического создания, воспроизведения и рассылки персонализированных документов. После его внедрения скорость получения информации бизнес-подразделениями может вырасти на 60%. Для работы с системой сотрудникам не нужны навыки программирования, они могут работать в визуальной среде no-code самостоятельно. Продукт эффективен при работе с финансовыми данными и при управлении коммуникациями с клиентом.

Господдержка

В России мероприятия по импортозамещению начались еще в 2015 году, но сейчас получили активное развитие. С 2025 года, в соответствии с Указом Президента РФ, будет недопустимо использование западного софта в критической инфраструктуре. Для разработчиков отечественных ИТ-решений предусмотрены льготные кредиты, освобождение от налоговых проверок и уплаты налога на прибыль (налог на прибыль был обнулен до 31 декабря 2024 года, а размер страховых взносов составил всего 7,6%), расширение программы грантов. Распределением грантов занимается Российский фонд развития информационных технологий. По словам генерального директора фонда, количество заявок на гранты возросло в четыре раза по сравнению с прошлым годом. Еще одна мера поддержки – льготные (субсидированные) кредиты на реализацию проектов по цифровой трансформации на основе российских продуктов. Ставка по такому займу составляет один-пять процентов. Результатом таких мер становится стабильное пополнение Реестра российского ПО. Для продвижения новых продуктов Минцифры РФ запустило в тестовом режиме маркетплейс отечественного ПО.

Цифровая трансформация на российском ПО

Цифровая трансформация — комплексное преобразование предприятия, его продуктов, бизнес-модели, с целью выхода на новые рынки, создания новых каналов продаж и увеличения выручки. Это достигается за счет внедрения современных цифровых технологий. Существует несколько направлений цифровой трансформации, исходя из целей:
  • клиентский опыт;
  • бизнес-модель;
  • операционные процессы и управление.
Помимо вышеперечисленных финансовых инструментов господдержки ускорения цифровой трансформации компаний, существуют и нефинансовые методы. Минцифры РФ актуализировало их в 2022 году Методические рекомендации по цифровой трансформации государственных корпораций и компаний с госучастием. В документе есть рекомендации по разработке стратегий цифровой трансформации, перечень КПЭ и расчетные методы к ним, рекомендации по модели финансирования стратегий и порядок госмониторинга разработки и реализации стратегий, полезные списки, схемы и таблицы. Такие рекомендации полезны и частным компаниям из разных отраслей экономики. В результате цифровой трансформации для компании стало возможным принимать более эффективные решения на основе анализа массивов данных внутренних и внешних источников. Это особенно актуально в банковской сфере, которая использует следующие продукты по работе с данными: BI и аналитические платформы, инструменты интеграции данных, повышения и контроля качества данных, а также озёра и фабрики данных. Также популярны решения по управлению знаниями. Они позволяют поддерживать в актуальном виде объём знаний компании и обеспечивать к ним быстрый доступ через любой канал. На их основе создаются внутрикорпоративные порталы, которые удобно использовать при обучении сотрудников во время перестройки процессов и перехода на новые решения. Цифровая трансформация с помощью российских продуктов, которая сейчас происходит в компаниях, влияет и на внешнюю оптимизацию процессов при перестройке бизнеса и на внутренние процессы в отношении работы с сотрудниками. Необходимо время, чтобы появились решения с функционалом, который нужен бизнесу. Ускорить этот процесс возможно только при взаимодействии бизнеса и ИТ-компаний, разрабатывающих эти продукты.

Рекомендуем также

ETL: что такое и зачем нужно?

1 ноября 2022

Один из ведущих экспертов России во многих областях, связанных с Big Data и стратегическим управлением данными, включая интеграцию данных, обеспечение их качества, управления знаниями и построение датацентричных бизнес-процессов.

Что такое ETL и для чего нужно

Система ETL (англ. Extract, Transform, Load — «извлечение, преобразование, загрузка») позволяет выполнять интеграционные задачи, среди которых наполнение хранилищ данных, миграция данных, межсистемная интеграция. Система позволяет извлекать данные из внешних источников, преобразовывать их и загружать в другую систему. На сегодняшний день технологии ETL являются одними из ключевых решений для построения отчетности и формирования бизнес-аналитики. Система ETL способствует решению разных бизнес-задач, главная из которых – получение достоверной информации для аналитики. Компании внедряют решения ETL при построении хранилищ и озер данных, разного рода миграций данных, когда одна система прекращает свою работу и необходимо наполнить информацией другую. Это актуально, когда нужно унифицировать данные из разных баз. ETL приводит данные к единой системе значений, обеспечивает их детализацию, качество и достоверность. Когда используется ETL:
  • при интеграции данных во время наполнения озер и хранилищ данных, облачных решений;
  • при перемещении информации в хранилище;
  • при отправке данных для последующего машинного обучения;
  • во время объединения и структуризации данных о спросе, покупках и т.п.;
  • при интеграции информации “интернета вещей” в одну систему;
  • во время репликации данных и отправки их в облако;
  • при подготовке информации для анализа работы бизнеса.

Как устроена ETL-система

Для успешной работы системы необходимо выполнять настройку логики перемещения данных или мэппинг. Это визуальная разработка правил интеграции данных, их трансформации и процессов последовательности загрузки. Задействуются формулы и скрипты. В работе ETL можно выделить несколько этапов:
1. Загрузка данных из источника
Источники бывают разных типов: сайты, мобильные приложения, базы данных SQL- или NoSQL, инструменты передачи данных с датчиков IoT и многое другое. Наиболее часто источниками данных являются OLTP–системы (Online Transaction Processing) для обработки непрерывного потока транзакций: приложения для банков, биржи, ERP-, MES-системы и т.п. Данные, собранные из многих источников, могут иметь разные форматы. Поэтому важно не только определиться с целевыми данными, но и составить логическую карту, которая определяет взаимосвязь этих данных с источником. На этом этапе проверяют, соответствует ли извлеченная информация исходной, есть ли нежелательные данные, соответствует ли информация требованиям целевого хранилища. При загрузке информации важно сравнить количество и состав данных, загруженных из источника: если они не совпадают, то во время загрузки могла произойти ошибка, и данные не будут являться валидными. Также необходимо учитывать:
  • требования по времени, отведенному для загрузки данных;
  • особенности загрузки: информация иногда загружается волнами с регулярным обновлением, к примеру, раз в сутки, в таком случае полезно иметь справочник о периоде загрузки, в котором будет храниться история всех изменений;
  • многократную перезагрузку данных, в таком случае удобно иметь справочник версий для контроля потоков загрузки;
  • загрузку данных с ошибками, а чтобы не загружать повторно весь пакет файлов, если в одном из них обнаружили ошибку, можно разделить пакет на файлы по исполнителям, работающим с ними.
2. Трансформация данных
Цель этого этапа – подготовить данные к загрузке: происходит преобразование структуры данных, их агрегирование, перевод значений и т.п.
3. Загрузка данных в целевую систему
Существуют разные варианты загрузки:
  • Первичный – данные загружаются в систему-приемник впервые;
  • Инкрементальный – данные загружаются или обновляются периодически (система сравнивает поступающие данные с существующими и создает записи только для новых данных);
  • Полное обновление – все содержимое удаляется из системы-приемника, и загружаются последние данные.

Этапы ETL

В работе ETL можно выделить несколько этапов:
1. Загрузка данных из источника
Источники бывают разных типов: сайты, мобильные приложения, базы данных SQL- или NoSQL, инструменты передачи данных с датчиков IoT и многое другое. Наиболее часто источниками данных являются OLTP–системы (Online Transaction Processing) для обработки непрерывного потока транзакций: приложения для банков, биржи, ERP-, MES-системы и т.п. Данные, собранные из многих источников, могут иметь разные форматы. Поэтому важно не только определиться с целевыми данными, но и составить логическую карту, которая определяет взаимосвязь этих данных с источником. На этом этапе проверяют, соответствует ли извлеченная информация исходной, есть ли нежелательные данные, соответствует ли информация требованиям целевого хранилища. При загрузке информации важно сравнить количество и состав данных, загруженных из источника: если они не совпадают, то во время загрузки могла произойти ошибка, и данные не будут являться валидными. Также необходимо учитывать:
  • требования по времени, отведенному для загрузки данных;
  • особенности загрузки: информация иногда загружается волнами с регулярным обновлением, к примеру, раз в сутки, в таком случае полезно иметь справочник о периоде загрузки, в котором будет храниться история всех изменений;
  • многократную перезагрузку данных, в таком случае удобно иметь справочник версий для контроля потоков загрузки;
  • загрузку данных с ошибками, а чтобы не загружать повторно весь пакет файлов, если в одном из них обнаружили ошибку, можно разделить пакет на файлы по исполнителям, работающим с ними.
2. Трансформация данных
Цель этого этапа – подготовить данные к загрузке: происходит преобразование структуры данных, их агрегирование, перевод значений и т.п.
3. Загрузка данных в целевую систему
Существуют разные варианты загрузки:
  • Первичный – данные загружаются в систему-приемник впервые;
  • Инкрементальный – данные загружаются или обновляются периодически (система сравнивает поступающие данные с существующими и создает записи только для новых данных);
  • Полное обновление – все содержимое удаляется из системы-приемника, и загружаются последние данные.

Как реализовать ETL-процесс

Реализация ETL-процесса включает в себя несколько шагов:
  1. Анализ данных (какие данные надо извлечь, откуда, как будут использоваться в дальнейшем), определение требований к ним, исходя из целей их использования;
  2. Извлечение данных: определение источников данных, инструментов для извлечения данных, реализация процесса извлечения;
  3. Преобразование: очистка данных, преобразование форматов, объединение данных;
  4. Загрузка данных в целевую систему, определение метода загрузки и мониторинг процесса загрузки для отслеживания ошибок;
  5. Тестирование и проверка извлеченных и преобразованных данных;
  6. Документирование процессов и поддержка документации в актуальном состоянии при изменениях в процессе;
  7. Автоматизация процессов;
  8. Мониторинг производительности и оптимизация процессов.

С какими задачами поможет ETL

ETL помогает решать задачи, связанные с обработкой и анализом данных. Вот некоторые из них:
  1. Интеграция данных, их слияние из разных источников для создания единого представления информации;
  2. Очистка данных, удаление дубликатов, заполнение пропусков, приведение к единому формату;
  3. Преобразование данных: агрегация и трансформация данных;
  4. Загрузка данных в необходимую систему;
  5. Поддержка бизнес-аналитики: создание отчетов и анализ производительности на основе интегрированных данных;
  6. Соответствие нормативным требованиям законодательства;
  7. Оптимизация рабочих процессов за счет автоматизации процесса ETL.

Хранилище, озеро и витрина данных

ETL участвует в передаче информации в корпоративное хранилище данных (КХД или DWH – Data Warehouse). Оно не решает аналитических задач, а лишь предоставляет доступ к данным, поддерживая их хронологию и целостность. КХД представляет собой базу данных, используемую для создания отчетов и бизнес-аналитики. Основа хранилища – реляционные базы данных с жесткой структурой показателей. Существует несколько принципов организации КХД, которые определяют, как работать с ним:
  • проблемно-предметная ориентация – данные объединены в категории и хранятся согласно областям, которые они описывают;
  • интеграция – данные объединяются по принципу удовлетворения требований компании в целом, а не определенной функции бизнеса;
  • некорректируемость – информация загружается из внешних источников, не корректируется и не удаляется;
  • временная зависимость – данные в хранилище считаются корректными, когда они привязаны к определенному промежутку времени.
В архитектуре хранилища существует несколько уровней. На верхнем уровне – интерфейс с использованием инструментов создания отчетов, поиска и анализа данных. На среднем – аналитический механизм для доступа к данным и их анализу. Нижний уровень – сервер базы данных, который отвечает за их загрузку и хранение. Информация из КХД широко используется в data mining, при работе с искусственным интеллектом, в машинном обучении. В государственных и городских службах в хранилищах данных собрана информация об электронных транзакциях, получаемая от департаментов (информация о штрафах за превышение скорости, уплате акцизов). Срез КХД, представляющий узкоспециализированную или тематическую информацию, ориентированную на определенный департамент или сотрудников, называется “витрина данных”. Она позволяет работать с агрегированными данными в определенном тематическом и временном разрезе. Информацию можно сформировать в список и распечатать. Например, витрина данных может использоваться отделом маркетинга в компании для разработки маркетинговой стратегии и анализа аудитории. Производственные отделы могут использовать витрину данных при анализе производительности и для улучшения процесса производства. Существует три вида витрин данных:
  1. Зависимая – состоит из частей КХД. В ней содержатся первичные данные хранилища;
  2. Независимая – является отдельной системой и относится к определенной части компании;
  3. Гибридная – включает в себя информацию из хранилища и независимых источников.
Также компании используют озера данных. Хранилище данных отличается от озера тем, что оно нуждается в доработке при добавлении новых показателей. В озере данных хранится разрозненная информация для аналитики. Её используют при аналитике в «песочнице». Когда нужно найти зависимости в данных, например, для понимания поведения клиентов. Для этого необходимо проанализировать большое количество разных видов данных. При необходимости ненужную аналитикам информацию можно легко удалить. Чаще всего хранилище данных и озеро используются вместе и дополняют друг друга. Хранилище эффективно при составлении строгой отчетности (финансовой, управленческой и др.), а озеро данных – при исследованиях. При внедрении решений ETL в компании необходимо учитывать особенности корпоративного управления хранилищами, озёрами и витринами данных. Например, когда с некоторыми данными аналитики работают чаще всего, и они считаются важными, тогда в регламент переноса информации вносятся соответствующие приоритеты. Это позволяет значительно ускорить работу сотрудников.

Преимущества и проблемы ETL-систем

Системы ETL имеют ряд преимуществ:
  • Высокая скорость разработки;
  • Высокая производительность и масштабируемость решения;
  • Возможность извлечения и трансформации данных из любых баз, систем, XML- и плоских файлов, а также доставки данных в большинство из существующих информационных систем;
  • Возможности для командной разработки;
  • Возможности сетевой многосерверной обработки данных с автоматическим управлением и восстановлением работоспособности в случае сбоя одного из серверов;
  • Визуальная среда разработки интеграционных проектов;
  • Быстрое обучение работе с продуктом;
  • Простота поддержки, сопровождения и внесения изменений в разработанные процессы.
Одно из важных преимуществ системы: она может работать в режиме реального времени (при этом не является шиной данных). В чем их отличие? ETL перемещает и трансформирует большой объем данных в максимально сжатые сроки (обычно по расписанию или по запросу). А шина данных не предназначена для перемещения больших объемов информации. Она перемещает её транзакционно (по событию) с гарантией доставки, в отличие от систем ETL. Эти решения эффективно работают вместе и не взаимозаменяемы. По опыту компаний, внедривших решения ETL, они способны значительно увеличить прибыль бизнеса и повысить рентабельность инвестиций. Основные проблемы эксплуатации систем ETL связаны с их внедрением. Зачастую компании работают с десятками источников данных разных форматов. И данные могут быть полностью или только частично структурированы. Для их преобразования потребуются разные режимы конвертации. Поэтому очень важно определить, какое именно техническое решение подойдет бизнесу, и учитывать, чтобы оно масштабировалось: со временем локальной базы данных и пакетной загрузки может быть недостаточно. Компаниям рекомендуется подумать об этом заранее и рассмотреть возможности облачного хранилища. Некоторые задачи не решаются автоматически, поэтому при внедрении ETL понадобится помощь сотрудников:
  • при выборе источников данных. Необходимо определить, как и где содержится информация, которая должна попасть в хранилище. Аналитик оценивает значимость данных, сложность их получения, целостность и достоверность, и принимает решение, насколько выгодно работать с этой информации и нужно ли ее загружать.
  • при разрозненности конечных данных. Когда сотрудники создают собственные хранилища данных, не интегрированные с основным КХД. Таким образом, данные могут не совпадать у разных сотрудников. Все локальные хранилища информации придется определить вручную.
  • при появлении новых источников и форматов данных. Этот пункт актуален при работе с неструктурированной информацией. Тогда внутри компании используют технологии больших данных, а это влечет за собой дополнительные временные, финансовые и трудовые затраты.

Кто и как использует ETL

Инструменты ETL используются разными категориями пользователей, среди которых:
  • бизнес-аналитики и BI-аналитики для подготовки и анализа данных, создания отчетов и визуализаций;
  • разработчики и инженеры данных для интеграции данных из разных источников в целевую систему и обеспечения их доступности для других подразделений;
  • маркетологи для анализа поведения клиентов и оценки эффективности рекламных кампаний;
  • финансовые аналитики для подготовки финансовых отчетов и анализа данных о транзакциях;
  • специалисты по качеству данных для проверок и обеспечения качества данных на всех этапах ETL-процесса.
Инструменты ETL используются в разных бизнес-процессах:
  • При создании финансовой отчетности: для сбора данных о транзакциях из различных банковских систем при создании отчетности;
  • Во время анализа продаж: ведется работа с интегрированными данными о продажах из CRM-систем и систем управления запасами;
  • Во время маркетинговой аналитики: объединенные данные о клиентских взаимодействиях из разных каналов используются для оценки эффективности маркетинговых кампаний;
  • Для управления запасами товаров: в компании объединяют данные о запасах из разных источников, чтобы улучшить управление цепочками поставок;
  • Для анализа клиентского опыта: ETL помогает собрать данные о взаимодействии клиентов с продуктами и услугами (отзывы, обращения в службу поддержки) для улучшения качества обслуживания;
  • Для управления рисками: финансовые учреждения задействуют ETL для анализа данных о транзакциях и поведении клиентов, чтобы выявить мошеннические действия;
  • При создании медицинской аналитики: в здравоохранении ETL используется для интеграции данных из различных систем (электронные медицинские записи, лабораторные результаты и другое) для анализа эффективности лечения пациентов.

Примеры использования ETL

ETL-системы широко используются в самых разных сферах, особенно среди банков, телекоммуникационных корпораций, на предприятиях. Дирекция Региональных Продаж Нефть» построила озеро данных с помощью систем ETL. Такое озеро имеет два ландшафта (тестовый и продуктивный) и три зоны («Сырой слой» для хранения копий данных из источников, «Продуктивная фабрика данных» с фокусом на оптимизацию, производительность и управление, «Исследовательская лаборатория» для задач прототипирования аналитических моделей) с разным уровнем управления данными. В каталоге данных производится паспортизация источников данных, таблиц и витрин, разметка данных по доменам с помощью настроенных шаблонов, профилирование данных. Как результат, более 50% аналитических проектов и инициатив реализуются в контуре озера данных, затраты на интеграцию данных и аналитические проекты снизились за счет централизованных инфраструктуры и сервисов, возросла и доступность данных, что положительно повлияло на эффективность работы аналитиков. Изначально задачи озера данных включали в себя обработку транзакций сети АЗС компании, расчет сегментов для клиентской аналитики и анализ обратной связи от клиентов. Позднее в озеро были интегрированы данные из других источников: Санкт-Петербургской товарно-сырьевой биржи, географических и метеорологических ресурсов, метрики и отзывы Google, «Яндекс» и др. В банковской сфере ETL широко применяется для интеграции данных о партнерах и клиентах. Промсвязьбанк использует возможности ETL-системы для унификации информации о партнёрах банка и чёрных списков клиентов. Эти данные используются, чтобы оптимизировать операционную деятельность при взаимодействии с партнёрами. Информация о них консолидирована и интегрирована из разных источников в единое хранилище. Это ускорило получение информации о партнерах и позволило избежать ошибок из-за неточных данных. Унификация «черных списков» клиентов понадобилась, чтобы снизить риски банка в области мошенничества клиентов и оптимизировать работу с проблемными клиентами и неплательщиками. При формировании «чёрных списков» данные интегрировались из систем («Экстремисты», «Недействительные паспорта», K4Loans) и передавались в банковские системы PSB-Retail и др. Банк ВТБ использовал ETL-систему для создания целевого единого хранилища, чтобы эффективно управлять информационными активами банка. ETL применяется компанией для интеграции и синхронизации данных в проекте и для миграции данных в новые приложения, обмена информацией с контрагентами. В итоге была создана единая аналитическая экосистема и платформа для управления информационными активами банка. Она представляет собой сервис, адаптированный под работу с регламентами и требованиями по доступности данных в рамках большого MPP-кластера, способного масштабироваться в любой момент времени. В телекоммуникационном бизнесе использование ETL также широко распространено. «ВымпелКом» использовал ETL, чтобы быстрее вывести новый продукт на рынок. Интеграция данных понадобилась, когда «ВымпелКом» завершил сделку по приобретению 100% пакета акций компании «Голден Телеком». На основе ее продуктов был создан бренд «Билайн бизнес» для обслуживания корпоративных пользователей. Процесс интеграции компании «Голден Телеком» в информационную среду «ВымпелКом» потребовал интеграции системы 1С и финансовой системы «ВымпелКом» Oracle E-Business Suite. Решения ETL справились с этой задачей, поэтому поглощение «Голден Телеком» компанией «ВымпелКом» прошло легче, а новый сервис удалось быстрее вывести на рынок. С помощью ETL оператор мобильной связи Tele2 повысил качество клиентского опыта. В проекте провели миграцию данных для кампаний целевого маркетинга и аналитических запросов пользователей. Теперь эта информация регулярно обновляется, в результате компания стала эффективнее привлекать новых клиентов и удерживать текущих. Также была скорректирована стратегия развития бизнеса: стала возможна детализация стратегических показателей и автоматизированное формирование отчетов. В индустрии сельского хозяйства решения ETL не менее эффективны. Группа компаний «АгроТерра» использовала их для интеграции данных из ERP, ГИС, CRM и других систем (они не были синхронизированы между собой и не предполагали автоматический обмен информацией). Также ETL обеспечивает обмен мастер-данными по всей группе компаний. Мастер-данные – ключевая информация по основным бизнес-объектам компании, которая регулярно совместно используется большим количеством бизнес-процессов. Благодаря ETL качество отчетов увеличилось и принимать управленческие решения стало проще. Решения ETL используются и в сфере культуры. Один из лидеров российского рынка онлайн-кинотеатров Ivi.ru обладает большим каталогом фильмов, мультфильмов и сериалов. Компании необходимо было создать аналитическую платформу для оптимизации развития бизнеса, сократить количество финансовых и временных издержек, связанных с получением отчетов, обеспечить корректное и быстрое перемещение информации для ее использования в критически важных процессах подготовки отчётности. Система ETL помогла быстро осуществить миграцию данных из СУБД, NoSQL в целевые хранилища Vertica и Yandex Clickhouse. В результате работы унифицированы процессы загрузки и преобразования данных, создана единая система мониторинга процесса загрузки данных в хранилища, что повысило прозрачность получения данных. Это позволило бизнесу своевременно получать необходимые данные для подготовки финансовой отчетности, а также снизить затраты на техподдержку. Чем дольше работает компания, тем большее количество данных образуется, и их необходимо отслеживать и анализировать. Когда рабочих рук для этого не хватает, помогают ETL-решения. И это их главное преимущество. Они автоматически передают информацию в хранилище из разных источников, структурируют ее и повышают качество данных для аналитики.

Рекомендуем также

НСИ (нормативно справочная информация) — cпособ оптимизировать работу предприятия

8 июня 2022

Один из ведущих экспертов России во многих областях, связанных с Big Data и стратегическим управлением данными, включая интеграцию данных, обеспечение их качества, управления знаниями и построение датацентричных бизнес-процессов.

Что такое НСИ?

Нормативно-справочная информация (НСИ или Master Data (англ.)) – это справочные данные, стандарты, регламенты компании. Такая информация хранится в виде справочников, словарей и классификаторов, которые могут быть как линейными (более простая структура), так и иерархическими. Например, в компаниях бывают справочники существующих и потенциальных клиентов, контрагентов, продуктов, товаров, услуг, нормативов. Эти справочные данные являются информационным ядром системы управления компанией.

Почему нормативно-справочная информация важна?

НСИ задействована во всех бизнес-процессах. При финансировании проектов компания формирует базу финансового учета каждого проекта (содержит информацию о финансовых контрактах и тратах), классифицирует информацию о контрагентах, сотрудниках, задействованных в работе над проектом, банках. При организации взаимодействия с партнерами ведется их реестр. Во время формирования информационной базы создается справочник информационных ресурсов. При проведении корпоративных исследований формируется нормативный справочник терминов и классификаторов, затем эти сведения распространяются сотрудникам и партнерам. В состав НСИ входят справочники и классификаторы, информация из которых (термины, коды, названия контрагентов и материалов, адреса поставщиков, контакты клиентов) используется при создании текущих документов. Например, при создании счета-фактуры основные данные выбираются из справочников, а не вводятся вручную. Неверная или устаревшая информация приведет к ошибкам, недействительности счетов, потере времени сотрудниками, негативному имиджу компании в глазах партнеров и клиентов. К тому же справочники объединяют все документы системы (приказы, счета, договора и др.), неверно составленный документ повлечет за собой дальнейшие ошибки сотрудников. Нормативно-справочная информация влияет и на принятие управленческих решений, от которых зависит развитие бизнеса. На основе НСИ создаются разные отчеты внутри компании. Например, она используется при подготовке бухгалтерской отчетности и отчетности по МСФО. Несогласованность справочников внутри компании приводит к проблемам разного характера. С одной стороны, это может влиять на бизнес изнутри. Например, при закупке материалов некорректная информация в справочниках ведет к накоплению лишних запасов на складе и увеличению расходов предприятия на содержание продукции. С другой стороны, это отражается и на внешних связях с потребителем или контрагентом. Если цена товара изменилась в одном справочнике, но эта информация не отобразилась в другом (и из-за этого, допустим, не поменялась цена на сайте), то при покупке клиент может отказаться приобретать ваш товар, увидев разные цены, и уйти к конкуренту, у которого информация более достоверна. Таким образом, НСИ влияет на:
  • документооборот компании;
  • подготовку всех видов отчетов;
  • продажи;
  • отношения с контрагентами, клиентами, партнерами;
  • принятие управленческих решений;
  • имидж компании.

Проблемы НСИ и их решения

Чтобы консолидировать и гармонизировать данные, устранить избыточность информации, ускорить и улучшить поиск нужных сведений, в компании внедряется система управления НСИ (англ. Master Data Management или MDM). Главная цель – создание единого источника полной и непротиворечивой информации, используемой в работе разными бизнес-подразделениями. Какие проблемы это решает:
  1. Дублирование информации. Повторяющиеся данные препятствуют эффективному обмену информацией между сотрудниками и работе автоматизированных систем. Например, когда один и тот же объект в справочниках называется по-разному. При внедрении систем по управлению нормативно-справочной информацией этого можно избежать. Когда данные появляются в системе заказчика, они добавляются и в системе MDM. В ней проводится анализ информации, выявление дубликатов и при необходимости осуществляется слияние записей.
  2. Разрозненность информации. Когда данные в справочниках отличаются и не связаны между собой. При внедрении решений MDM производится очистка данных и исключение дубликатов.
  3. Недостоверная информация. При использовании ее в отчетах, она влечет за собой принятие неверных управленческих или финансовых решений. Поэтому данные постоянно нуждаются в проверке и ручной корректировке сотрудниками. Это отнимает время и замедляет работу бизнеса. Данные в системе класса MDM проверяются и регулярно обновляются, на их основе удобно готовить любые отчеты: упрощается сбор информации, сокращаются сроки подготовки отчетности.
  4. Высокая стоимость ведения разрозненных систем. От компании требуется использование дополнительных кадровых и технических ресурсов для создания НСИ и работы с ней в разных информационных системах. Решения MDM связывают между собой все справочники, классификаторы и словари компании, что сокращает затраты на их ведение, а также на анализ и актуализацию НСИ.

Преимущества НСИ

Внедрение систем по управлению нормативно-справочной информацией положительно отражается на бизнес-процессах:
  • Повышается эффективность управления предприятием благодаря объединению корпоративных справочников и быстрого обмена сведениями между ними;
  • Сокращаются финансовые траты на введение новых систем;
  • Исчезают расходы на отслеживание недостоверной и устаревшей информации;
  • Создается единое информационное пространство внутри бизнеса;
  • Снижаются расходы на создание консолидированной отчетности;
  • Увеличивается уровень актуальности, полноты, достоверности и целостности НСИ;
  • Появляется прозрачность в отслеживании изменений данных;
  • Внедряются новые бизнес-метрики для оценки качества сведений;
  • Увеличивается эффективность отслеживания состояния склада на предприятиях, уменьшаются остатки непроданных товаров и расходов, связанных с их содержанием;
  • Уменьшается задолженность благодаря единому списку контрагентов;
  • Освобождаются ресурсы на поддержку неактуальных справочников в разных системах;
  • Повышается точность информации в отчетности;
  • Унифицируются сведения в корпоративном хранилище;
  • Сокращаются сроки реализации процессов в бизнесе;
  • Появляется возможность персонализировать коммуникацию с клиентами;
  • Соединяются дубликаты данных в единую запись;
  • Обновляется информациях о продуктах во всех системах на 90% быстрее;
  • Появляется возможность управлять информацией из разных источников.
Все это возможно благодаря существованию разных решений MDM, которые выбираются в зависимости от типа компании и целей управления НСИ. Одно из самых популярных – multidomain MDM от Informatica. Эта система позволяет вести практически любые виды справочников независимо от их типа. Чаще всего это решение используется для ведения справочников о клиентах, контрагентах, организационных структурах и связанных с ними данных в иерархическом или линейном виде. При внедрении multidomain MDM пользователи получают доступ к наиболее полной корпоративной информации. Это позволяет автоматизировать многие процессы, касающиеся согласования изменения данных. Также позволяет лучше соблюдать требования регуляторов в банковской, нефтегазовой, страховой, фармакологической и других отраслях. И открывает новые возможности в сфере продаж (upsale и cross-sale) и цифровых коммуникаций. Такие компании получают возможность комбинировать информацию о транзакциях и данные из IoT. Плюс такой системы – обеспечение защиты важных сведений благодаря обезличиванию данных, которое позволяет скрыть часть корпоративной информации. Например, сведения о VIP-клиентах смогут увидеть только сотрудники со специальным доступом. В самой базе такие данные будут храниться без искажения. Другое преимущество системы – возможность быстро находить нужную информацию, используя текстовые запросы в свободной форме. На рынке это решение зачастую выбирают банки. Например, Альфа-Банк Казахстан с помощью MDM стандартизировал данные (имена и фамилии клиентов), выявил и удалил дубликаты, наладил процессы управления качеством информации. Стандартизация информации была необходима потому, что в Казахстане для написания одного и того же имени люди могут использовать буквы кириллического, латинского или казахского алфавита. Во избежание путаницы и возможных ошибок сотрудников, были использованы решения MDM. Они эффективны и при других банковских бизнес-задачах. Например, когда банку необходимо ускорить сегментирование клиентских данных, разработать персонализированные предложения для пользователей или быстрее вывести новые услуги на рынок. Именно с такой целью системой MDM воспользовался банк ВТБ. Также это позволило значительно сократить сроки подготовки отчета банка для регулятора. Другое решение MDM Product 360 предназначено для ведения сложных иерархических справочников продуктов, товаров, услуг, номенклатур. Инструмент используется активно в интернет-магазинах и на производствах. Он помогает связать в единое целое иерархии данных о товарах и услугах. Такое решение эффективно в случае, если одна компания продает товары разных категорий, допустим, спортивные мячи, детские игрушки и книги. Каждый из этих продуктов обладает разным набором атрибутов, которые можно легко упорядочить и связать через систему Product 360. Она включает в себя ресурс для поставщиков с автоматической загрузкой и привязкой данных о товаре к справочнику, а также их распространение в адаптированном виде для разных каналов взаимодействия с потребителем. Это значительно ускоряет продвижение новых продуктов на рынке. Такая система позволяет маркетологам управлять цифровыми данными и автоматизировать их анализ, чтобы сэкономить время для более творческих задач, к тому же интерфейс пользователя можно настроить для работы с тем или иным каналом продаж. Например, дистрибьютор электронных компонентов Avnet воспользовался Product 360, чтобы сократить число выполняющихся вручную действий по управлению данными и упорядочить сведения. В компании было много разрозненных систем с неточными, не согласующимися и неполными сведениями о продуктах и контрагентах. В результате информацию упорядочили, справочники связали между собой, а дубликаты удалили. Для продаж будет эффективно и другое решение – MDM Customer 360. Оно содержит данные о клиентах, сопоставляет их с описаниями продуктов и дает возможность делать потребителям персональные предложения. Такой инструмент эффективен в работе как с физическими лицами, так и с юридическими. Его часто используют в страховой отрасли и в сфере продаж товаров и услуг. Например, компания предоставляет 20% скидку на страхование жилья, если клиент застраховал свою машину. С технической точки зрения, чтобы предоставить скидку клиенту, система MDM должна получить информацию из справочника по клиенту застраховавшего машину, чтобы передать ее другой системе, которая автоматически сделает выгодное предложение этому клиенту по страхованию жилья. Система MDM удобна и для получения кросс-канальной аналитики данных по взаимодействию с клиентами. Например, телекоммуникация компания Verizon добилась высокого процента удержания клиентов благодаря анализу цикла взаимодействия компании с потребителем во всех каналах коммуникаций. Это позволило упростить проведение транзакций на онлайн-ресурсах и тем самым сократить количество обращений в колл-центр. Все производственные компании нацелены на централизованное ведение данных по заявкам, то есть номенклатура создается не хаотично, а централизованно по запросу. Информацию о новом товаре или услуге после всех согласований вносят централизованно внутрь системы. В этом случае не так важно найти дубликат, как разместить запись в нужном месте в иерархии продуктов. Для этого подойдет система Informatica Data Quality. Например, телекоммуникационная компания Eircom Ltd использовала это решение, чтобы повысить качество данных. В результате сведения из различных систем были очищены и стандартизированы. Их стало легко анализировать, и появилась возможность отслеживать KPI в отдельных сферах бизнеса. Внедрение любого вышеперечисленного решения займет определенное время: от полугода. Это связано с тем, что сначала потребуется определить источники данных, из которых собирается информация, указать корректный путь и ранжировать приоритетность информации. Затем разные источники сведений объединяются в группы, для них задаются шаблоны и правила обработки. Чтобы ускорить этот процесс, компании необходимо:
  1. Определить цели и задачи MDM и удостовериться, что они не противоречат бизнес-целям.
  2. Создать стратегию внедрения системы управления НСИ в компании.
  3. Определить роли сотрудников в работе с нормативно-справочной информацией
  4. Определить набор процессов, информация по которым будет отслеживаться в справочниках, чтобы выбрать подходящее MDM-решение.
  5. Задать набор метрик для отслеживания эффективности внедренной системы управления НСИ.
Также определить, нуждается ли компания в новых решениях в управлении НСИ, помогут ответы на следующие вопросы:
  • Насколько качество информации в бизнес-процессах высокое (сведения достоверные и точные, верно ли оформлены и соответствуют ли формату)?
  • Удобно ли использовать такие данные в работе?
  • Согласованы ли данные между системами?
  • Могут ли сотрудники получить сведения, когда они им нужны?
  • Достаточно ли полная информация хранится в системе?
Если хотя бы на один из вышеперечисленных вопросов ответ отрицательный, то стоит задуматься о внедрении тех или иных MDM-решений в компании. Управление НСИ влияет на все бизнес-процессы: от взаимодействия с клиентом до работы с государственными структурами. Работа с упорядоченной, достоверной и полной информацией способна увеличить прибыль, привлечь новых клиентов и удержать существующих, сократить расходы на работу с разрозненными информационными системами и улучшить внутреннюю и внешнюю корпоративную коммуникацию.

Рекомендуем также