Дистрибуция и внедрение инновационных продуктов и решений для корпоративного сектора от лидеров мирового ИТ-рынка

Informatica 10 Data Quality Management for the Developer

Слушатели получат знания и навыки, необходимые для начала самостоятельной работы с продуктом Informatica Data Quality 10. Материал курса построен на основании уникальных материалов и методик разработанных вендором.

В курсе рассмотрены необходимые теоретические знания по продукту, а так же разработан набор лабораторных работ, помогающих ученику лучше понять принципы работы продукта.

Ученики, успешно прослушавшие данный семинар смогут:

  • Понимать процессы Data Quality;
  • Понимать архитектуру Data Quality;
  • Чувствовать разницу между ралями Analyst и Develope и знать средства разработки необходимые для каждой из этих ролей;
  • Знать средство разработки Developer;
  • Выполнять действия по стандартизации и очистке данных;
  • Уметь выполнить развертывание решения;
  • Уметь выполнить диагностику решения.

Курс, в первую очередь, будет интересен следующим категориям специалистов:

  • разработчикам, непосредственно работающим с продуктом Informatica Data Quality;
  • аналитикам и руководителям проектов, менеджерам по качеству, участвующим в проектах по управлению качеством данных;
  • кроме того, к дополнительной целевой аудитории также относятся квалифицированные специалисты, желающие понять суть работы систем автоматизирующих процессы стандартизации данных и желающие повысить свой профессиональный уровень.

Продолжительность учебного курса составляет 4 дня (32 академических часа)

Каждый посетитель семинара  должен иметь при себе ноутбук следующей конфигурации:

  • современный процессор (core i3, i5, i7);
  • объем оперативной памяти не меньше 4 Гбайт;
  • размер свободного места на жестком диске (на одном разделе) не меньше 10 Гбайт;
  • мышь;
  • установленная операционная система Windows XP (Professional)/7 (Professional, Ultimate) ;
  • языковые настройки операционной системы русские;
  • машина должна иметь права локального администратора;
  • установленный web-браузер (Internet Explorer 9 и выше, Google Chrome 35.x) ;
  • желательно наличие любого SQL средства для выполнение запросов на БД (Oracle).

 

Программа оказания консультационных услуг по курсу

Informatica 10 Data Quality Management for the Developer

Модуль 1: Вступление

  • Обзор программы
  • Общее описание и назначение курса

Модуль 2: Обзор процесса Data Quality Process

  • Цикличность процесса управления качеством
  • Количественные показатели для оценки качества
  • Процесс управления качеством
  • Роли Developer и Analyst Roles и их инструменты
  • Архитектура Data Quality

Модуль 3: Проекты и решения Data Quality

  • Примеры внедрения Data Quality
  • Примеры успешных проектов при внедрении очистки и стандартизации данных
  • Data Quality и типичные проекты внедрения/обеспечения качества
  • Отчетность и обеспечение чистоты данных в проектах
  • Архитектура проектов с Data Quality

Модуль 4: Совместная работа в проектах и работа с Reference Table

  • Среда разработки Developer
  • Общие понятия о проектах в Analyst, Data Objects, Profiles, Rules, Scorecards, Comments и Tags
  • Reference Tables и процессы Data Quality
  • Создание Reference Tables 
  • Лабораторная работа: Обзор проекта созданного в Analyst
  • Лабораторная работа: Создание Reference Tables

Модуль 5: Работа со средством разработки Developer

  • Tasks в интерфейсе Developer
  • Работа с физическими и логическими объектами
  • Подключение к таблицам
  • Импорт и работа с плоскими файлами
  • Создание logical data objects
  • Трансформации в Developer
  • Маппинги и маплеты
  • Content sets и их пользователи
  • Особенности работы с Developer
  • Лабораторная работа: Создание проекта и выдача прав
  • Лабораторная работа: Создание подключения к базе данных и импорт из файла
  • Лабораторная работа: Разработка Logical Data Object

Модуль 6: Профилирование, маплеты и правила

  • Профилирование полей таблиц
  • Маплеты и Scorecards
  • Техника профилирования для отладки и повышения качества разработки
  • Лабораторная работа: Создание правила для количественной оценки качества данных в поле таблицы.
  • Лабораторная работа: Использование Informatica Analyst, применение правил и Scorecard и просмотр результатов.

Модуль 7: Стандартизация, Очистка и Обогащение данных

  • Стандартизация, очистка и обогащение данных
  • Создание маппингов для очистки, стандартизации и обогащения данных
  • Разработка маплетов для стандартизации
  • Настройка трансформаций процесса стандартизации
  • Лабораторная работа: Разработка маппинга с функцией стандартизации и маплетов использующих трансформацию Standardization

Модуль 8: Разбор данных

  • Процесс разбора данных
  • Техника применения процессов разбора данных
  • Основные трансформации для выполнения разбора данных
  • Лабораторная работа: Выполнение разбора данныс с использованием соответствующих трансформаций
  • Лабораторная работа: Завершение разработки маппинга стандартизирующего данные

Модуль 9: Матчинг данных

  • Определение процесса матчинга
  • Процесс матчинга в DQ
  • Стадии матчинга
  • Группировка и ее влияние на матчинг
  • Методы группировки
  • Результаты группировки и их зависимость от выбранной стратегии
  • Алгоритмы матчинга
  • Лабораторная работа: Разработка и настройка маппингов с группировкой и матчингом.

Модуль 10: Ручная обработка ошибок и процесс консолидации

  • Управление ошибочными и дублированными записями
  • Обработка исключительных ситуаций
  • Работа с таблицами для хранения ошибочных и дублированных данных.
  • Лабораторная работа: Разработка маппинга для выявления ошибочных данных.
  • Лабораторная работа: Разработка маппинга для выявления дублей данных

Модуль 11: Разработка и развертывание решений

  • Workflows и Workflow Tasks
  • Human Tasks и Шаги (Steps)
  • Выявление ошибочных и дублированных строк.
  • Развертывание и запуск workflows
  • Проверка Tasks в Informatica Analyst.
  • Лабораторная работа: Разработка Workflow для заполнения Analyst Inbox с Exception Tasks
  • Лабораторная работа: Разработка Workflow для наполнения  Analyst Inbox с Duplicate Record Tasks

Модуль 12: Развертывание: Исполнение маппингов не средствами Developer

  • Настройки при развертывании
  • Маппинги как приложения
  • Постановка маппингов, профилирование и Scorecards на расписание
  • Лабораторная работа: Постановка маппингов на расписание используя Informatica Scheduler.

Модуль 13: Импорт и экспорт Объектов проекта

  • Экспорт/импорт  - примеры проектов и решений
  • Базовые и расширенные возможности импорта
  • Экспорт проекта
  • Лабораторная работа: Импорт проекта с использованием базовых методов.
  • Лабораторная работа: Импорт проекта с использованием дополнительных возможностей.
  • Лабораторная работа: Экспорт проекта.

Модуль 14: Диагностика

  • Распространенные ошибки
  • Наиболее часто встречающиеся настройки маппингов и трансформаций
  • Распространенные ошибки конфигурации Workflow
  • Советы по работе с средством разработки Developer
  • Лабораторная работа: (По желанию). Диагностика конфигурации маппинга