Учебный курс «Хранилища данных и SQL Server Integration Services»

Краткое содержание: OLTP и Data Warehouse, Data Mart и Data Lake, таблицы фактов (fact tables), таблицы измерений (dimensions), схемы звезды и снежинки, системы ETL (Extraction, Transformation, Load), SSIS как система ETL, Data Flow Task, менеджеры подключений (Connection Managers), источники, назначения и преобразования, задачи Control Flow, запуск пакетов SSIS по расписанию

Общие данные:

Рано или поздно перед любыми предприятиями встают вопросы правильной организации хранения данных, в том числе отделения оперативных данных от архивных. А, кроме того, на предприятии также реализуются системы аналитики, которым тоже нужны специальным образом организованные данные. В проектировании хранилищ данных много тонкостей, как и в настройке систем ETL, которые предназначены для перекачки и преобразования данных. С этими тонкостями наши преподаватели с удовольствием познакомят ваших специалистов во время обучения.

Продолжительность: 4 дня (32 учебных часа).

В курсе 12 модулей, 10 лабораторных работ (на лабораторные работы, выполняемые под руководством преподавателя, отводится 50 % времени учебного курса).

Для кого предназначен: специалисты на предприятиях, работающие с хранилищами данных на основе Microsoft SQL Server и с системами ETL на основе SQL Server Integration Services.

План курса:

  1. Введение в систему баз данных на предприятии. Типы баз данных: OLTP (оперативные), Data Warehouse (хранилища данных), staging (промежуточные), OLAP (аналитические многомерные). Особенности каждой архитектуры баз данных. Решение проблемы архивных данных.
  2. Хранилища данных. Data Warehouse, Data Mart и Data Lake. Основные схемы построения таблиц в хранилищ данных: таблицы фактов, таблицы измерений, схемы звезды и снежники. Архитектурные решения хранилищ данных, от которых зависит производительность. Денормализация таблиц.
  3. Назначение систем ETL (Extract, Transform, Load). Особенности SQL Server Integration Services как системы ETL. Основные архитектурные принципы систем ETL.
  4. Начало работы с SSIS. Создание пакета SSIS, настройка менеджеров подключения (Connection Managers). Выбор специальных типов менеджеров подключений.
  5. Простые задачи Data Flow Task (Задача передачи данных). Применение источников и назначений. Настройка вывода данных (Output).
  6. Работа с преобразованиями (Transformations) в Data Flow Task. Виды преобразований. Расширение возможностей преобразований за счет кода C#/VB.NET в преобразовании Script Component.
  7. Дополнительные задачи Control Flow: задачи по работе с файловой системой, электронной почтой, выполнению скриптов.
  8. Настройка программной логики пакетов. Переходы между задачами (Precedents Constraints), контейнеры For Loop, For Each Loop, Sequence.
  9. Дополнительные возможности пакетов SSIS: параметры, переменные, обработчики событий (Event Handlers), применение Package Explorer.
  10. Организация хранения пакетов SSIS. Особенности размещения пакетов в SSIS Package Store, SQL Server, файловой системе. Настройки разрешений для пакетов.
  11. Запуск пакетов SSIS по расписанию. Применение DTEXEC и заданий пакетов SQL Server Agent. Протоколирование работы пакетов. Применение контрольных точек для возобновления работы пакетов с точки приостановки. Протоколирование занесения информации в хранилище данных (lineage).
  12. Работа с подсистемами Data Quality Services и Master Data Services. Контроль целостности данных в хранилище данных, проверка целостности данных.