Учебный курс «Работа с Greenplum»

Краткое содержание: архитектура Greenplum, отличия от Postgres и Clickhouse, сегменты и развертывание, проектирование и создание объектов баз данных Greenplum, загрузка данных: gpload, PXF, ETL: Airflow и NiFi, CDC — Debezium, оптимизация производительности: шардинг и сегменты, партиционирование, вакуумирование

Общие данные:

Greenplum — система управления базами данных на основе Postgres, которая специально предназначена для работы с большими объемами данных, организации хранилищ данных и работы со сложными запросами. Работа с этой системой не всегда очевидна. Чтобы не ошибиться при развертывании и администрировании Greenplum, очень рекомендуется посетить этот курс. Преподаватель с 25-летним стажем работы с базами данных не только поделится своими знаниями, но и расскажет про опыт эксплуатации Greenplum на крупнейших предприятиях в России, проблемах и путях их решения. Заказывайте обучение!

Продолжительность: 4 дня (32 учебных часа).

В курсе 12 модулей, 10 лабораторных работ (на лабораторные работы, выполняемые под руководством преподавателя, отводится 50 % времени учебного курса).

Для кого предназначен: администраторы и другие специалисты, которым необходимо работать с системой управления базами данных Greenplum

План курса:

  1. Архитектура и особенности Greenplum. Виды нагрузки, под которую подходит Greenplum. Отличия от Postgres, Clickhouse и других баз данных
  2. Развертывание
    1. Варианты развертывания и применение сегментов
    2. Тестовое развертывание на одном компьютере: Ubuntu
    3. Производственное развертывание на группе серверов: CentOS
    4. Применение контейнеров: Docker и Kubernetes
  3. Структура каталогов и файлов конфигурации Greenplum. Отличия от Postgres
  4. Программы для работы с Greenplum. В чем писать запросы и средства администрирования Greenplum
  5. Проектирование БД и объектов в ней . Отличия системы объектов Greenplum от системы объектов Postgres. Схемы start, snowflake, data vault
  6. Дополнительные возможности SQL-запросов Greenplum. Расширения и отличия от Postgres
  7. Создание программных объектов в Greenplum. Создание функций SQL, PLPGSQL, PLPython
  8. Аутентификация, настройка разрешений и защита информации в Greenplum
    1. Аутентификация и отличия от Postgres
    2. Учетные записи и разрешения Greenplum
    3. Аудит и дополнительные возможности защиты информации. Применение SSL и RLS
  9. Резервное копирование и восстановление. Специальные ситуации восстановления
  10. Загрузка данных в Greenplum из оперативной системы
    1.                Работа с PXF (Platform Extension Framework) и обращение к внешним источникам данных
    2.                Применение GPLOAD и других встроенных утилит загрузки данных
    3.                Применение ETL/ELT систем. Работа с Apache Airflow и NiFi
    4.                Применение подхода CDC и работа с Debezium
  11. Мониторинг и оптимизация производительности
    1.                Особенности мониторинга и оптимизации производительности Greenplum по сравнению с Postgres
    2.                Параметры мониторинга операционной системы
    3.                Пороговые значения по системным таблицам/представлениям Greenplum
    4.                Проектирование архитектуры решения Greenplum с точки зрения производительности
    5.                Применение шардинга и партиционирования. Виды секционирования и сжатие партиций. Изменение структуры сегментов Greenplum
    6.                Оптимизация подключений к Greenplum. Особенности подключений и применение пулов подключений
    7.                Особенности вакуумирования, переиндексации и пересчета статистики в Greenplum
    8.                Оптимизация системы индексов. Специальные типы индексов в Greenplum
    9.                Распределение ресурсов между пользователями в Greenplum. Применение ресурсных групп.
    10. Оптимизация запросов в Greenplum. Особенности выполнения запросов в Greenplum по сравнению с Postgres. Анализ планов выполнения запросов и влияние на планы выполнения запросов. Выбор типа оптимизатора запросов в Greenplum
  12. Организация мониторинга и протоколирования работы Greenplum. Диагностика и решение проблем