Учебный курс «Apache Ozone»

Краткое содержание: компоненты Apache Ozone: Ozone Manager, Storage Container Manager, Datanode, S3 Gateway, Container Storage Interface, HttpFS, Recon, аутентификация Kerberos и политики Ranger, отказоусточивость, интеграция с HDFS, Spark, Trino, Impala

Общие данные:

Без хранения данных с доступом по S3 сейчас трудно обойтись любому предприятию. В то же время у Minio меняется политика лицензирования, и возникает вопрос — чем его заменить. Многие крупные предприятия сделали свой выбор в пользу Apache Ozone. Помимо множества преимуществ Apache Ozone для больших хранилищ данных, также есть его версии с сертификатом ФСТЭК и поддержкой (в составе Arenadata Hyperwave). Самостоятельно осваивать Ozone непросто, в нем много тонкостей, а документации мало. Заказывайте обучение!

Продолжительность: 3 дня (24 учебных часа).

В курсе 8 модулей, 7 лабораторных работ (на лабораторные работы, выполняемые под руководством преподавателя, отводится 50 % времени учебного курса).

Для кого предназначен: администраторы распределенных хранилищ данных, специалисты службы сопровождения, разработчики и архитекторы

План курса:

1. Архитектура и основные компоненты

Назначение Apache Ozone. Архитектура Apache Ozone и основные компоненты: Ozone Manager, Storage Container Manager, Datanode, S3 Gateway, Container Storage Interface, HttpFS, Recon.

2. Развертывание Apache Ozone

Планирование развертывания Apache Ozone. Выбор оборудования и операционной системы. Развертывание компонентов и настройка их параметров. Проверка успешности развертывания.

3. Организация хранения данных и работа с клиентом

Тома, корзины и ключи (файлы). Применение утилиты администрирования Ozone и клиента S3 для работы с ними. Загрузка и выгрузка данных из хранилищ Ozone.

4. Настройка безопасности и контроля доступа

Аутентификация и авторизация средствами Kerberos. Управление политиками доступа средствами Ranger. Шифрование данных средствами Hadoop KMS. Аудит действий пользователей и просмотр логов аудита.

5. Масштабирование и отказоустойчивость

Расширение кластера Apache Ozone и ребалансировка данных. Резервное копирование и восстановление в случае сбоя. Репликация данных: факторы репликации и стирающий код (Erasure Coding). Настройка мультикластерной репликации для географического распределения данных.

6. Оптимизация производительности

Организация нагрузочного тестирования средствами Freon. Тюнинг параметров конфигурации. Балансировка нагрузки между репликами компонентов Apache Ozone.

7. Мониторинг и диагностика кластера Apache Ozone

Настройка логирования. Применение Recon для мониторинга работы кластера Apache Ozone. Сбор метрик и мониторинг производительности средствами Prometheus. Типичные проблемы и их решение.

8. Интеграции Apache Ozone

Интеграции с HDFS и YARN. Данные в формате Iceberg в хранилище Ozone. Взаимодействие Ozone с Hive, Spark, Trino, Impala. Применение Ozone для настройки многоуровневого хранилища (tiered storage) в ADH Kafka.