Полный курс по построению ETL/ELT-пайплайнов для аналитики данных. Вы научитесь проектировать Extract-паттерны (full load, incremental, CDC), трансформировать данные (SCD Type 2, дедупликация, нормализация), строить DQ-проверки и мониторинг качества данных, оркестрировать пайплайны через Airflow-паттерны, обеспечивать идемпотентность и SLA-мониторинг, работать с потоковой обработкой (Kafka, Flink, Spark Streaming). 55 практических уроков на датасете реальной ETL-платформы.
Изучите паттерны каждой фазы ETL: полная и инкрементальная выгрузка, трансформации данных, SCD-паттерны, загрузка в DWH.
Ещё не начат
Освойте паттерны проверки качества данных: completeness, uniqueness, validity, referential integrity. Научитесь строить DQ-пайплайны и мониторинг аномалий.
Ещё не начат
Освойте паттерны оркестрации ETL-пайплайнов: DAG-зависимости, идемпотентность, backfill, параллелизация и управление состоянием.
Ещё не начат
Изучите основы потоковой обработки данных (Kafka, Flink, Spark Streaming) и выполните итоговый проект — построение полного ETL-дашборда.
Ещё не начат
Все уроки, практические задания и проверка запросов — навсегда.