Extract — Load с помощью SaaS-сервиса vs. Cобственное решение. Поиск баланса и дзен

Запись двухдневного интенсива курса «Data Engineer»

На бесплатном двухдневном интенсиве обсудили:

• Extract-Load через SaaS решения. Возможности готовых сервисов, их надежность и ограничения;
• Extract-Load через API-вызовы, обращения к СУБД и CDC – оптимальные способы реализации;
• Автоматизация выгрузки, повторные попытки (retries), получение уведомлений в Slack (notifications) с помощью Airflow;
• Накопление истории выгрузок и организация Data Lake в S3 перед DWH.

Спикер: Артемий Козырь

Analytics Engineer. 7+ лет опыта в области Хранилищ Данных, ELT pipelines, Анализа данных и визуализации.

Записи других открытых уроков:

Введение в оркестрацию