Data Warehouse Analyst
Создавайте сквозные аналитические решения, используйте продвинутый инструментарий для работы с данными
30 июля
4 месяца
Онлайн
Пн/Ср 20:00 Мск
Для кого этот курс?
Для системных аналитиков, BI-аналитиков, аналитиков данных: вы изучите инженерию данных, освоите современные инструменты аналитики с открытым кодом и ELT-пайплайны; сможете создавать сквозные аналитические решения.Для инженеров данных, администраторов баз данных, системных администраторов, разработчиков, технических директоров: научитесь решать задачи, связанные с организацией хранения и анализом данных; узнаете, как выбирать эффективные стеки технологий.
Необходимые знания
- SQL & Python
- Docker
- Базовые команды терминала Linux
- Понимать в общих чертах архитектуру хранилищ данных
Что вам даст этот курс?
Курс ставит своей целью научить слушателей собирать полноценные end-to-end аналитические решения с использованием самых актуальных и востребованных инструментов за 120 + академический часов.
Материал будет изучаться как вглубь (например, принципы функционирования аналитических СУБД), так и вширь (сравнение инструментов, анализ сильных и слабых сторон решений).
Вы научитесь:
- Навыкам построения ELT-pipelines: Airflow, Nifi, Airbyte
- Принципам работы аналитических СУБД: Redshift, Greenplum, Clickhouse
- Изучите лучшие практики моделирования данных: dbt, Data Vault
- Визуализации и BI: Metabase, Superset, DataLens
- Продвинутой аналитике: KPI, Funnels, Marketing Attribution, Cohort, RFM
- DevOps-практикам: Continuous Integration, Github Actions
- Сквозная аналитика для B2B-компании / Web analysis (Crawling & parsing websites data)
- RFM Анализ клиентов программы лояльности с использованием dbt и Clickhouse
- Сбор и анализ данных праздничных дней на базе Python, PostgreSQL и Yandex DataLense
- Анализ кибератак на информационную инфраструктуру с помощью Clickhouse + dbt
- Построение DWH в Retail с применением методов ML для расчета прогнозных метрик
- Построение хранилища данных и аналитической отчетности сферы ритэйла Implementation of the data warehouse and analytical reporting in the retail sector
DWH аналитик отвечает за сбор требований, проектирование и формулировку задач. Он работает над определением того, что и зачем необходимо сделать, а также определяет конечные результаты. DWH-аналитик предоставляет детальное описание того, как должно быть реализовано хранение. Таким образом, DWH-аналитик отвечает на вопросы "что" и "почему", а также предоставляет детальное описание требований и ожидаемого конечного результата.
Процесс обучения
Вебинары проводятся 2 раза в неделю по 2 ак. часа и сохраняются в записи в личном кабинете. Вы можете посмотреть их в любое удобное для вас время.
В ходе обучения вы будете выполнять домашние задания. Каждое из них посвящено одному из компонентов вашего выпускного проекта.
Портфолио
Индивидуальная разработка итоговой проектной работы. Оптимальная нагрузка
Возможность совмещать учебу с работой и личной жизнью.Перспективы
Получите знания, которые помогут повысить вашу востребованность и доход.Карьерная поддержка
Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности.
- Получите помощь с оформлением резюме, портфолио и сопроводительного письма
- Разместите свое резюме в базе OTUS и сможете получать приглашения на собеседования от партнеров
Data Warehouse Analyst
Интерактивные вебинары
2 онлайн-трансляции по 2 ак. часа в неделю. Доступ к записям и материалам остается навсегда.
Обратная связь
Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии.
Активное комьюнити
Чат в Telegram для общения преподавателей и студентов.
Программа
Введение в DWH Analytics
Рассмотрим классификацию основных источников данных для аналитики и их отличительные особенности. Выясним отличие принципов ETL и ELT, структурированных и неструктурированных данных. Научимся подключаться и вычитывать исходные данные, запрашивать ответы от внешних провайдеров через REST API, настраивать потоковую репликацию данных в Хранилище. Проанализируем основные сервисы и инструменты, используемые для этого класса задач.
Тема 1: DWH Analyst или Analytics Engineer? Знакомство, навыки, потребность на рынке
Тема 2: Аналитические движки (СУБД) для работы с данными
Тема 3: Что такое DWH
Тема 4: Инструментарий разработки
Хранение и трансформация данных
Рассмотрим современные СУБД, используемые для анализа больших данных и ключевые принципы их функционирования. Изучим концепцию Хранилища Данных и вопросы, на которые оно призвано отвечать. Познакомимся с dbt – широко популярный мультитул для работы с DWH, позволяющий выстраивать работу в соответствии с лучшими практиками.
Тема 1: Принципы построения DWH
Тема 2: Знакомство с Data Build Tool
Тема 3: DBT - продвинутые трансформации
Тема 4: ClickHouse и DBT в вашем хранилище
Тема 5: Введение в Data Vault
Тема 6: Внедрение и жизнь с Data Vault
Тема 7: Q&A. Сессия вопросов и ответов
Загрузка данных
Изучим современные инструменты для оркестрации скриптов и задач, управления пайплайнами и цепочками зависимостей (DAGs). Получим представление об организации всестороннего качества данных и актуальности DWH. Познакомимся с ключевыми принципами оптимизации производительности и устранения bottlenecks. На практике применим навыки моделирования Хранилища по методологии Data Vault 2.0.
Тема 1: Инструменты для выгрузки данных
Тема 2: Введение в оркестрацию
Тема 3: Оркестрация c Apache AirFlow
Тема 4: Оркестрация Dagster и DBT
Тема 5: Q&A. Сессия вопросов и ответов
Аналитика и Business Intelligence
Выясним круг задач для решений класса Business Intelligence. Научимся конфигурировать и запускать BI в своих проектах. Изучим лучшие практики визуальной подачи информации и подготовки дашбордов.
Тема 1: Введение в BI
Тема 2: Подготовка инфраструктуры для предоставления BI отчетности
Тема 3: Создание метрик и дашбордов
Тема 4: Обзор популярных BI инструментов
Тема 5: Сквозная аналитика
Тема 6: Базовые аналитические витрины
Тема 7: Продвинутые аналитические витрины
Тема 8: Q&A. Сессия вопросов и ответов
Оптимизация и продвинутые темы
Изучим сложные и продвинутые фишки в работе с Хранилищем Данных: Настроим мониторинг и сбор ключевых метрик Хранилища Данных. Задействуем возможности тесной работы с Data Lake (External Data) и полу-структурированными данными. Найдем точки соприкосновения с Data Scientists, проведем обзор возможностей современных СУБД в сфере распределенного ML.
Тема 1: Data Quality
Тема 2: Вопросы оптимизации производительности
Тема 3: Популярные модули DBT
Тема 4: Принципы взаимодействия между СУБД
Тема 5: Дальнейшее развитие навыков
Проектная работа
Заключительный месяц курса посвящен проектной работе. Свой проект — это то, что интересно писать слушателю. То, что можно создать на основе знаний, полученных на курсе. При этом не обязательно закончить его за месяц. В процессе написания по проекту можно получить консультации преподавателей.
Тема 1: Выбор темы и организация проектной работы
Тема 2: Консультация по проектам и ДЗ
Тема 3: Предзащита
Тема 4: Защита проектных работ
Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит
Проектная работа
Для реализации выпуского проекта Вам надо будет сформулировать идею аналитического приложения с business value, представить архитектуру ресурсов и компоненты системы и сформировать Хранилище Данных. Развернуть BI-инструмент. Визуализировать данные в наглядном и понятном виде на дашбордах. Преподаватели курса проверят выпускной проект, дадут обратную связь, а если в процессе будут возникать вопросы, то готовы будут ответить.
Преподаватели
Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания
Ближайшие мероприятия
Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.
1) Разбор архитектуры и возможностей ClickHouse + Apache Superset: как работают вместе, в чём сильные стороны каждой технологии.
2)Демонстрация настройки визуализации в Superset с подключением к ClickHouse — от подключения до создания дашборда.
3)Практические советы и лучшие практики визуализации данных для аналитических задач на больших объёмах.
Вебинар будет полезен:
1) Инженерам данных и администраторам БД, которые хотят эффективно визуализировать данные;
2) Разработчикам и аналитикам, которым нужно быстро получать аналитику из ClickHouse;
3)Техническим руководителям и архитекторам, рассматривающим стек ClickHouse + Superset для BI/аналитических решений.
Что узнают и смогут применять участники?
1.) Поймут, как связать ClickHouse с Apache Superset и что для этого нужно — смогут применить на своей работе/проекте.
2) Научатся строить аналитические дашборды и отчёты на живых данных — использовать для мониторинга, продуктовой аналитики, BI.
3)Получат понимание, когда Superset — "must have", а когда — стоит рассматривать альтернативы.
Прошедшие
мероприятия
Возможность пройти вступительное тестирование повторно появится только через 3 дня
Результаты тестирования будут отправлены вам на email, указанный при регистрации.
Тест рассчитан на 30 минут, после начала тестирования отложить тестирование не получится!
Корпоративное обучение для ваших сотрудников
- Курсы OTUS верифицированы крупными игроками ИТ-рынка и предлагают инструменты и практики, актуальные на данный момент
- Студенты работают в группах, могут получить консультации не только преподавателей, но и профессионального сообщества
- OTUS проверяет знания студентов перед стартом обучения и после его завершения
- Простой и удобный личный кабинет компании, в котором можно видеть статистику по обучению сотрудников
- Сертификат нашего выпускника за 5 лет стал гарантом качества знаний в обществе
- OTUS создал в IT более 120 курсов по 7 направлениям, линейка которых расширяется по 40-50 курсов в год
Отзывы
Подтверждение знаний и навыков
OTUS осуществляет лицензированную образовательную деятельность. Вы получите сертификат о прохождении обучения, а также можете получить удостоверение о повышении квалификации.
После обучения вы:
-
Удостоверение о повышении квалификации: если вы успешно защитили выпускной проект и готовы предоставить копию документа о высшем или среднем профессиональном образовании
-
Доступ к учебным материалам курса
-
Ваш личный проект, который поможет проходить собеседования
Data Warehouse Analyst
Полная стоимость со скидкой
Стоимость указана для оплаты физическими лицами
вычета до 13% стоимости обучения. Пройдите тестирование и менеджер вас проконсультирует
+7 499 938-92-02 бесплатно