DWH на основе Arenadata

Практика построения хранилищ данных с нуля на стендах Arenadata

29 марта

4 месяца

Онлайн

Для кого этот курс?

  • Системные аналитики, bi-аналитики и аналитики данных, которые хотят освоить новые знания по инженерии данных, необходимые для современного аналитика, освоить практики построения end-to-end аналитических решений
  • Специалисты из других областей, которые хотят совершить карьерный переход, найти работу на ролях DWH аналитика/Инженера данных.

Необходимые знания

  • Базовые знания Python
  • Базовая математическая подготовка

Что даст вам этот курс

После окончания курса вы сможете:

  • Применять языки SQL и Python для анализа данных и работы с DWH
  • Проектировать архитектуру DWH (выделять слои данных, выбирать наиболее подходящую методологию моделирования данных для каждого из слоев хранилища)
  • Создавать и автоматизировать ETL-пайплайны для загрузки данных в хранилище

Вы освоите стек технологий:

  • Arenadata.DB
  • Arenadata.Hadoop
  • Arenadata.Streaming
  • Arenadata.Cluster Manager
  • SQL и СУБД
  • Автоматизация ETL-процессов
  • Проектирование DWH
Курс поможет освоить как базовые навыки, необходимые для успешной работы на проектах по созданию и развитию DWH на ролях аналитика данных или инженера данных, так и систематизировать уже имеющиеся знания.

Процесс обучения

Обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в Telegram, сдача домашних работ и получение обратной связи от преподавателя.

Вебинары проводятся 2 раза в неделю по 2 ак. часа и сохраняются в записи в личном кабинете. Вы можете посмотреть их в любое удобное для вас время.

В ходе обучения вы будете выполнять домашние задания. Каждое из них посвящено одному из компонентов вашего выпускного проекта.

После выполнения всех домашних заданий вы получите готовый выпускной проект.

Оптимальная нагрузка

Возможность совмещать учебу с работой

Портфолио

Индивидуальная разработка итоговой проектной работы 

Перспективы


Получите знания, которые помогут повысить вашу востребованность и доход

Трудоустройство

Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности.

  • Получите помощь с оформлением резюме, портфолио и сопроводительного письма
  • Разместите свое резюме в базе OTUS и сможете получать приглашения на собеседования от партнеров

DWH

Перспективы направления
Средний уровень зарплат в Москве:
80 000Junior+ специалист
170 000Middle+ специалист
350 000Senior специалист
2290
актуальных вакансий
Формат обучения

Интерактивные вебинары


2 занятия по 2 ак.часа в неделю. Доступ к записям и материалам остается навсегда

Обратная связь


Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии

Активное комьюнити


Чат в Telegram для общения преподавателей и студентов

Программа

Введение

В этом модуле студенты познакомятся с понятием DWH и инженерии данных, узнают об экосистеме инженерии данных, архитетуре платформ данных, а также о ролях и карьерных возможностях в области построения и развития DWH

Тема 1: Вводное занятие. Основные концепции и роли в DWH

Тема 2: DWH в архитектуре платформы данных

Тема 3: Экосистема DWH. Инструменты и технологии

Основы Python для инженерии данных

В этом модуле студенты познакомятся с основными возможностями языка Python и библиотек для работы с данными, необходимыми для работы инженеру данных.

Тема 1: Обзор возможностей языка Python

Тема 2: Работа с файлами и файловой системой

Тема 3: Работа с сетью Интернет

Тема 4: Работа с базами данных

Тема 5: Разбор ДЗ по второму модулю

Реляционные и MPP СУБД

В этом модуле студенты познакомятся с различными типами СУБД, детально изучат архитектуру MPP СУБД на примере Arenadata DB, научатся обращаться к СУБД с использованием языка SQL

Тема 1: Базы данных, системы управления БД, типы БД

Тема 2: Архитектура MPP СУБД на примере Arenadata DB

Тема 3: Взаимодействие с БД. Язык SQL

Тема 4: Оптимизация запросов

Тема 5: Разбор ДЗ по 3 модулю

Большие данные и NoSQL

В этом модуле студенты узнают о предпосылках к появлению NoSQL решений для работы с большими данными, о том, где и для чего в архитектуре DWH могут применяться такие решения, а также более детально рассмотрят принцип и инструменты для работы с ними

Тема 1: Основы Hadoop

Тема 2: Hive. SQL для Hadoop

Тема 3: Основы Spark

Тема 4: Обработка потоковых данных

Тема 5: Разбор ДЗ по 4 модулю

ETL и оркестрация

В этом модуле студенты узнают о том, что такое ETL и как этот подход применяется в DWH. Также в модуле будет подробно рассмотрен вопрос автоматизации ETL-пайплайнов с помощью популярного инструмента оркестрации задач Airflow

Тема 1: Введение. Обзор инструментов

Тема 2: Apache Airflow. Основы

Тема 3: Apache Airflow. Продвинутый уровень

Тема 4: Разбор ДЗ по 5 модулю

Проектирование DWH

В этом модуле студенты научатся проектировать хранилища данных, применяя разные методологии проектирования

Тема 1: Архитектура DWH

Тема 2: Методология Dimensional Modeling

Тема 3: Методология Data Vault

Тема 4: Методология Anchor Modeling

Проектная работа

В этом модуле студенты самостоятельно выполнят проектную работу, связанную с построением хранилища данных или близкой тематикой, применяя полученные в рамках курса знания

Тема 1: Выбор темы и организация проектной работы

Тема 2: Консультация по проектам и домашним заданиям

Тема 3: Защита проектных работ

Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит

Выпускной проект


Каждый курс завершается финальным проектом, который предстоит защитить перед преподавателями и командой. Вам будет, что обсудить на собеседовании!

Вы можете выбрать одну из предложенных преподавателем тем или реализовать свою идею.

Преподаватель

Руководитель курса

Алексей Гуров

Сбербанк

Ведущий аналитик DWH

1 год в Otus
4 занятия
71 студент

Более 6 лет опыта работы в сфере построения DWH на позициях аналитика данных и инженера данных. Строил и развивал корпоративные хранилища данных в банковской сфере и ритейле (на базе Hadoop, Greenplum/Teradata). Интегрировал данные хранилища в различные информационные системы (мобильные приложения, BI, смс-рассылки и т.д.). В настоящее время работает в Сбербанке. Занимается развитием хранилища данных и сервисов, основанных на этих данных. Образование: МФТИ, Прикладные математика и физика Otus Certified Educator

Преподает на курсах

  • Data Engineer
  • DWH на основе Arenadata

Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания

Ближайшие мероприятия

Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.

Основы MPP СУБД на примере Teradata
Алексей Гуров
На уроке рассмотрим основные принципы, лежащие в основе работы MPP СУБД, а также отличие MPP от традиционных SMP систем на примере СУБД Teradata....
12 марта в 17:00
Открытый вебинар
Гибкие методологии проектирования DWH
Алексей Гуров
На уроке рассмотрим основные проблемы классических подходов к проектированию DWH, предпосылки к появлению гибких методологий и их основные принципы....
25 марта в 17:00
Открытый вебинар

Корпоративное обучение для ваших сотрудников

Отус помогает развивать высокотехнологичные Команды. Почему нам удаётся это делать успешно:
  • Курсы OTUS верифицированы крупными игроками ИТ-рынка и предлагают инструменты и практики, актуальные на данный момент
  • Студенты работают в группах, могут получить консультации не только преподавателей, но и профессионального сообщества
  • OTUS проверяет знания студентов перед стартом обучения и после его завершения
  • Простой и удобный личный кабинет компании, в котором можно видеть статистику по обучению сотрудников
  • Сертификат нашего выпускника за 5 лет стал гарантом качества знаний в обществе
  • OTUS создал в IT более 120 курсов по 7 направлениям, линейка которых расширяется по 40-50 курсов в год

Сертификат о прохождении курса

OTUS осуществляет лицензированную образовательную деятельность.
В конце прохождения специализации вы получите сертификат OTUS и официальный диплом о получении новой специальности

После обучения вы:

  • Получите материалы по пройденным занятиям (видеозаписи курса и дoполнительные материалы)
  • Создадите свой проект, который поможет при прохождении собеседований
  • Повысите свою ценность и конкурентоспособность как IT-специалист
  • Получите сертификат об окончании курса

Частые вопросы

Почему OTUS?
Мы обучаем IT-сотрудников уже 6 лет, через OTUS прошли 20 000 студентов. Специализируемся на программах для людей с опытом, а ещё – быстро переформатируем учебные программы под изменения в сфере информационных технологий.
Обязательно ли выполнять и защищать выпускной проект?
Для получения сертификата OTUS и УПК (удостоверение повышения квалификации государственного образца) необходимо сдать проект. Кроме того, проект необязательно защищать перед аудиторией, а можно сдать в чате с преподавателем. Для получения УПК также понадобится предъявить документ об образовании.
Обязательно ли выполнять все домашние задания?
Да, если хотите хорошо отточить навыки. На курсе будут практические домашние задания, их выполнение занимает примерно 2-3 часа.
Помогаете ли вы с трудоустройством после курса?
В Otus Club проводятся вебинары на тему трудоустройства, разбор резюме, прохождения собеседований, особенности реферальных программ при найме. Также обратим ваше внимание, что преподаватели курса занимают ведущие позиции в разных компаниях. Будьте активны, выполняйте домашние задания, стройте network с сокурсниками и преподавателями, и вам будет проще найти работу, расширив свои контакты.
Смогу ли я совмещать учебу с работой?
Да. Программа курса рассчитана на студентов, у которых мало времени. Лекции проводим дважды в неделю, домашние задания — не чаще 1 раза в неделю.
Что, если в середине курса я не смогу продолжать обучение?
Вы можете бесплатно перейти в другую группу. Но только один раз.
Я могу вернуть деньги?
Да, мы можем вернуть деньги за то время курса, которое вы ещё не успели отучиться. Например, если курс длится пять месяцев, а вы отучились один, мы вернём деньги за оставшиеся четыре месяца.
Может ли мой работодатель оплатить курс?
Да. Когда свяжетесь с нашим менеджером, уточните, что оплачивать курс будет ваш работодатель.
Остались вопросы?
Оставляйте заявку и задавайте вопросы менеджеру, команда курса с ним на связи и постарается дать вам исчерпывающую информацию.