Интенсивная прокачка навыков для IT-специалистов!
Data Engineer
Освойте лучшие практики работы с большими данными: Architecture, Data Lake, DWH, MLOps!
Длительность обучения:
4 месяца
Формат:
Online
Начало занятий:
29 ноября
Дни занятий:
Чт 20:00,
- Понимание ключевых способов интеграции, обработки, хранения больших данных
- Умение работать с компонентами экосистемы Hadoop, распределенными хранилищами и облачными решениями
- Практические навыки разработки дата-сервисов, витрин и приложений
- Знание принципов организации мониторинга, оркестрации, тестирования
Курс адресован разработчикам, администраторам СУБД и всем, кто стремится повысить профессиональный уровень, освоить новые инструменты и заниматься интересными задачами в сфере работы с данными.
После обучения Data Engineering вы станете востребованным специалистом, который:
- разворачивает, налаживает и оптимизирует инструменты обработки данных
- адаптирует датасеты для дальнейшей работы и аналитики
- создает сервисы, которые используют результаты обработки больших объемов данных
- отвечает за архитектуру данных в компании
В течение курса будем инкрементально создавать работающий продукт, решая прикладные задачи
40 работодателей уже готовы позвать на собеседование выпускников курса
Инженер данных - почему это актуально и интересно:
- Прежде чем попасть на стол CEO в виде квартального отчета или индивидуальной подборкой книг в email-рассылке, данные проделывают длительный и сложный, полный преобразований и трансформаций, путь, требующий непрерывного мониторинга и оркестрации.
- В этом ключе команда инженеров, которая готова обеспечить непрерывную поставку достоверной информации для всех бизнес-потребителей и функций играет важнейшую роль в принятии тактических и стратегических решений всей компании.
- Работа инженеров данных, внешне незаметная, удивительно сложна и интересна по своей специфике. Невероятное количество закономерностей и связей, инструментов и подходов, параметров и настроек не оставят равнодушным ни один пытливый ум в поисках оптимальных и элегантных решений.
Матешук
День 1
OLAP-хранилища - это отраслевой стандарт для организации DWH и настройки регулярного получения аналитических инсайтов через Data Science-инструменты или более традиционные платформы отчетности.
На Открытом Уроке мы подробно разберем, что такое OLAP-хранилища и self-service BI и углубимся в практический пример использования одной из хорошо зарекомендовавших себя технологий ClickHouse.
Мигутин
Системы Оркестрации - выбор современных Data Engineer-ов для автоматизации забора&перекачки данных из огромного многообразия систем-источников.
На Открытом Уроке мы подробно разберем, что же такое платформы Оркестрации, какие решения есть сегодня на рынке и даже углубимся в практический пример использования одной из самых распространенных платформ на сегодня: Apache Airflow.
Мигутин
Преподаватели
Отзывы
Необходимые знания
- Опыт разработки на Java/Python
- Основы работы с БД: SQL, индексы, агрегирующие функции
- Базовые знания ОС: работа с командной строкой, доступ по SSH
Будет плюсом:
- Навыки работы с Docker
- Знакомство с компонентами экосистемы Hadoop
- Понимание основ машинного обучения с позиции Data Scienist-а или аналитика
На курсе мы:
- детально разберем основные команды в Linux и научимся работать в консоли
- познакомимся с зомби, сиротами и демонами
- выясним, что такое ядро операционной системы и системные вызовы
- научимся работать со стандартными потоками ввода/вывода
- разберем некоторые особенности файловой системы ext4
В рамках подготовки проекта будут даны вводные и проведены консультации.
Несколько примеров проектных работ студентов прошлых запусков:
Serverless решение для сбора статистики эффективности рекламных кампаний на GCP
Сбор и анализ скорости отдачи статики различными CDN на web страницах
Система хранения и автоматического тестирования CV нейросетей
Загрузка данных о полетах из API аэропорта Schiphol в БД Elasticsearch
Процесс обучения
Регулярность занятий: 2 раза в неделю по 2 академических часа (1.5 астрономических часа).
Каждые 2 недели предполагается выполнение 1 домашнего задания (время на выполнение: 2-4 академических часа). По всем практическим заданиям команда преподавателей дает развернутый фидбек.
Для прохождения курса потребуется компьютер с доступом в интернет и аккаунт на облаке (Google Cloud) с неиспользованной Free Trial версией.
После обучения вы
- основные и дополнительные материалы, и видеозаписи занятий;
- образцы кода;
- собственный проект, который можно будет показывать при трудоустройстве;
- сертификат о прохождении обучения.
- будете иметь представление об основных классах задач Инженера Данных, инструментах, предназначенных для их решения, а также их преимуществах и особенностях;
- научитесь выстраивать пайплайны пакетной и потоковой обработки данных;
- сможете проектировать хранилища данных и организовывать оптимальный доступ для потребителей;
В результате обучения вы:
онлайн-образование
Сертификат №0001
Константин Константинопольский
Успешно закончил курс «Data Engineer»
Выполнено практических заданий: 16 из 16
Общество с ограниченной ответственностью “Отус Онлайн-Образование”
Город:
Москва
Директор департамента образования
ООО “Отус Онлайн-Образование”
Анна Фирсова
№ 039825 от 28 декабря 2018 года.
