Понимание ключевых способов интеграции, обработки, хранения больших данных
Умение работать с компонентами экосистемы Hadoop, распределенными хранилищами и облачными решениями
Практические навыки разработки дата-сервисов, витрин и приложений
Знание принципов организации мониторинга, оркестрации, тестирования

Курс адресован разработчикам, администраторам СУБД и всем, кто стремится повысить профессиональный уровень, освоить новые инструменты и заниматься интересными задачами в сфере работы с данными.

После обучения Data Engineering вы станете востребованным специалистом, который:

разворачивает, налаживает и оптимизирует инструменты обработки данных
адаптирует датасеты для дальнейшей работы и аналитики
создает сервисы, которые используют результаты обработки больших объемов данных
отвечает за архитектуру данных в компании

Real Case Studies: примеры внедрений, использования инструментов, оптимизации производительности, проблемы, ошибки и прикладные результаты

Высокая практическая направленность:

В течение курса будем инкрементально создавать работающий продукт, решая прикладные задачи

Целостная картина вызовов и задач современного бизнеса, и роли Инженера Данных в их решении

Востребованность у работодателей

39 работодателей уже готовы позвать на собеседование выпускников курса

Инженер данных - почему это актуально и интересно:

Прежде чем попасть на стол CEO в виде квартального отчета или индивидуальной подборкой книг в email-рассылке, данные проделывают длительный и сложный, полный преобразований и трансформаций, путь, требующий непрерывного мониторинга и оркестрации.
В этом ключе команда инженеров, которая готова обеспечить непрерывную поставку достоверной информации для всех бизнес-потребителей и функций играет важнейшую роль в принятии тактических и стратегических решений всей компании.
Работа инженеров данных, внешне незаметная, удивительно сложна и интересна по своей специфике. Невероятное количество закономерностей и связей, инструментов и подходов, параметров и настроек не оставят равнодушным ни один пытливый ум в поисках оптимальных и элегантных решений.

Карта курсов направления Data Science в OTUS

Demo-урок «Введение в оркестрацию», 16 августа в 20:00

Подробно разберем, что же такое платформы оркестрации, какие решения есть сегодня на рынке и даже углубимся в практический пример использования одной из самых распространенных платформ на сегодня: Apache Airflow.

Ведет

Максим
Мигутин

Предыдущий открытый вебинар

Demo-урок «Минимальный стэк для аналитики: OLAP-хранилище + BI-инструмент на примере ClickHouse и ReDash», 24 августа в 20:00

Максим
Мигутин

Предыдущий открытый вебинар

Преподаватели

Егор Матешук

CDO AdTech-компании Квант

Василий Сушко

ПАО Сбербанк

Максим Мигутин

Александр Устинов

Артемий Козырь

Analytics Engineer, Wheely

Михаил Юрченков

АО "Максимателеком", Lead Data Engineer

Вадим Заигрин

Software Engineering Team Lead, Teradata

Владимир Дроздецкий

Разработчик инфраструктуры exposcan.ru, crispmessenger.com

Последние 6 лет работает с большими данными: строит системы для обработки данных, консультирует по вопросам построения аналитических решений.

До 2018 года руководил отделом инфраструктуры данных в Ostrovok.ru. Затем занимал аналогичную позицию в MaximaTelecom (один из проектов компании - публичная сеть Wi-Fi в метро Москвы). На данный момент является CDO AdTech-компании Квант.
Большой опыт работы с сервисами Hadoop (HDFS, Hive, Impala), оркестраторами (Airflow, Oozie), MPP-базами (Vertica, Kudu, Greenplum) и различными фреймворками для обработки данных (Spark, Flink).

Образование: МФТИ, факультет инноваций и высоких технологий по специальности прикладная математика и физика.

Руководитель программы

Главный инженер, Сбербанк

7 лет опыта промышленной разработки, в том числе создания и поддержания веб-приложений как в крупных компаниях так и в стартапах. 3 года разработки распределенных систем для крупных государственных заказчиков. Реализовал три проекта с “чистого листа”, от прототипа до готового к промышленной эксплуатации.

В данное время занимается full-stack разработкой для внутренних заказчиков в банке, решает задачи связанные с анализом и инженерией данных.

Опыт программирования на Java, Scala, Python, Javascript.

Широкий круг профессиональных интересов, начиная от построения распределенных систем, заканчивая предиктивной аналитикой и анализом намерений.

Образование: бакалавриат УрФУ им. Б.Н. Ельцина “Информационные технологии”.

Преподаватель

Более 5-ти лет опыта в индустрии Данных & Аналитики в роли внешнего косультанта (IBM) и in-house лидера Data Engineering и Data Science-проектов (Альфа-Банк, Yum! Brands).
Сферы интересов: построение end-to-end аналитических систем, внедрение инструментов Машинного обучения в промышленную эксплуатацию, Рекомендательные системы, MPP-базы данных.
Образование: МГУ им. Ломоносова, математическая кафедра Экономического факультета

Преподаватель

Работаю инженером данных в Epam Systems. Строю системы для обработки данных. Занимаюсь менторством.

Получил степень магистра по направлению "Интеллектуальный анализ данных". Работал над проектом по прогнозированию потребления электроэнергии энергорайонов РФ.

Начинал свою карьеру в качестве разработчика веб-сервисов на Java.

Преподаватель

7+ лет опыта в области Хранилищ Данных, ELT pipelines, Анализа данных и визуализации.
Опыт работы над сервисами в компаниях Wheely, Sber, Moscow Exchange, PwC.
Сферы интересов: Data Modeling, Advanced analytics, Marketing Attribution, Data Quality, DevOps.

Верю в то, что данные – это ключевой элемент в принятии обоснованных и разумных бизнес-решений. Люблю находить простые решения для сложных задач. Не люблю повторять одни и те же ошибки, но с удовольствием приветствую новый опыт.

Blogging: Technology Enthusiast and Habr
2+ года веду занятия в ОТУС: Data Engineer, Hadoop Ecosystem, DWH Analyst

Преподаватель

Окончил Факультет Компьютерных Наук НИУ ВШЭ. Занимается разработкой ПО с 2015 года.
Начинал в качестве разработчика Веб-сервисов на Ruby on Rails, позже занялся разработкой микросервисов на Scala (Spray, Akka). Сейчас занимается разработкой систем телеметрических больших данных в режиме реального времени.

Интересы: Scala, Haskell, высоконагруженные сервисы, обработка больших объемов данных.

Преподаватель

Последние несколько лет работаю с большими данными как разработчик, Data Engineer и Data Scientist. Проекты в банках, телеком и розничных компаниях. Опыт работы с Hadoop (Cloudera, Hortonworks), MPP-системами (Teradata, Vertica), фреймворком Spark и Google Cloud Platform. Большой опыт в IT-инфраструктуре. Поработав и как Data Scientist, и как Data Engineer, понимаю, что без Data Engineer'а Data Scientist'у делать нечего.
Образование: МИЭМ, специальность: прикладная математика.

Otus Certified Educator

Преподаватель

Занимается поддержкой и траблшутингом серверов MySQL, приложений, написанных на PHP, etc. Активно внедряет и использует докер со всей его инфраструктурой. Придерживается мнения, что всё должно быть декларативно описано, поэтому использует Ansible.

Разрабатывает и настраивает инфраструктуру для таких стартапов, как exposcan.ru, crispmessenger.com. Занимается мониторингом при помощи Zabbix и Prometheus, создаёт графики в Grafana.

Чтобы легко подстраиваться под требования бизнеса, деплоит и описывает процессы в Gitlab, собирает и обрабатывает логи в ELK и Graylog2. Любит и умеет пользоваться активным сетевым оборудованием вендора MikroTik.

Преподаватель

Егор
Матешук

Василий
Сушко

Максим
Мигутин

Александр
Устинов

Артемий
Козырь

Михаил
Юрченков

Вадим
Заигрин

Владимир
Дроздецкий

Преподаватели

Егор Матешук

CDO AdTech-компании Квант

Василий Сушко

ПАО Сбербанк

Максим Мигутин

Александр Устинов

Артемий Козырь

Analytics Engineer, Wheely

Михаил Юрченков

АО "Максимателеком", Lead Data Engineer

Вадим Заигрин

Software Engineering Team Lead, Teradata

Владимир Дроздецкий

Разработчик инфраструктуры exposcan.ru, crispmessenger.com

Отзывы

Сергей
Баранов

Курс более, чем понравился и удачно оказался "стопроцентно в руку".

- Курс значительно отодвинул наметившиеся ограничения в области архитектурных решений по работе с данными для нашей компании.
- Практически каждый (ровно каждый) вебинар курса дал мне варианты решений различных реальных проблем в реальных кейзах по работе.
- Корпус приобретённых практических навыков позволил реализовать эти решения как минимум на уровне работающих прототипов.
- Хочу отметить также серьёзный уровень владения и подачи теории, и погружённости в реальную практику преподавателей курса.

Рекомендую всем как для расширения архитектурного горизонта, так и для приобретения практических навыков работы с заявленным в программе инструментарием.

Читать целиком

Вадим
Заигрин

Очень полезный курс для инженеров данных. Широкий охват тем, глубокая проработка материала. Даже по темам, с которыми ты работаешь пару лет, узнаешь что-то новое.
Из недостатков можно отметить некоторую несогласованность между преподавателями. Например, один говорит, что системы визуального проектирования неудобны, а второй, что с их помощью можно делать то, что нужно.
Ещё хорошо бы оптимизировать последовательность тем. Теорию потоковой обработки лучше давать до практической работы со Spark Streaming.

Читать целиком

Андрей
Гореликов

1 До обучения я работал веб разработчиком джава и до поступления на курс поступил на должность разработчика хранилища, но на работе была маленькая команда и чтоб лучше освоить профессию поступил на курсы дата инженера в Отус.
2 Выбрал курс Дата инженера так как интересна эта специализация
3 В обучении понравлся актуальный материал и как преподователи вели обучение- много рабочих кейсов, быстрая проверка домашних работ и рекомендации как улучшить и тд. У меня как и многих были сложности с докером.
4 Обучение мне дало более широкие и глубокие знания по специальности с которыми я нашел новую работу, на собеседованиях уже мог обсуждать детали специальности, используемые технологии и тд. Касаемо работы я получил несколько оферов и одним из них воспользовался, можно сказать в ведущий банк и офис мечты ))
Понравился выпускной проект, было много консультаций и после во время защиты было много рекомендаций!!

Читать целиком

Юрий
Шилин

Всем привет!
Очень крутой курс, но входной уровень знаний (linux, db, sql) нужно уже иметь.
А лучше с этим ежедневно работать, тогда данный курс будет не просто курсом, а открытие новых возможностей в профессиональной деятельности.

Читать целиком

Анатолий
Клюса

Хороший курс, несмотря на то, что молодой)
Хорошо подобран материал и домашние задания, хорошие преподаватели, нормально все организовано.
Самое главное, что, как я понял, и курс и Отус постоянно развиваются и усовершенствуются.
Мне лично было очень интересно учиться в Отусе на этом курсе, узнать много новых для меня инструментов и технологий, которые сейчас на потоке и в тренде, и попробовать их в деле.
Однозначно курс рекомендую тем, кто любит работать с данными и хочет приобщиться к современной цифровой нефти - к большим данным.

Читать целиком

Игорь
Бричко

Курс достаточно обширный по изучаемым технологиям, много практической части и реальных примеров. Хочу отметить высокую квалификацию преподавателей и уровень владения и преподавания метериалов.

Что можно улучшить.
- скорость отклика на личные сообщения и проверку ДЗ
- добавить разбор ДЗ на примере лучшей работы
- больше внимания уделить streaming процессам( этотлично мое пожелание ?)
- больше ссылок на мануалы и кейсы по технологиям

Спасибо большое за курс, продолжайте в том же направлении!

Читать целиком

Алексей
Стариков

Хороший курс.

Дает общее представление об инструментах и подходах, которые используются в работе с данными.

Курс будет очень полезен начинающим инженерам данных и тем, кто хочет начать работать по данной специальности. Те, кто уже имеет некоторый опыт, смогут сконцентрироваться на интересных для них кейсах в рамках дз и финального проекта и получить более широкое представление о сфере деятельности.

Что получилось хорошо:
- отличные преподаватели
- полезные интересные лекции

Что можно улучшить:
- лекции по devops получились слишком обзорными без конкретных кейсов и практики (стоит добавить конкретные примеры и дз)
- долгий фидбек по домашкам и быстрая их приемка в конце курса (стоит ускорить проверку дз и делать, ревью более требовательным с учетом предоставление времени на исправление замечаний, конечно)

Читать целиком

Сергей
Бордя

До обучения в Otus я закончил мастерат по Data Science и год проработал как Junior Data Engineer.
Я хотел расширить свои знания в сфере Data Engineering.
Мне нравится большое количество технологий, обсуждаемых в курсе. Некоторые уроки показались сложными, в домашних заданиях выскакивали ошибки. Без определённого бэкграунда тяжело разобраться с проблемами и качественно сделать домашнее задание. Было бы хорошо иметь какой-то майндмэп, где было бы показано какую технологию стоит выбрать в зависимости от определённых задач с плюсами и минусами.
Обучение расширило мои теоретические знания в данной области и понимания, какие технологии больше подходят для решения определённых задач.

Читать целиком

Владимир
Крокодилов

Понравилось количество обозримых инструментов (может даже перебор). Сами преподаватели были прекрасны. Возможно Андрею стоит чуть больше показывать что-то руками (обычно на его лекциях были слайды с рассказами, без "тыкания" в приложения), но даже там всё, что было сказано, было по делу. Возможно стоит добавить блок по работе с докером (как делать docker-compose), т.к. это предлагается делать в проектной работе, но подразумевается, что мы умеем или научимся самостоятельно. В блоке devops тоже хотелось бы больше материала (там было больше обсуждения концепций, чем конкретных инструментов и как с ними работать).
Проверка домашек была очень долгая. Нет, я не говорю о самих ответах (почти все комментарии были по делу). Но сроки, за которые делались проверки не лезут не в какие рамки. Люди платят деньги, а ответа можно ждать неделями. По-моему, это неуважительно по отношению к заказчику. Если говорить о самих домашках, то всё было довольно интересно. Часть сам тыкаешь, пересматриваешь лекции, часть в инструкциях. Прикольно
Это не первый мой курс и я понимал, что меня ждёт качественный продукт. Ожидания оправдались. Спасибо!

Читать целиком

Дмитрий
Андреев

На курс Data Engineering пошёл уже после прохождения курса Data Science (тоже в ОТУСе) т.к. в момент прохождения DS поймал себя на мысли, что какие бы модели ты ни выбрал и как бы ни тюнил модель - очень многое зависит от правильного сбора и предобработки данных. Курс DE дал мне всю необходимую базу по современным программам и подходам, необходимым для сбора, обработки и хранения данных. В общем и целом курс оставил крайне положительные впечатления! Было интересно и слушать лекции, и выполнять ДЗ. Они были вполне по силам, но при этом не возникало частых мыслей, что всё дается слишком легко - на мой взгляд идеальный баланс. А благодаря выполненному последнему ДЗ так и вовсе получилось сменить работу на +40% к ЗП. Работа правда не связана напрямую с DE, но эта ситуация для меня в очередной раз доказала, что под лежачий камень водичка не течёт и учиться в нашей сфере необходимо всегда, хуже от этого ещё никому не становилось!

Из минусов могу отметить периодические задержки с проверкой ДЗ и ответами в слаке. Не сказать, что эти моменты сильно помешали, просто это могло бы быть чуточку лучше ;)

Коллеги писали или говорили, что по DevOps'у мало информации - не могу с эти согласиться т.к. DevOps - это отдельная песня, по ней даже курс на несколько месяцев имеется. А вот добавить в самое начало курса занятие по Docker, вокруг которого крутится половина ДЗ и примеров, было бы абсолютно не лишним.

По итогу могу с полной уверенностью сказать, что курс стоит и своих денег, и затраченного времени!

Читать целиком

Юрий
Недилько

Этот курс уже второй который я проходил в Отусе. Первым был отличный курс "Разработчик на Spring Framework" и мне есть с чем сравнивать. В целом материала много, есть ДЗ которые помогают углубится в тему. Но конечно и недостатки присутствуют. Для начинающих самая большая проблема онлайн-курсов в том что когда Вы например впервые садитесь на велосипед максимум что Вы можете спросить это в какую сторону крутить педали. Вопросы которые появляются по ходу погружения в тему уже задавать некому потому-что никто не отвечает кроме самих студентов в чате. А там гляди и курс закончился. Преподаватели которые читают лекции очень квалифицированные, жаль что не отвечают на вопросы в слаке. По материалам курса также недостаточно раскрыта тема запуска spark приложения на кластере Hadoop. В целом конечно курс был полезен, следует признать - на сегодняшний день конкурентов у Отуса нет.

Читать целиком

Мария
Морозова

До обучения в Otus на курсе дата-инженер я более 10 лет работала разработчиком различных систем, в основном специализируясь на реляционных БД, анализе данных и обеспечении качества данных.
Имея за плечами сданный экзамен по Big Data (openedu.ru), успешно законченный mlcourse, появилось осознание, что хочется расширить список инструментов для работы с данными,
а также добиться некоей "структурированности" знаний в инженерии данных, т.к. инструментов появилось довольно много, и не всегда понятно, когда и какой лучше использовать.

Посетив ознакомительный вебинар на OTUS, было принято решение поучаствовать в данном мероприятии.
На курсе есть возможность на учебных примерах запустить стримминг данных через kafka, поюзать in-memory бд, написать какой-нибудь сервис, запустить RDD на Spark, сравнить инструменты мониторинга, выбирать тип DWH, рассмотреть реальные кейсы использования инструментов, получить дельные советы от преподавателей.

В обучении на OTUS мне понравилось, что программа курса современная, преподаватели актуализируют программу, а также подстраиваются под пожелания учеников "на ходу". Например, в моем запуске было выражено пожелание, чтобы показали, как деплоить ML-модели в production "по-правильному" и это пожелание было удовлетворено.

От этого курса я получила все, что хотела: практические навыки использования современных инструментов работы с данными, понимание, когда и какие инструменты лучше применять, как деплоить, оркестрировать, мониторить, а самое главное, наверное - это как разрабатывать архитектурные решения.

Думаю, что спрос на дата-инженеров будет расти, т.к. данных становится все больше, также как и инструментов для работы с ними.

Читать целиком

Дмитрий
Габидуллин

Хороший курс, понравился.
До обучения ранее работал с экосистемой hadoop, но хотелось систематизировать знания, подходы, инструменты в области DE. Выбор пал на этот курс и не прогадал.
Что понравилось:
- состав и уровень преподавателей. Не скучные лекции, очень доходчиво доносят материал.
- общение в slack чате, обсуждение практических заданий. Можно было даже обсудить вопросы не относящиеся к материалам курса, а возникающие в ходе повседневной работы.
- уровень домашних заданий и выпускного проекта позволяет сформировать портфолио для указания в резюме.
Из доработок по курсу, было бы здорово:
- больше практической части от devOps тем на курсе
- продвинутых тем в Apache Spark

Читать целиком

Михаил
Сеткин

На момент начала курса я уже в течение примерно трех лет развивал решение Data Lake в своей компании в качестве владельца платформы. О курсе я узнал из контекстной рекламы, наверное это не случайно, т. к. в поисковых движках я часто ищу информацию, пересекающуюся с тематикой курса. Обычно я сохраняю понравившиеся аналогичные ссылки, чтобы в будущем рекомендовать их коллегам, но в этом случае тема курса настолько тесно пересекалась с тем, чем я занимаюсь, что мне захотелось, во-первых, прежде чем рекомендовать это кому-то, составить личное мнение о курсе, во-вторых, почерпнуть новые идеи для развития нашей платформы, и в третьих, расширить личный кругозор по отдельным инструментам.
По итогам курса могу сказать, что мне понравилась практическая направленность занятий, т. к. после большинства тем даются домашние задания, которые имеют множество возможных решений, и чтобы успешно их сдать, надо включать голову и вспоминать, что проходили на уроках, что способствует запоминанию материала. Сдача «домашек» также реализует канал быстрой обратной связи, благодаря которой улучшается кругозор по пройденной теме. Также хочу отметить преподавательский состав, приглашенные эксперты выложились в моем понимании на отлично.
По итогам обучения я получил подтверждение о правильности некоторых гипотез по используемому в компании стеку технологий, а также углубил знания по отдельным инструментам обработки данных. Отдельные презентации разобрал на слайды и обсуждал их с коллегами, конвертируя полученные знания в бэклог команды.
С уверенностью могу сказать, что мои ожидания относительно курса оправдались, за что хочу сказать авторам курса большое спасибо.

Читать целиком

Сергей
Грибков

Целью моего обучения на курсе было освоить технологии Big Data в целом и экосистему Hadoop в частности, и с уверенностью могу сказать что мне это удалось. Курс очень разнообразный, разбирается множество используемых в Big Data инструментов и технологий, а также вопросы архитектуры, дается комплексное представление о предметной области. Конечно, отдельные темы освещаются довольно бегло, но это мотивирует разобраться самому. Для обучения желателен определенный опыт, но понимая принципы работы БД, ООП и общие требования к обработке данных, можно в довольно сжатые сроки освоить технологии Big Data и применять их на практике.
Также хочу отметить, что занятия проводятся в "прямом эфире", что сейчас встречается все реже. Это способствует более быстрому усвоению материала и обеспечивает планомерное его изучение.
По самой структуре курса могу предложить заменить отдельные "проходные" темы, например, Jupyter Notebook на Docker.

Читать целиком

Алексей
Чуб

Безусловно, полезный курс. Надо, однако, понимать, что это не курс общего назначения, как я думал до его прохождения. Это курс именно по этой специальности - инженер данных. В старой терминологии это близко к разработчикам баз данных, так называемым "ораклистам" и т.п. Для бэкенд-разработчиков (java и др.) он может быть полезен для общего развития, но это в общем-то другая специальность. Что понравилось - ширина охвата, крутые преподаватели, особенно Егор Матешук. Что не понравилось - некоторое отсутствие общей идеи, общего плана курса. Каждый преподаватель ведет свои темы как бы независимо от других. От этого общий результат, думаю, получается хуже, чем он мог бы быть, если бы изначально лекции и домашние задания как бы продолжали друг друга в разных темах. Например, все домашки были бы в однородном окружении. Полезно также было бы больше времени на лекциях уделять объяснению того, что надо сделать в д/з. Еще не особенно понравилось качество проверки домашек, сложилось впечатление, что преподаватель засчитывает их, почти не глядя.

Читать целиком

Руслан
Ксалов

Курс полностью оправдал возложенные на него надежды. Я получил достаточно знаний и практического опыта, чтобы начать самостоятельный путь в профессии Data Engineer. Большое спасибо всем преподавателям, но особенно хочу отметить Артемия Козыря, Егора Матешука и Дмитрия Музалевского.

Читать целиком

Федор
Песяк

До обучения в OTUS я занимался в основном нативной разработкой на Python. Как таковой дата инженерией я не занимался.

Курс привлек внимание тем, что он плавно вводит в тему. На презентации рассказали, что он больше подходит для новичков в Data Engineering, что мне подходило.

В целом, курс добротный. Рассказывают и про теорию, и про практику. После прохождения у меня более-менее сложилась картинка, что из себя представляет профессия дата инженера.

Понравилось, что достаточно подробно разбирали некоторые инструменты типа Spark или Airflow (лекции и презентации можно использовать в качестве базового туториала). Домашние работы были достаточно прикладными - научили, как запускать машины в облаке, как собирать докеры, как писать на Scala. Плюс проектная работа, тему к которой я выбрал самостоятельно, исходя из задач на текущей работе.

Не понравились отдельные лекторы, не очень хорошо рассказывали об отдельных темах. Некоторые инструкции к домашним заданиям можно было бы оформить и получше.

Очень хотелось бы добавить в курс обработку изображений и видео, разбор инструментов, которые позволяют быстро работать с картинками. В основном все разобранные решения касались только текстовых или бинарных данных.

По окончании обучения мне удалось реализовать проект на текущем месте работы и получить должность дата инженера. Знания, полученные на курсе, пришлись к месту.

Я доволен тем, что прошел курс до конца. Это был полезный опыт.

Читать целиком

Юлия
Шутова

Курс замечательный. Преподаватели - профессионалы своего дела. Если вы хотите заметно повысить свой уровень за несколько месяцев, то пройдя этот курс, вы достигните этой цели - все необходимые знания вам для этого дадут. Вам же останется отработать теорию на практике.

Читать целиком

Анастасия
Шемет

В конечном итоге получилось не просто разобраться в инструментах дата инженера, но и сделать в них целый проект. Считаю, что инструменты, которые отписывались в курсе очень органично собраны все вместе и понятно объяснены
Конечно, это было своего рода челленджем для меня - пройти этот курс, т к навыки в этой области у меня были практические нулевые. Но оно того стоило
Из пожеланий (уже высказывала это в ранних фидбеках (может быть устно, не помню)): делитесь материалами к лекциям заранее. Мне было бы гораздо проще понимать лекции в режиме онлайн, если бы у меня была возможность заранее к ним подготовиться: прочитать слайды, дополнительные материалы, разобраться с инструментами, которые используются в демо на уроках. Без этого я ничего не понимала и не могла задать внятные вопросы преподавателю в прямом эфире, разбиралась уже офлайн. Это тоже ок, но терялся смысл вебинаров
Но в общем впечатления положительные, курс стоил своих денег и уже принёс плоды
Спасибо!

Читать целиком

Виктор
Кузнетсов

Хороший курс по Дата инженерии естественно если с нуля нужно много постараться изучить. Но он того стоит. Всем советую.

Читать целиком

Сергей
Баранов

Читать целиком

Вадим
Заигрин

Читать целиком

Андрей
Гореликов

Читать целиком

Юрий
Шилин

Читать целиком

Анатолий
Клюса

Читать целиком

Игорь
Бричко

Читать целиком

Алексей
Стариков

Читать целиком

Сергей
Бордя

Читать целиком

Владимир
Крокодилов

Читать целиком

Дмитрий
Андреев

Читать целиком

Юрий
Недилько

Читать целиком

Мария
Морозова

Читать целиком

Дмитрий
Габидуллин

Читать целиком

Михаил
Сеткин

Читать целиком

Сергей
Грибков

Читать целиком

Алексей
Чуб

Читать целиком

Руслан
Ксалов

Читать целиком

Федор
Песяк

Читать целиком

Юлия
Шутова

Читать целиком

Анастасия
Шемет

Читать целиком

Виктор
Кузнетсов

Читать целиком

Необходимые знания

Необходимое:

Опыт разработки на Java/Python
Основы работы с БД: SQL, индексы, агрегирующие функции
Базовые знания ОС: работа с командной строкой, доступ по SSH

Будет плюсом:

Навыки работы с Docker
Знакомство с компонентами экосистемы Hadoop
Понимание основ машинного обучения с позиции Data Scienist-а или аналитика

Подготовительный курс

Курс рассчитан для программистов и администраторов, которые хотят освоить ОС Linux с нуля.

На курсе мы:

детально разберем основные команды в Linux и научимся работать в консоли

познакомимся с зомби, сиротами и демонами

выясним, что такое ядро операционной системы и системные вызовы

научимся работать со стандартными потоками ввода/вывода

разберем некоторые особенности файловой системы ext4

Записаться

Корпоративное обучение для ваших сотрудников

Подробнее

Получить план обучения для сотрудников

Нажимая кнопку, я принимаю условия Политики конфидециальности

Мы обещаем не присылать вам спам

Спасибо!

Мы получили Вашу заявку, в ближайшее время с Вами свяжется наш менеджер.

Программа обучения

В процессе обучения вы получите комплексные знания и навыки.

Модуль 1 Data Architecture

C 31 августа

Тема 1. Инженер Данных. Задачи, навыки, инструменты, потребность на рынке

Тема 2. Архитектура аналитических приложений: базовые компоненты и принципы

Тема 3. On premises / Cloud solutions

Тема 4. Автоматизация пайплайнов и оркестрация – 1

Тема 5. Автоматизация пайплайнов и оркестрация – 2

Модуль 2 Data Lake

C 21 сентября

Тема 6. Распределенные файловые системы. HDFS / S3

Тема 7. SQL-доступ к Hadoop. Apache Hive / Presto

Тема 8. Форматы хранения данных и их особенности

Тема 9. Разбор ДЗ по 1 кейсу

Тема 10. Очереди сообщений. Обзор Kafka.

Тема 11. Выгрузка данных из внешних систем

Тема 12. Apache Spark – 1

Тема 13. Apache Spark – 2

Модуль 3 DWH

C 26 октября

Тема 14. Аналитические СУБД. MPP-базы данных

Тема 15. Моделирование DWH – 1. Основы работы с dbt

Тема 16. Моделирование DWH – 2. Data Vault 2.0

Тема 17. DevOps практики в Аналитических приложениях. CI + CD

Тема 18. Разбор ДЗ по 2 кейсу

Тема 19. Data Quality. Управление качеством данных

Тема 20. Развертывание BI-решения

Тема 21. Мониторинг / Метаданные

Модуль 4 NoSQL/NewSQL

C 26 ноября

Тема 22. NoSQL Хранилища. Key-value

Тема 23. NoSQL Хранилища. Document-oriented

Тема 24. ELK

Тема 25. ClickHouse

Тема 26. Разбор ДЗ по 3 кейсу

Модуль 5 MLOps

C 14 декабря

Тема 27. Организация и Packaging кода

Тема 28. Docker и REST-архитектура

Тема 29. MLFlow + DVC

Тема 30. Деплоймент моделей

Тема 31. Разбор ДЗ по 4 кейсу

Тема 32. Разбор ДЗ по 5 кейсу

Модуль 6 Выпускной проект

C 14 января

Тема 33. Выбор темы и организация проектной работы

Тема 34. Консультация

Тема 35. Защита

Скачать подробную программу

Получить подробную программу обучения

Нажимая кнопку, я принимаю условия Политики конфидециальности

Мы обещаем не присылать вам спам

Получить подробную программу обучения

Скачать подробную программу

Выпускной проект

Выпускной проект: реализация задачи по интересующей теме с применением комплекса знаний, полученных в рамках курса.

В рамках подготовки проекта будут даны вводные и проведены консультации.

Несколько примеров проектных работ студентов прошлых запусков:

Serverless решение для сбора статистики эффективности рекламных кампаний на GCP
Сбор и анализ скорости отдачи статики различными CDN на web страницах
Система хранения и автоматического тестирования CV нейросетей
Загрузка данных о полетах из API аэропорта Schiphol в БД Elasticsearch

Процесс обучения

Обучение проходит в формате онлайн-вебинаров на русском языке.
Регулярность занятий: 2 раза в неделю по 2 академических часа (1.5 астрономических часа).

Каждые 2 недели предполагается выполнение 1 домашнего задания (время на выполнение: 2-4 академических часа). По всем практическим заданиям команда преподавателей дает развернутый фидбек.

Для прохождения курса потребуется компьютер с доступом в интернет и аккаунт на облаке (Google Cloud) с неиспользованной Free Trial версией.

Получить консультацию

Наш специалист свяжется с вами в ближайшее время. Если у вас возникли трудности в выборе курса или проблемы технического плана, то мы с радостью поможем вам.

Я принимаю условия Политики конфиденциальности и Пользовательского соглашения

Спасибо!

Мы получили Вашу заявку, в ближайшее время с Вами свяжется наш менеджер.

После обучения вы

Заберете с собой:

основные и дополнительные материалы, и видеозаписи занятий;

образцы кода;

собственный проект, который можно будет показывать при трудоустройстве;

сертификат о прохождении обучения.

В результате обучения вы

будете иметь представление об основных классах задач Инженера Данных, инструментах, предназначенных для их решения, а также их преимуществах и особенностях;

научитесь выстраивать пайплайны пакетной и потоковой обработки данных;

сможете проектировать хранилища данных и организовывать оптимальный доступ для потребителей;

Дата выдачи сертификата: 28 января 2022 года

Ваш сертификат

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Data Engineer»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Генеральный директор ООО “Отус Онлайн-Образование”
Виталий Чибриков

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Data Engineer»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Генеральный директор ООО “Отус Онлайн-Образование”
Виталий Чибриков

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

Прошедшие открытые вебинары

Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.

Демо-занятие «Загрузка источников данных с помощью StreamSets»

Егор Матешук

День открытых дверей

3 августа в 20:00

Для доступа к прошедшим мероприятиям необходимо пройти входное тестирование

Возможность пройти вступительное тестирование повторно появится только через 2 недели

Результаты тестирования будут отправлены вам на e-mail, указанный при регистрации.

Тест рассчитан на 30 минут, после начала тестирования отложить тестирование не получится!