Научись корректно развёртывать ML модели! Курс для всех, кто стремится освоить новые инструменты и заниматься интересными задачами в сфере работы с данными.

Длительность обучения:

4 месяца

4 ак. часа в нед.

Формат:

Online

Начало занятий:

26 февраля

Дни занятий:

Вт 20:00, Пт 20:00

Что даст вам этот курс

понимание ключевых способов интеграции, обработки, хранения больших данных

умение работать с компонентами экосистемы Hadoop, распределенными хранилищами и платформами

практические навыки разработки дата-сервисов, витрин и приложений

знание принципов организации мониторинга, оркестрации, тестирования

Курс адресован разработчикам, администраторам СУБД и всем, кто стремится повысить профессиональный уровень, освоить новые инструменты и заниматься интересными задачами в сфере работы с данными.

После обучения Data Engineering вы станете востребованным специалистом, который:

разворачивает, налаживает и оптимизирует инструменты обработки данных

адаптирует датасеты для дальнейшей работы и аналитики

создает сервисы, которые используют результаты обработки больших объемов данных

отвечает за архитектуру данных в компании

Real Case Studies: примеры внедрений, использования инструментов, оптимизации производительности, проблемы, ошибки и прикладные результаты

Высокая практическая направленность:

В течение курса будем инкрементально создавать работающий продукт, решая прикладные задачи

Целостная картина вызовов и задач современного бизнеса, и роли Инженера

Данных в их решении

Востребованность у работодателей

39 работодателей уже готовы позвать на собеседование выпускников курса

Инженер данных - почему это актуально и интересно:

Прежде чем попасть на стол CEO в виде квартального отчета или индивидуальной подборкой книг в email-рассылке, данные проделывают длительный и сложный, полный преобразований и трансформаций, путь, требующий непрерывного мониторинга и оркестрации.

В этом ключе команда инженеров, которая готова обеспечить непрерывную поставку достоверной информации для всех бизнес-потребителей и функций играет важнейшую роль в принятии тактических и стратегических решений всей компании.

Работа инженеров данных, внешне незаметная, удивительно сложна и интересна по своей специфике. Невероятное количество закономерностей и связей, инструментов и подходов, параметров и настроек не оставят равнодушным ни один пытливый ум в поисках оптимальных и элегантных решений.

Карта курсов направления Data Science в OTUS

Преподаватели

Егор Матешук

CDO AdTech-компании Квант

Василий Сушко

ПАО Сбербанк

Артем Гогин

Артемий Козырь

Senior Data Engineer, Wheely

Михаил Юрченков

АО "Максимателеком", Lead Data Engineer

Вадим Заигрин

Software Engineering Team Lead, Teradata

Владимир Дроздецкий

Разработчик инфраструктуры exposcan.ru, crispmessenger.com

Последние 6 лет работает с большими данными: строит системы для обработки данных, консультирует по вопросам построения аналитических решений.

До 2018 года руководил отделом инфраструктуры данных в Ostrovok.ru. Затем занимал аналогичную позицию в MaximaTelecom (один из проектов компании - публичная сеть Wi-Fi в метро Москвы). На данный момент является CDO AdTech-компании Квант.
Большой опыт работы с сервисами Hadoop (HDFS, Hive, Impala), оркестраторами (Airflow, Oozie), MPP-базами (Vertica, Kudu, Greenplum) и различными фреймворками для обработки данных (Spark, Flink).

Образование: МФТИ, факультет инноваций и высоких технологий по специальности прикладная математика и физика.

Преподаватель

Главный инженер, Сбербанк

7 лет опыта промышленной разработки, в том числе создания и поддержания веб-приложений как в крупных компаниях так и в стартапах. 3 года разработки распределенных систем для крупных государственных заказчиков. Реализовал три проекта с “чистого листа”, от прототипа до готового к промышленной эксплуатации.

В данное время занимается full-stack разработкой для внутренних заказчиков в банке, решает задачи связанные с анализом и инженерией данных.

Опыт программирования на Java, Scala, Python, Javascript.

Широкий круг профессиональных интересов, начиная от построения распределенных систем, заканчивая предиктивной аналитикой и анализом намерений.

Образование: бакалавриат УрФУ им. Б.Н. Ельцина “Информационные технологии”.

Преподаватель

В данный момент я являюсь руководителем направления в Сбербанке. Наша команда занимается большими данными и реализует проекты в хранилище данных Сбербанка. До Сбербанка я работал в МегаФоне, где тоже занимался построением и развитием хранилища данных. Являюсь экспертом в области архитектуры хранилищ данных, загрузки данных в хранилища, подготовки больших данных для анализа и использования данных для увеличения бизнес эффективности как в пакетном режиме, так и в режиме близком к реальному времени.
Образование: РЭУ им. Плеханова, Информационная безопасность

Преподаватель

Более 5-ти лет опыта работы с Хранилищами Данных, построении ETL/ELT, Аналитике данных и Визуализации.
Опыт работы над продуктами в компаниях PwC, Московская Биржа, Сбербанк, СИБУР, Wheely.
Сферы интересов: KPIs and Scorecards / Budgeting and Planning / Retail Scoring / Next Best Offer / Reporting.

Верю в то, что данные – это ключевой элемент в принятии обоснованных и разумных бизнес-решений. Люблю находить простые решения для сложных задач. Не люблю повторять одни и те же ошибки, но с удовольствием приветствую новый опыт.

Образование: НИУ ВШЭ, факультет бизнес-информатики.

Преподаватель

Окончил Факультет Компьютерных Наук НИУ ВШЭ. Занимается разработкой ПО с 2015 года.
Начинал в качестве разработчика Веб-сервисов на Ruby on Rails, позже занялся разработкой микросервисов на Scala (Spray, Akka). Сейчас занимается разработкой систем телеметрических больших данных в режиме реального времени.

Интересы: Scala, Haskell, высоконагруженные сервисы, обработка больших объемов данных.

Преподаватель

Последние несколько лет работаю с большими данными как разработчик, Data Engineer и Data Scientist. Проекты в банках, телеком и розничных компаниях. Опыт работы с Hadoop (Cloudera, Hortonworks), MPP-системами (Teradata, Vertica), фреймворком Spark и Google Cloud Platform. Большой опыт в IT-инфраструктуре. Поработав и как Data Scientist, и как Data Engineer, понимаю, что без Data Engineer'а Data Scientist'у делать нечего.
Образование: МИЭМ, специальность: прикладная математика.

Otus Certified Educator

Преподаватель

Занимается поддержкой и траблшутингом серверов MySQL, приложений, написанных на PHP, etc. Активно внедряет и использует докер со всей его инфраструктурой. Придерживается мнения, что всё должно быть декларативно описано, поэтому использует Ansible.

Разрабатывает и настраивает инфраструктуру для таких стартапов, как exposcan.ru, crispmessenger.com. Занимается мониторингом при помощи Zabbix и Prometheus, создаёт графики в Grafana.

Чтобы легко подстраиваться под требования бизнеса, деплоит и описывает процессы в Gitlab, собирает и обрабатывает логи в ELK и Graylog2. Любит и умеет пользоваться активным сетевым оборудованием вендора MikroTik.

Егор
Матешук

Василий
Сушко

Артем
Гогин

Артемий
Козырь

Михаил
Юрченков

Вадим
Заигрин

Владимир
Дроздецкий

Преподаватели

Егор Матешук

CDO AdTech-компании Квант

Василий Сушко

ПАО Сбербанк

Артем Гогин

Артемий Козырь

Senior Data Engineer, Wheely

Михаил Юрченков

АО "Максимателеком", Lead Data Engineer

Вадим Заигрин

Software Engineering Team Lead, Teradata

Владимир Дроздецкий

Разработчик инфраструктуры exposcan.ru, crispmessenger.com

Отзывы

Сергей
Баранов

Курс более, чем понравился и удачно оказался "стопроцентно в руку".

- Курс значительно отодвинул наметившиеся ограничения в области архитектурных решений по работе с данными для нашей компании.
- Практически каждый (ровно каждый) вебинар курса дал мне варианты решений различных реальных проблем в реальных кейзах по работе.
- Корпус приобретённых практических навыков позволил реализовать эти решения как минимум на уровне работающих прототипов.
- Хочу отметить также серьёзный уровень владения и подачи теории, и погружённости в реальную практику преподавателей курса.

Рекомендую всем как для расширения архитектурного горизонта, так и для приобретения практических навыков работы с заявленным в программе инструментарием.

Читать целиком

Вадим
Заигрин

Очень полезный курс для инженеров данных. Широкий охват тем, глубокая проработка материала. Даже по темам, с которыми ты работаешь пару лет, узнаешь что-то новое.
Из недостатков можно отметить некоторую несогласованность между преподавателями. Например, один говорит, что системы визуального проектирования неудобны, а второй, что с их помощью можно делать то, что нужно.
Ещё хорошо бы оптимизировать последовательность тем. Теорию потоковой обработки лучше давать до практической работы со Spark Streaming.

Читать целиком

Андрей
Гореликов

1 До обучения я работал веб разработчиком джава и до поступления на курс поступил на должность разработчика хранилища, но на работе была маленькая команда и чтоб лучше освоить профессию поступил на курсы дата инженера в Отус.
2 Выбрал курс Дата инженера так как интересна эта специализация
3 В обучении понравлся актуальный материал и как преподователи вели обучение- много рабочих кейсов, быстрая проверка домашних работ и рекомендации как улучшить и тд. У меня как и многих были сложности с докером.
4 Обучение мне дало более широкие и глубокие знания по специальности с которыми я нашел новую работу, на собеседованиях уже мог обсуждать детали специальности, используемые технологии и тд. Касаемо работы я получил несколько оферов и одним из них воспользовался, можно сказать в ведущий банк и офис мечты ))
Понравился выпускной проект, было много консультаций и после во время защиты было много рекомендаций!!

Читать целиком

Юрий
Шилин

Всем привет!
Очень крутой курс, но входной уровень знаний (linux, db, sql) нужно уже иметь.
А лучше с этим ежедневно работать, тогда данный курс будет не просто курсом, а открытие новых возможностей в профессиональной деятельности.

Читать целиком

Анатолий
Клюса

Хороший курс, несмотря на то, что молодой)
Хорошо подобран материал и домашние задания, хорошие преподаватели, нормально все организовано.
Самое главное, что, как я понял, и курс и Отус постоянно развиваются и усовершенствуются.
Мне лично было очень интересно учиться в Отусе на этом курсе, узнать много новых для меня инструментов и технологий, которые сейчас на потоке и в тренде, и попробовать их в деле.
Однозначно курс рекомендую тем, кто любит работать с данными и хочет приобщиться к современной цифровой нефти - к большим данным.

Читать целиком

Игорь
Бричко

Курс достаточно обширный по изучаемым технологиям, много практической части и реальных примеров. Хочу отметить высокую квалификацию преподавателей и уровень владения и преподавания метериалов.

Что можно улучшить.
- скорость отклика на личные сообщения и проверку ДЗ
- добавить разбор ДЗ на примере лучшей работы
- больше внимания уделить streaming процессам( этотлично мое пожелание ?)
- больше ссылок на мануалы и кейсы по технологиям

Спасибо большое за курс, продолжайте в том же направлении!

Читать целиком

Алексей
Стариков

Хороший курс.

Дает общее представление об инструментах и подходах, которые используются в работе с данными.

Курс будет очень полезен начинающим инженерам данных и тем, кто хочет начать работать по данной специальности. Те, кто уже имеет некоторый опыт, смогут сконцентрироваться на интересных для них кейсах в рамках дз и финального проекта и получить более широкое представление о сфере деятельности.

Что получилось хорошо:
- отличные преподаватели
- полезные интересные лекции

Что можно улучшить:
- лекции по devops получились слишком обзорными без конкретных кейсов и практики (стоит добавить конкретные примеры и дз)
- долгий фидбек по домашкам и быстрая их приемка в конце курса (стоит ускорить проверку дз и делать, ревью более требовательным с учетом предоставление времени на исправление замечаний, конечно)

Читать целиком

Сергей
Бордя

До обучения в Otus я закончил мастерат по Data Science и год проработал как Junior Data Engineer.
Я хотел расширить свои знания в сфере Data Engineering.
Мне нравится большое количество технологий, обсуждаемых в курсе. Некоторые уроки показались сложными, в домашних заданиях выскакивали ошибки. Без определённого бэкграунда тяжело разобраться с проблемами и качественно сделать домашнее задание. Было бы хорошо иметь какой-то майндмэп, где было бы показано какую технологию стоит выбрать в зависимости от определённых задач с плюсами и минусами.
Обучение расширило мои теоретические знания в данной области и понимания, какие технологии больше подходят для решения определённых задач.

Читать целиком

Владимир
Крокодилов

Понравилось количество обозримых инструментов (может даже перебор). Сами преподаватели были прекрасны. Возможно Андрею стоит чуть больше показывать что-то руками (обычно на его лекциях были слайды с рассказами, без "тыкания" в приложения), но даже там всё, что было сказано, было по делу. Возможно стоит добавить блок по работе с докером (как делать docker-compose), т.к. это предлагается делать в проектной работе, но подразумевается, что мы умеем или научимся самостоятельно. В блоке devops тоже хотелось бы больше материала (там было больше обсуждения концепций, чем конкретных инструментов и как с ними работать).
Проверка домашек была очень долгая. Нет, я не говорю о самих ответах (почти все комментарии были по делу). Но сроки, за которые делались проверки не лезут не в какие рамки. Люди платят деньги, а ответа можно ждать неделями. По-моему, это неуважительно по отношению к заказчику. Если говорить о самих домашках, то всё было довольно интересно. Часть сам тыкаешь, пересматриваешь лекции, часть в инструкциях. Прикольно
Это не первый мой курс и я понимал, что меня ждёт качественный продукт. Ожидания оправдались. Спасибо!

Читать целиком

Дмитрий
Андреев

На курс Data Engineering пошёл уже после прохождения курса Data Science (тоже в ОТУСе) т.к. в момент прохождения DS поймал себя на мысли, что какие бы модели ты ни выбрал и как бы ни тюнил модель - очень многое зависит от правильного сбора и предобработки данных. Курс DE дал мне всю необходимую базу по современным программам и подходам, необходимым для сбора, обработки и хранения данных. В общем и целом курс оставил крайне положительные впечатления! Было интересно и слушать лекции, и выполнять ДЗ. Они были вполне по силам, но при этом не возникало частых мыслей, что всё дается слишком легко - на мой взгляд идеальный баланс. А благодаря выполненному последнему ДЗ так и вовсе получилось сменить работу на +40% к ЗП. Работа правда не связана напрямую с DE, но эта ситуация для меня в очередной раз доказала, что под лежачий камень водичка не течёт и учиться в нашей сфере необходимо всегда, хуже от этого ещё никому не становилось!

Из минусов могу отметить периодические задержки с проверкой ДЗ и ответами в слаке. Не сказать, что эти моменты сильно помешали, просто это могло бы быть чуточку лучше ;)

Коллеги писали или говорили, что по DevOps'у мало информации - не могу с эти согласиться т.к. DevOps - это отдельная песня, по ней даже курс на несколько месяцев имеется. А вот добавить в самое начало курса занятие по Docker, вокруг которого крутится половина ДЗ и примеров, было бы абсолютно не лишним.

По итогу могу с полной уверенностью сказать, что курс стоит и своих денег, и затраченного времени!

Читать целиком

Юрий
Недилько

Этот курс уже второй который я проходил в Отусе. Первым был отличный курс "Разработчик на Spring Framework" и мне есть с чем сравнивать. В целом материала много, есть ДЗ которые помогают углубится в тему. Но конечно и недостатки присутствуют. Для начинающих самая большая проблема онлайн-курсов в том что когда Вы например впервые садитесь на велосипед максимум что Вы можете спросить это в какую сторону крутить педали. Вопросы которые появляются по ходу погружения в тему уже задавать некому потому-что никто не отвечает кроме самих студентов в чате. А там гляди и курс закончился. Преподаватели которые читают лекции очень квалифицированные, жаль что не отвечают на вопросы в слаке. По материалам курса также недостаточно раскрыта тема запуска spark приложения на кластере Hadoop. В целом конечно курс был полезен, следует признать - на сегодняшний день конкурентов у Отуса нет.

Читать целиком

Мария
Морозова

До обучения в Otus на курсе дата-инженер я более 10 лет работала разработчиком различных систем, в основном специализируясь на реляционных БД, анализе данных и обеспечении качества данных.
Имея за плечами сданный экзамен по Big Data (openedu.ru), успешно законченный mlcourse, появилось осознание, что хочется расширить список инструментов для работы с данными,
а также добиться некоей "структурированности" знаний в инженерии данных, т.к. инструментов появилось довольно много, и не всегда понятно, когда и какой лучше использовать.

Посетив ознакомительный вебинар на OTUS, было принято решение поучаствовать в данном мероприятии.
На курсе есть возможность на учебных примерах запустить стримминг данных через kafka, поюзать in-memory бд, написать какой-нибудь сервис, запустить RDD на Spark, сравнить инструменты мониторинга, выбирать тип DWH, рассмотреть реальные кейсы использования инструментов, получить дельные советы от преподавателей.

В обучении на OTUS мне понравилось, что программа курса современная, преподаватели актуализируют программу, а также подстраиваются под пожелания учеников "на ходу". Например, в моем запуске было выражено пожелание, чтобы показали, как деплоить ML-модели в production "по-правильному" и это пожелание было удовлетворено.

От этого курса я получила все, что хотела: практические навыки использования современных инструментов работы с данными, понимание, когда и какие инструменты лучше применять, как деплоить, оркестрировать, мониторить, а самое главное, наверное - это как разрабатывать архитектурные решения.

Думаю, что спрос на дата-инженеров будет расти, т.к. данных становится все больше, также как и инструментов для работы с ними.

Читать целиком

Дмитрий
Габидуллин

Хороший курс, понравился.
До обучения ранее работал с экосистемой hadoop, но хотелось систематизировать знания, подходы, инструменты в области DE. Выбор пал на этот курс и не прогадал.
Что понравилось:
- состав и уровень преподавателей. Не скучные лекции, очень доходчиво доносят материал.
- общение в slack чате, обсуждение практических заданий. Можно было даже обсудить вопросы не относящиеся к материалам курса, а возникающие в ходе повседневной работы.
- уровень домашних заданий и выпускного проекта позволяет сформировать портфолио для указания в резюме.
Из доработок по курсу, было бы здорово:
- больше практической части от devOps тем на курсе
- продвинутых тем в Apache Spark

Читать целиком

Михаил
Сеткин

На момент начала курса я уже в течение примерно трех лет развивал решение Data Lake в своей компании в качестве владельца платформы. О курсе я узнал из контекстной рекламы, наверное это не случайно, т. к. в поисковых движках я часто ищу информацию, пересекающуюся с тематикой курса. Обычно я сохраняю понравившиеся аналогичные ссылки, чтобы в будущем рекомендовать их коллегам, но в этом случае тема курса настолько тесно пересекалась с тем, чем я занимаюсь, что мне захотелось, во-первых, прежде чем рекомендовать это кому-то, составить личное мнение о курсе, во-вторых, почерпнуть новые идеи для развития нашей платформы, и в третьих, расширить личный кругозор по отдельным инструментам.
По итогам курса могу сказать, что мне понравилась практическая направленность занятий, т. к. после большинства тем даются домашние задания, которые имеют множество возможных решений, и чтобы успешно их сдать, надо включать голову и вспоминать, что проходили на уроках, что способствует запоминанию материала. Сдача «домашек» также реализует канал быстрой обратной связи, благодаря которой улучшается кругозор по пройденной теме. Также хочу отметить преподавательский состав, приглашенные эксперты выложились в моем понимании на отлично.
По итогам обучения я получил подтверждение о правильности некоторых гипотез по используемому в компании стеку технологий, а также углубил знания по отдельным инструментам обработки данных. Отдельные презентации разобрал на слайды и обсуждал их с коллегами, конвертируя полученные знания в бэклог команды.
С уверенностью могу сказать, что мои ожидания относительно курса оправдались, за что хочу сказать авторам курса большое спасибо.

Читать целиком

Сергей
Грибков

Целью моего обучения на курсе было освоить технологии Big Data в целом и экосистему Hadoop в частности, и с уверенностью могу сказать что мне это удалось. Курс очень разнообразный, разбирается множество используемых в Big Data инструментов и технологий, а также вопросы архитектуры, дается комплексное представление о предметной области. Конечно, отдельные темы освещаются довольно бегло, но это мотивирует разобраться самому. Для обучения желателен определенный опыт, но понимая принципы работы БД, ООП и общие требования к обработке данных, можно в довольно сжатые сроки освоить технологии Big Data и применять их на практике.
Также хочу отметить, что занятия проводятся в "прямом эфире", что сейчас встречается все реже. Это способствует более быстрому усвоению материала и обеспечивает планомерное его изучение.
По самой структуре курса могу предложить заменить отдельные "проходные" темы, например, Jupyter Notebook на Docker.

Читать целиком

Алексей
Чуб

Безусловно, полезный курс. Надо, однако, понимать, что это не курс общего назначения, как я думал до его прохождения. Это курс именно по этой специальности - инженер данных. В старой терминологии это близко к разработчикам баз данных, так называемым "ораклистам" и т.п. Для бэкенд-разработчиков (java и др.) он может быть полезен для общего развития, но это в общем-то другая специальность. Что понравилось - ширина охвата, крутые преподаватели, особенно Егор Матешук. Что не понравилось - некоторое отсутствие общей идеи, общего плана курса. Каждый преподаватель ведет свои темы как бы независимо от других. От этого общий результат, думаю, получается хуже, чем он мог бы быть, если бы изначально лекции и домашние задания как бы продолжали друг друга в разных темах. Например, все домашки были бы в однородном окружении. Полезно также было бы больше времени на лекциях уделять объяснению того, что надо сделать в д/з. Еще не особенно понравилось качество проверки домашек, сложилось впечатление, что преподаватель засчитывает их, почти не глядя.

Читать целиком

Руслан
Ксалов

Курс полностью оправдал возложенные на него надежды. Я получил достаточно знаний и практического опыта, чтобы начать самостоятельный путь в профессии Data Engineer. Большое спасибо всем преподавателям, но особенно хочу отметить Артемия Козыря, Егора Матешука и Дмитрия Музалевского.

Читать целиком

Сергей
Баранов

Читать целиком

Вадим
Заигрин

Читать целиком

Андрей
Гореликов

Читать целиком

Юрий
Шилин

Читать целиком

Анатолий
Клюса

Читать целиком

Игорь
Бричко

Читать целиком

Алексей
Стариков

Читать целиком

Сергей
Бордя

Читать целиком

Владимир
Крокодилов

Читать целиком

Дмитрий
Андреев

Читать целиком

Юрий
Недилько

Читать целиком

Мария
Морозова

Читать целиком

Дмитрий
Габидуллин

Читать целиком

Михаил
Сеткин

Читать целиком

Сергей
Грибков

Читать целиком

Алексей
Чуб

Читать целиком

Руслан
Ксалов

Читать целиком

Необходимые знания

Необходимое:

Опыт разработки на Java/Python
Основы работы с БД: SQL, индексы, агрегирующие функции
Базовые знания ОС: работа с командной строкой, доступ по SSH

Навыки программирования на Scala
Знакомство с компонентами экосистемы Hadoop
Понимание основ машинного обучения с позиции Data Scienist-а или аналитика

Подготовительный курс

Курс рассчитан для программистов и администраторов, которые хотят освоить ОС Linux с нуля.

На курсе мы:

детально разберем основные команды в Linux и научимся работать в консоли

познакомимся с зомби, сиротами и демонами

выясним, что такое ядро операционной системы и системные вызовы

научимся работать со стандартными потоками ввода/вывода

разберем некоторые особенности файловой системы ext4

Записаться

Корпоративное обучение для ваших сотрудников

Поможем вашей компании развивать команду! Этот и еще 60+ курсов для IT-специалистов таких направлений, как: программирование, тестирование, администрирование, информационная безопасность, управление и Data Science. 300 компаний уже обучают у нас сотрудников.

Подробнее

Получить план обучения для сотрудников

Нажимая кнопку, я принимаю условия Политики конфидециальности

Мы обещаем не присылать вам спам

Спасибо!

Мы получили Вашу заявку, в ближайшее время с Вами свяжется наш менеджер.

Программа обучения

В процессе обучения вы получите комплексные знания и навыки.

Модуль 1 Инженер Данных: задачи, инструменты, платформы

Тема 1. Инженер Данных. Задачи, навыки, инструменты, потребности на рынке

Тема 2. Эволюция подходов работы с данными. Базовые принципы и понятия

Тема 3. Облачные платформы. Дистрибутивы Cloudera и Hortonworks

Тема 4. Распределенные файловые системы

Тема 5. Форматы данных и их особенности

Модуль 2 Процессинг. Доступ к данным. ML

C 19 марта

Тема 6. Введение в Scala

Тема 7. Apache Spark - 1 часть

Тема 8. Apache Spark - 2 часть

Тема 9. Очереди сообщений, Kafka, Confluent platform

Тема 10. Spark Streaming

Тема 11. Доступ к данным, ноутбуки. Explore and visualize

Модуль 3 Развертывание ML-моделей

C 9 апреля

Тема 12. Production Code на Python. Организация и Packaging кода

Тема 13. Docker и REST-архитектура

Тема 14. Деплоймент моделей в Sagemaker

Модуль 4 Очереди сообщений. Хранилища данных. SQL-доступ.

C 20 апреля

Тема 15. Инструменты выгрузки данных из сторонних систем

Тема 16. DWH. Хранилища данных - 1 часть

Тема 17. DWH. Хранилища данных - 2 часть

Тема 18. Хранилища NoSQL. Назначение и особенности

Тема 19. Практика по NoSQL

Тема 20. SQL-доступ к данным. Apache Hive

Тема 21. ElasticSearch

Тема 22. Практика по ElasticSearch

Модуль 5 Обеспечивающие системы. Оркестрация, тестирование, мониторинг

C 25 мая

Тема 23. Интеграция, тестирование, развертывание. CI / CD в ML

Тема 24. Оркестрация

Тема 25. Мониторинг

Тема 26. Data Quality. Контроль качества данных, мастер-данные, Troubleshooting

Модуль 6 Проектная работа

C 8 июня

Тема 27. Выбор темы и организация проектной работы

Тема 28. Консультация по проектам и домашним заданиям

Тема 29. Защита проектных работ

Скачать подробную программу

Получить подробную программу обучения

Нажимая кнопку, я принимаю условия Политики конфидециальности

Мы обещаем не присылать вам спам

Получить подробную программу обучения

Скачать подробную программу

Выпускной проект

Выпускной проект: реализация задачи по выбранной тематике в реальном времени с применением парадигмы Map-Reduce кластере в виде pipeline (Kafka, Spark, Hadoop экосистема) и визуализация результатов.

Список возможных тем проектов будет предложен. Также можно взять задачу "с работы" или близкого себе проекта.

Процесс обучения

Обучение проходит в формате онлайн-вебинаров на русском языке.
Регулярность занятий: 2 раза в неделю по 2 академических часа (1.5 астрономических часа).

Каждые 2 недели предполагается выполнение 1 домашнего задания (время на выполнение: 2-4 академических часа). По всем практическим заданиям команда преподавателей дает развернутый фидбек.

Для прохождения курса потребуется компьютер с доступом в интернет и аккаунт на облаке (Google Cloud) с неиспользованной Free Trial версией.

Получить консультацию

Наш специалист свяжется с вами в ближайшее время. Если у вас возникли трудности в выборе курса или проблемы технического плана, то мы с радостью поможем вам.

Я принимаю условия Политики конфиденциальности и Пользовательского соглашения

Спасибо!

Мы получили Вашу заявку, в ближайшее время с Вами свяжется наш менеджер.

После обучения вы

Заберете с собой:

основные и дополнительные материалы, и видеозаписи занятий;

образцы кода;

собственный проект, который можно будет показывать при трудоустройстве;

сертификат о прохождении обучения.

В результате обучения вы

будете иметь представление об основных классах задач Инженера Данных, инструментах, предназначенных для их решения, а также их преимуществах и особенностях;

научитесь выстраивать пайплайны пакетной и потоковой обработки данных;

сможете проектировать хранилища данных и организовывать оптимальный доступ для потребителей;

получите ряд полезных навыков: умение грамотно составлять CV, проходить интервью, выстраивать совместную работу с коллегами

Дата выдачи сертификата: 24 июля 2021 года

Ваш сертификат

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Data Engineer»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Генеральный директор ООО “Отус Онлайн-Образование”
Виталий Чибриков

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Data Engineer»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Генеральный директор ООО “Отус Онлайн-Образование”
Виталий Чибриков

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

Прошедшие открытые вебинары

Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.

MPP-базы данных

Михаил Юрченков

День открытых дверей

2 февраля в 20:00

Для доступа к прошедшим мероприятиям необходимо пройти входное тестирование

Возможность пройти вступительное тестирование повторно появится только через 2 недели

Результаты тестирования будут отправлены вам на e-mail, указанный при регистрации.

Тест рассчитан на 30 минут, после начала тестирования отложить тестирование не получится!

Партнеры ждут выпускников этого курса

ПАО КБ «Восточный»

Утконос

Wildberries