Apache Kafka | OTUS
Рассрочка
Рассрочка
Apache Kafka

Практика по работе с Kafka для инженеров данных и разработчиков

Длительность обучения:

3 месяца

4 ак. часа в нед.

Формат:

Online

Начало занятий:

28 апреля

Дни занятий:

Пн 20:00, Пт 20:00

Что даст вам этот курс
Kafka — это сервис, позволяющий в реальном времени и с высокой пропускной способностью передавать сообщения между различными системами. Его используют для различных целей — передача данных в хранилище, потоковая аналитика, взаимодействие между сервисами и т. д.

Если вы хотите работать в проектах обработки больших данных или проектах построения микросервисной архитектуры, то вам будет полезно освоить эту технологию. На курсе мы будем на практике решать рабочие задачи, связанный с Kafka, разберем проблемы, с которыми чаще всего сталкиваются разработчики и инженеры данных при работе с сервисом. Также вы научитесь разрабатывать комплексные системы обработки данных.


Для кого этот курс?

  • Разработчики, которые хотят научиться грамотно организовать работу микросервисов и повысить общую надежность системы;
  • Инженеры данных, которые хотят научиться строить комплексные системы обработки данных;
  • DevOps, SRE Engineer, архитекторы, которые хотят использовать всю мощь Kafka в работе.

После обучения вы сможете:

  • Развернуть Kafka;
  • Настроить брокеры и темы;
  • Использовать базовые API;
  • Разрабатывать программы на высокоуровневых фреймворках Kafka Streams, Spring, Akka;
  • Интегрировать Kafka с другими системами;
  • Настроить мониторинг и безопасность (аутентификация, авторизация).

Дополнительно на курсе вы:

  • Познакомитесь с работой с топиками на SQL (ksqlDB);
  • Научитесь работать со Schema Registry;
  • Познакомитесь с REST API для работы с Kafka.
KRaft: новый контроллер Kafka на основе Raft, 31 марта в 20:00
На открытом вебинаре курса вы узнаете, что не так с Zookeeper, что такое KRaft, и особенности работы Kafka с KRaft.

Урок подойдет разработчикам и it-архитекторам.
В результате урока вы поймете, в каких случаях стоит применять Zookeeper, а в каких - только KRaft.
Ведет
Вадим
Заигрин
Предыдущий открытый вебинар
Работа с Apache Kafka в приложениях на Spring Boot, 13 апреля в 20:00
На этом открытом уроке курса рассмотрим, как в приложениях на Spring Boot можно работать с Kafka. Узнаем, что предоставляет платформа Spring для ускоренной разработки приложений, работающих с Kafka. Посмотрим, какие есть настройки, как это все конфигурируется. Проведем границу между «родным функционалом» Kafka API и «добавками» от Spring Boot.

Вебинар будет интересен разработчикам, знакомым со Spring Boot, и которым интересно, как работать с Kafka.
Сергей
Петрелевич
Предыдущий открытый вебинар

Преподаватели

Вадим Заигрин
Ведущий эксперт по технологиям, Сбербанк
Василий Сушко
ПАО Сбербанк
Вадим Опольский
Сертифицированный консультант в сфере Big Data и опытом в IT более 15 лет.
Александра Чащина
Евгений Непомнящий
Разработчик в IT-Sense
Михаил Кузнецов
Fullstack developer и тимлид в Zalando, Germany
Последние несколько лет работаю с большими данными как разработчик, Data Engineer и Data Scientist. Проекты в банках, телеком и розничных компаниях. Опыт работы с Hadoop (Cloudera, Hortonworks), MPP-системами (Teradata, Vertica), фреймворком Spark и Google Cloud Platform. Большой опыт в IT-инфраструктуре. Поработав и как Data Scientist, и как Data Engineer, понимаю, что без Data Engineer'а Data Scientist'у делать нечего.

Место работы: Сбербанк. Управление развития Корпоративной аналитической платформы. Ведущий эксперт по технологиям.

Образование: МИЭМ, специальность: прикладная математика.

Otus Certified Educator

Руководитель программы
ПАО Сбербанк
Руководитель направления, Сбербанк

10+ лет опыта промышленной разработки, в том числе создания и поддержания веб-приложений как в крупных компаниях так и в стартапах. 3 года разработки распределенных систем для крупных государственных заказчиков. Реализовал множество высоконагруженных и успешных проектов с “чистого листа”.

В данное время занимается full-stack разработкой для внутренних заказчиков в банке, решает задачи связанные с анализом и инженерией данных.

Опыт программирования на Java, Scala, Python, Javascript.

Широкий круг профессиональных интересов, из которых основные - построение распределенных систем и высоконагруженных сервисов.

Образование: бакалавриат УрФУ им. Б.Н. Ельцина “Информационные технологии”.

Преподаватель
Участвовал в IT проектах таких компаний как Toyota, Gazprom, GridGain, HSBC Bank, Deutsche Bank, Russian Post.
Общий поток данных, приходящих в реальном времени, более 700 млн. событий в сутки.

Некоторые из главных достижений:
- в 2022 году вошел в 10 лучших спикеров HighLoad ++
- участвовал в разработке пилота, в который FaceBook инвестировал 1 500 000 $
- окончил оффлан курс Scala в Тинькофф банке и был среди десяти лучших студентов
- получил сертификат Big Data от mail.ru в 2019 году
- контрибъютор Apache Ignite
- занимал призовые места на международном хакатоне Mercedes Benz Fashion Week и в конференции молодых ученых и специалистов
Увлекается спортивным ориентированием и может пробежать больше 45 км за 8 часов.

Сертификаты:
Datastax Cassandra Developer
Kafka Confluent Developer
Databrics Spark Developer

Выпускница магистерской программы “Informatique pour la Science de Données (Big Data)” университета Париж-Сакле.

С 2018 года специализируется на больших данных. Участвует в проектах разработки аналитических платформ данных, а также платформ обработки данных в режиме реального времени на 10000+ пользователей. Имеет сертификаты Databricks Spark&Scala и RedHat DevOps. В настоящее время работает со стриминговой обработкой (Kafka), а также внедряет практики DataOps (Gitlab CI/CD, Kubernetes, Liquibase, Airflow).

Преподаватель
C++ и Java разработчик.
В отрасли с 2006 года. Долгое время занимался разработкой под микроконтроллеры на С++, последние 3 года увлекся Java.

Компании: Топаз-сервис, Мвм

Сдал экзамен Oracle по Java: Oracle Certified Professional

Преподаватель
Fullstack developer и тимлид в компании Zalando, Germany. Проектирует и поддерживает процессы WEB-разработки. Окончил химфак МГУ.

Опыт в разработке - более 10 лет. Консультировал по разработке, занимался популяризацией фронтенд-фреймворка Vue и SvelteJS.

Кроме JavaScript, имеет опыт разработки на Python и Java. С 2017 года выступал на множестве конференций, включая Frontend Conf Moscow, JSNation, Vue conference и др.

Преподаватель
Вадим
Заигрин
Василий
Сушко
Вадим
Опольский
Александра
Чащина
Евгений
Непомнящий
Михаил
Кузнецов

Преподаватели

Вадим Заигрин
Ведущий эксперт по технологиям, Сбербанк
Последние несколько лет работаю с большими данными как разработчик, Data Engineer и Data Scientist. Проекты в банках, телеком и розничных компаниях. Опыт работы с Hadoop (Cloudera, Hortonworks), MPP-системами (Teradata, Vertica), фреймворком Spark и Google Cloud Platform. Большой опыт в IT-инфраструктуре. Поработав и как Data Scientist, и как Data Engineer, понимаю, что без Data Engineer'а Data Scientist'у делать нечего.

Место работы: Сбербанк. Управление развития Корпоративной аналитической платформы. Ведущий эксперт по технологиям.

Образование: МИЭМ, специальность: прикладная математика.

Otus Certified Educator

Руководитель программы
Василий Сушко
ПАО Сбербанк
ПАО Сбербанк
Руководитель направления, Сбербанк

10+ лет опыта промышленной разработки, в том числе создания и поддержания веб-приложений как в крупных компаниях так и в стартапах. 3 года разработки распределенных систем для крупных государственных заказчиков. Реализовал множество высоконагруженных и успешных проектов с “чистого листа”.

В данное время занимается full-stack разработкой для внутренних заказчиков в банке, решает задачи связанные с анализом и инженерией данных.

Опыт программирования на Java, Scala, Python, Javascript.

Широкий круг профессиональных интересов, из которых основные - построение распределенных систем и высоконагруженных сервисов.

Образование: бакалавриат УрФУ им. Б.Н. Ельцина “Информационные технологии”.

Преподаватель
Вадим Опольский
Сертифицированный консультант в сфере Big Data и опытом в IT более 15 лет.
Участвовал в IT проектах таких компаний как Toyota, Gazprom, GridGain, HSBC Bank, Deutsche Bank, Russian Post.
Общий поток данных, приходящих в реальном времени, более 700 млн. событий в сутки.

Некоторые из главных достижений:
- в 2022 году вошел в 10 лучших спикеров HighLoad ++
- участвовал в разработке пилота, в который FaceBook инвестировал 1 500 000 $
- окончил оффлан курс Scala в Тинькофф банке и был среди десяти лучших студентов
- получил сертификат Big Data от mail.ru в 2019 году
- контрибъютор Apache Ignite
- занимал призовые места на международном хакатоне Mercedes Benz Fashion Week и в конференции молодых ученых и специалистов
Увлекается спортивным ориентированием и может пробежать больше 45 км за 8 часов.

Сертификаты:
Datastax Cassandra Developer
Kafka Confluent Developer
Databrics Spark Developer

Александра Чащина
Выпускница магистерской программы “Informatique pour la Science de Données (Big Data)” университета Париж-Сакле.

С 2018 года специализируется на больших данных. Участвует в проектах разработки аналитических платформ данных, а также платформ обработки данных в режиме реального времени на 10000+ пользователей. Имеет сертификаты Databricks Spark&Scala и RedHat DevOps. В настоящее время работает со стриминговой обработкой (Kafka), а также внедряет практики DataOps (Gitlab CI/CD, Kubernetes, Liquibase, Airflow).

Преподаватель
Евгений Непомнящий
Разработчик в IT-Sense
C++ и Java разработчик.
В отрасли с 2006 года. Долгое время занимался разработкой под микроконтроллеры на С++, последние 3 года увлекся Java.

Компании: Топаз-сервис, Мвм

Сдал экзамен Oracle по Java: Oracle Certified Professional

Преподаватель
Михаил Кузнецов
Fullstack developer и тимлид в Zalando, Germany
Fullstack developer и тимлид в компании Zalando, Germany. Проектирует и поддерживает процессы WEB-разработки. Окончил химфак МГУ.

Опыт в разработке - более 10 лет. Консультировал по разработке, занимался популяризацией фронтенд-фреймворка Vue и SvelteJS.

Кроме JavaScript, имеет опыт разработки на Python и Java. С 2017 года выступал на множестве конференций, включая Frontend Conf Moscow, JSNation, Vue conference и др.

Преподаватель

Необходимые знания

- Умение работать в командной строке Unix/Linux;
- Базовое знание Java или Scala
Корпоративное обучение для ваших сотрудников
>
Программа обучения
В процессе обучения вы получите комплексные знания и навыки.
C 28 апреля
Тема 1. Брокеры сообщений. История появления и развития. Решаемые задачи
Тема 2. Знакомство с Apache Kafka. Основные компоненты, варианты развертывания, экосистема, сценарии использования
C 12 мая
Тема 3. Установка и настройка кластера. Zookeeper. Kraft. Настройка брокеров
Тема 4. Операции с топиками. Партиции (разделы), репликации. Свойства топиков
Тема 5. Мониторинг кластера Kafka
Тема 6. Безопасность. Аутентификация, авторизация, списки управления доступом (ACL)
C 26 мая
Тема 7. Producer - отправка сообщений. Producer API
Тема 8. Consumer - чтение сообщений. Consumer API
Тема 9. Admin API
Тема 10. Транзакции
C 9 июня
Тема 11. Kafka Streams
Тема 12. Akka Streams. Alpakka Kafka
Тема 13. ZIO Streams. ZIO Kafka
Тема 14. Spring Cloud Data Flow
C 26 июня
Тема 15. Kafka Connect
Тема 16. ksqlDB
Тема 17. Schema Registry
Тема 18. Confluent REST APIs
C 10 июля
Тема 19. Выбор темы и организация проектной работы
Тема 20. Консультация по проектам и домашним заданиям
Тема 21. Защита проектных работ. Подведение итогов курса
Скачать подробную программу
Выпускной проект
Последний месяц отводится для проектной работы, которая станет частью вашего портфолио. В проектной работе студент должен реализовать различные системы, в центре которых находится Kafka.

Процесс обучения

Все обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в Slack, сдача домашних работ и получение обратной связи от преподавателя.


Вас ждут:

Интерактивные вебинары
Два занятия по два академических часа в неделю

Практика
Интересные домашние задания с обратной связью от преподавателя и выпускной проект, который станет частью портфолио

Активное комьюнити
Общайтесь с преподавателями голосом на вебинарах и в Slack группы

Получить консультацию
Наш специалист свяжется с вами в ближайшее время. Если у вас возникли трудности в выборе курса или проблемы технического плана, то мы с радостью поможем вам.
Спасибо!
Мы получили Вашу заявку, в ближайшее время с Вами свяжется наш менеджер.

После обучения вы


  • заберете с собой полный комплект обучающих материалов: видеозаписи всех вебинаров, презентации к занятиям и другие дополнительные материалы;

  • получите сертификат о прохождении курса;

  • получите все необходимые навыки для работы с Apache Kafka;

Дата выдачи сертификата: 18 августа 2023 года
Ваш сертификат

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Apache Kafka»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Директор департамента образования
ООО “Отус Онлайн-Образование”
Анна Фирсова

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Apache Kafka»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Директор департамента образования
ООО “Отус Онлайн-Образование”
Анна Фирсова

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.
Прошедшие открытые вебинары
Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.
Kafka против RabbitMQ Stream
Вадим Заигрин
Для доступа к прошедшим мероприятиям необходимо пройти входное тестирование
Возможность пройти вступительное тестирование повторно появится только через 2 недели
Результаты тестирования будут отправлены вам на email, указанный при регистрации.
Тест рассчитан на 30 минут, после начала тестирования отложить тестирование не получится!
Стоимость обучения
Cтоимость указана для оплаты физическими лицами
75 000 ₽
Продолжительность
3 месяца
Начало занятий
28 апреля