Рассрочка

Apache Kafka

Практика по работе с Kafka для инженеров данных и разработчиков

Длительность обучения:

3 месяца

4 ак. часа в нед.

Формат:

Online

Начало занятий:

28 апреля

Дни занятий:

Пн 20:00, Пт 20:00

Что даст вам этот курс

Kafka — это сервис, позволяющий в реальном времени и с высокой пропускной способностью передавать сообщения между различными системами. Его используют для различных целей — передача данных в хранилище, потоковая аналитика, взаимодействие между сервисами и т. д.

Если вы хотите работать в проектах обработки больших данных или проектах построения микросервисной архитектуры, то вам будет полезно освоить эту технологию. На курсе мы будем на практике решать рабочие задачи, связанный с Kafka, разберем проблемы, с которыми чаще всего сталкиваются разработчики и инженеры данных при работе с сервисом. Также вы научитесь разрабатывать комплексные системы обработки данных.

Для кого этот курс?

Разработчики, которые хотят научиться грамотно организовать работу микросервисов и повысить общую надежность системы;
Инженеры данных, которые хотят научиться строить комплексные системы обработки данных;
DevOps, SRE Engineer, архитекторы, которые хотят использовать всю мощь Kafka в работе.

После обучения вы сможете:

Развернуть Kafka;
Настроить брокеры и темы;
Использовать базовые API;
Разрабатывать программы на высокоуровневых фреймворках Kafka Streams, Spring, Akka;
Интегрировать Kafka с другими системами;
Настроить мониторинг и безопасность (аутентификация, авторизация).

Дополнительно на курсе вы:

Познакомитесь с работой с топиками на SQL (ksqlDB);
Научитесь работать со Schema Registry;
Познакомитесь с REST API для работы с Kafka.

KRaft: новый контроллер Kafka на основе Raft, 31 марта в 20:00

На открытом вебинаре курса вы узнаете, что не так с Zookeeper, что такое KRaft, и особенности работы Kafka с KRaft.

Урок подойдет разработчикам и it-архитекторам.
В результате урока вы поймете, в каких случаях стоит применять Zookeeper, а в каких - только KRaft.

Ведет

Вадим
Заигрин

Предыдущий открытый вебинар

Работа с Apache Kafka в приложениях на Spring Boot, 13 апреля в 20:00

На этом открытом уроке курса рассмотрим, как в приложениях на Spring Boot можно работать с Kafka. Узнаем, что предоставляет платформа Spring для ускоренной разработки приложений, работающих с Kafka. Посмотрим, какие есть настройки, как это все конфигурируется. Проведем границу между «родным функционалом» Kafka API и «добавками» от Spring Boot.

Вебинар будет интересен разработчикам, знакомым со Spring Boot, и которым интересно, как работать с Kafka.

Сергей
Петрелевич

Предыдущий открытый вебинар

Преподаватели

Вадим Заигрин

Ведущий эксперт по технологиям, Сбербанк

Последние несколько лет работаю с большими данными как разработчик, Data Engineer и Data Scientist. Проекты в банках, телеком и розничных компаниях. Опыт работы с Hadoop (Cloudera, Hortonworks), MPP-системами (Teradata, Vertica), фреймворком Spark и Google Cloud Platform. Большой опыт в IT-инфраструктуре. Поработав и как Data Scientist, и как Data Engineer, понимаю, что без Data Engineer'а Data Scientist'у делать нечего.

Место работы: Сбербанк. Управление развития Корпоративной аналитической платформы. Ведущий эксперт по технологиям.

Образование: МИЭМ, специальность: прикладная математика.

Otus Certified Educator

Руководитель программы

Вадим
Заигрин

Василий
Сушко

Вадим
Опольский

Александра
Чащина

Евгений
Непомнящий

Михаил
Кузнецов

Преподаватели

Вадим Заигрин

Ведущий эксперт по технологиям, Сбербанк

Василий Сушко

ПАО Сбербанк

ПАО Сбербанк
Руководитель направления, Сбербанк

10+ лет опыта промышленной разработки, в том числе создания и поддержания веб-приложений как в крупных компаниях так и в стартапах. 3 года разработки распределенных систем для крупных государственных заказчиков. Реализовал множество высоконагруженных и успешных проектов с “чистого листа”.

В данное время занимается full-stack разработкой для внутренних заказчиков в банке, решает задачи связанные с анализом и инженерией данных.

Опыт программирования на Java, Scala, Python, Javascript.

Широкий круг профессиональных интересов, из которых основные - построение распределенных систем и высоконагруженных сервисов.

Образование: бакалавриат УрФУ им. Б.Н. Ельцина “Информационные технологии”.

Преподаватель

Вадим Опольский

Сертифицированный консультант в сфере Big Data и опытом в IT более 15 лет.

Участвовал в IT проектах таких компаний как Toyota, Gazprom, GridGain, HSBC Bank, Deutsche Bank, Russian Post.
Общий поток данных, приходящих в реальном времени, более 700 млн. событий в сутки.

Некоторые из главных достижений:
- в 2022 году вошел в 10 лучших спикеров HighLoad ++
- участвовал в разработке пилота, в который FaceBook инвестировал 1 500 000 $
- окончил оффлан курс Scala в Тинькофф банке и был среди десяти лучших студентов
- получил сертификат Big Data от mail.ru в 2019 году
- контрибъютор Apache Ignite
- занимал призовые места на международном хакатоне Mercedes Benz Fashion Week и в конференции молодых ученых и специалистов
Увлекается спортивным ориентированием и может пробежать больше 45 км за 8 часов.

Сертификаты:
Datastax Cassandra Developer
Kafka Confluent Developer
Databrics Spark Developer

Александра Чащина

Выпускница магистерской программы “Informatique pour la Science de Données (Big Data)” университета Париж-Сакле.

С 2018 года специализируется на больших данных. Участвует в проектах разработки аналитических платформ данных, а также платформ обработки данных в режиме реального времени на 10000+ пользователей. Имеет сертификаты Databricks Spark&Scala и RedHat DevOps. В настоящее время работает со стриминговой обработкой (Kafka), а также внедряет практики DataOps (Gitlab CI/CD, Kubernetes, Liquibase, Airflow).

Преподаватель

Евгений Непомнящий

Разработчик в IT-Sense

C++ и Java разработчик.
В отрасли с 2006 года. Долгое время занимался разработкой под микроконтроллеры на С++, последние 3 года увлекся Java.

Компании: Топаз-сервис, Мвм

Сдал экзамен Oracle по Java: Oracle Certified Professional

Преподаватель

Михаил Кузнецов

Fullstack developer и тимлид в Zalando, Germany

Fullstack developer и тимлид в компании Zalando, Germany. Проектирует и поддерживает процессы WEB-разработки. Окончил химфак МГУ.

Опыт в разработке - более 10 лет. Консультировал по разработке, занимался популяризацией фронтенд-фреймворка Vue и SvelteJS.

Кроме JavaScript, имеет опыт разработки на Python и Java. С 2017 года выступал на множестве конференций, включая Frontend Conf Moscow, JSNation, Vue conference и др.

Преподаватель

- Умение работать в командной строке Unix/Linux;
- Базовое знание Java или Scala

Корпоративное обучение для ваших сотрудников

Подробнее

Программа обучения

В процессе обучения вы получите комплексные знания и навыки.

Модуль 1 Введение

C 28 апреля

Тема 1. Брокеры сообщений. История появления и развития. Решаемые задачи

Тема 2. Знакомство с Apache Kafka. Основные компоненты, варианты развертывания, экосистема, сценарии использования

Модуль 2 Развертывание кластера Apache Kafka

C 12 мая

Тема 3. Установка и настройка кластера. Zookeeper. Kraft. Настройка брокеров

Тема 4. Операции с топиками. Партиции (разделы), репликации. Свойства топиков

Тема 5. Мониторинг кластера Kafka

Тема 6. Безопасность. Аутентификация, авторизация, списки управления доступом (ACL)

Модуль 3 Программирование

C 26 мая

Тема 7. Producer - отправка сообщений. Producer API

Тема 8. Consumer - чтение сообщений. Consumer API

Тема 9. Admin API

Тема 10. Транзакции

Модуль 4 Потоковая обработка данных

C 9 июня

Тема 11. Kafka Streams

Тема 12. Akka Streams. Alpakka Kafka

Тема 13. ZIO Streams. ZIO Kafka

Тема 14. Spring Cloud Data Flow

Модуль 5 Интеграция

C 26 июня

Тема 15. Kafka Connect

Тема 16. ksqlDB

Тема 17. Schema Registry

Тема 18. Confluent REST APIs

Модуль 6 Проектная работа

C 10 июля

Тема 19. Выбор темы и организация проектной работы

Тема 20. Консультация по проектам и домашним заданиям

Тема 21. Защита проектных работ. Подведение итогов курса

Скачать подробную программу

Выпускной проект

Последний месяц отводится для проектной работы, которая станет частью вашего портфолио. В проектной работе студент должен реализовать различные системы, в центре которых находится Kafka.

Процесс обучения

Все обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в Slack, сдача домашних работ и получение обратной связи от преподавателя.

Вас ждут:

Интерактивные вебинары
Два занятия по два академических часа в неделю

Практика
Интересные домашние задания с обратной связью от преподавателя и выпускной проект, который станет частью портфолио

Активное комьюнити
Общайтесь с преподавателями голосом на вебинарах и в Slack группы

Получить консультацию

Наш специалист свяжется с вами в ближайшее время. Если у вас возникли трудности в выборе курса или проблемы технического плана, то мы с радостью поможем вам.

После обучения вы

заберете с собой полный комплект обучающих материалов: видеозаписи всех вебинаров, презентации к занятиям и другие дополнительные материалы;

получите сертификат о прохождении курса;

получите все необходимые навыки для работы с Apache Kafka;

Дата выдачи сертификата: 18 августа 2023 года

Ваш сертификат

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Apache Kafka»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Директор департамента образования
ООО “Отус Онлайн-Образование”
Анна Фирсова

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Apache Kafka»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Директор департамента образования
ООО “Отус Онлайн-Образование”
Анна Фирсова

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

Прошедшие открытые вебинары

Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.

Вадим Заигрин

Для доступа к прошедшим мероприятиям необходимо пройти входное тестирование

Возможность пройти вступительное тестирование повторно появится только через 2 недели

Результаты тестирования будут отправлены вам на email, указанный при регистрации.

Тест рассчитан на 30 минут, после начала тестирования отложить тестирование не получится!