Специальная цена
Рассрочка
Apache Kafka
29 мая
Professional
3 месяца
Онлайн
Пн/Чт 20:00 Мск
Для кого этот курс?
- Для разработчиков, которые хотят научиться грамотно организовать работу микросервисов и повысить общую надежность системы
- Для инженеров данных, которые хотят научиться строить комплексные системы обработки данных
- Для DevOps, SRE Engineer, архитекторов, которые хотят использовать всю мощь Kafka в работе
Необходимые знания
- Умение работать в командной строке Unix/Linux
- Базовое знание Java или Scala
- Опыт работы с Docker
Как Kafka упрощает жизнь разработчикам и инженерам данных
Подходит ли эта программа именно вам?
Пройдите тест, чтобы определить свой уровень знанийЧто даст вам этот курс?
Kafka — это сервис, позволяющий в реальном времени и с высокой пропускной способностью передавать сообщения между различными системами. Его используют для различных целей — передача данных в хранилище, потоковая аналитика, взаимодействие между сервисами и т. д.
После обучения вы сможете:
- Развернуть Kafka
- Настроить брокеры и темы
- Использовать базовые API
- Разрабатывать программы на высокоуровневых фреймворках Kafka Streams, Spring, Akka, ZIO
- Интегрировать Kafka с другими системами
- Настроить мониторинг и безопасность (аутентификация, авторизация)
Дополнительно на курсе вы:
- Познакомитесь с работой с топиками на SQL (ksqlDB)
- Научитесь работать со Schema Registry
- Познакомитесь с REST API для работы с Kafka
Если вы хотите работать в проектах обработки больших данных или проектах построения микросервисной архитектуры, то вам будет полезно освоить эту технологию.
Процесс обучения
Вебинары проводятся 2 раза в неделю по 2 ак. часа и сохраняются в записи в личном кабинете. Вы можете посмотреть их в любое удобное для вас время.
В ходе обучения вы будете выполнять домашние задания. Каждое из них посвящено одному из компонентов вашего выпускного проекта.
После выполнения всех домашних заданий вы получите готовый выпускной проект.
Портфолио
Индивидуальная разработка итоговой проектной работы Оптимальная нагрузка
Возможность совмещать учебу с работой Перспективы
Сможете претендовать на позицию Data Scientist Junior + / Middle+ в зависимости от вашего базового уровняКарьерная поддержка
Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности.
- Получите помощь с оформлением резюме, портфолио и сопроводительного письма
- Разместите свое резюме в базе OTUS и сможете получать приглашения на собеседования от партнеров
Data Engineer, Kafka Developer
Формат обучения
Интерактивные вебинары
2 занятия по 2 ак.часа в неделю. Доступ к записям и материалам остается навсегда.
Обратная связь
Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии
Активное комьюнити
Чат в Telegram для общения преподавателей и студентов
Программа
Введение
Вводный модуль, в котором мы познакомимся с брокерами сообщений и с основными понятиями Kafka.
Тема 1: Брокеры сообщений. История появления и развития. Решаемые задачи
Тема 2: Знакомство с Apache Kafka. Основные компоненты, варианты развертывания, экосистема, сценарии использования // ДЗ
Тема 3: Введение в Scala
Администрирование и внутреннее устройство Apache Kafka
Модуль посвящён администрированию и внутреннему устройству Kafka. Рассмотрим развёртывание и администрирование кластера Kafka. Познакомимся с внутренним устройством брокеров, узнаем, как настроить мониторинг и обеспечить безопасность.
Тема 1: Установка и настройка кластера. Zookeeper. Kraft. Настройка брокеров
Тема 2: Операции с топиками. Партиции (разделы), репликации. Свойства топиков
Тема 3: Мониторинг кластера Kafka
Тема 4: Безопасность. Аутентификация, авторизация, списки управления доступом (ACL) // ДЗ
Программирование
Модуль посвящён основным Kafka API. Узнаем, как программно управлять Kafka, используя Admin и REST API. Научимся отправлять и получать сообщения из Kafka посредством Producer и Consumer API. Познакомимся с транзакциями и узнаем, как организовать надёжную доставку сообщений.
Тема 1: Admin API и REST API
Тема 2: Producer - отправка сообщений. Producer API
Тема 3: Consumer - чтение сообщений. Consumer API
Тема 4: Транзакции // ДЗ
Потоковая обработка данных
Рассмотрим особенности потоковой обработки данных. Погрузимся в фреймворк Kafka Streams.
Тема 1: Что такое потоковая обработка данных. Обзор
Тема 2: Kafka Streams. Основные понятия // ДЗ
Тема 3: Kafka Streams. DSL
Тема 4: Kafka Streams. Processor API
Дополнительные фреймворки
Изучим различные фреймворки обработки потоковых данных. Познакомимся с Akka и Akka Streams, ZIO и ZIO Streams. Рассмотрим, как использовать Spring с Kafka, и изучим Spark Structured Streaming.
Тема 1: Akka Streams // ДЗ
Тема 2: Akka Streams. Alpakka Kafka
Тема 3: ZIO Streams. ZIO Kafka
Тема 4: Spring for Apache Kafka
Тема 5: Spark Streaming
Интеграция
Этот модуль посвящён интеграции Kafka с другими системами, работе с потоками на SQL, использованию Schema Registry и организации геораспределённых систем Kafka.
Тема 1: Kafka Connect // ДЗ
Тема 2: ksqlDB
Тема 3: Schema Registry
Тема 4: Геораспределённая Kafka
Проектная работа
Заключительный месяц курса посвящен проектной работе. Свой проект — это то, что интересно писать слушателю. То, что можно создать на основе знаний, полученных на курсе. При этом не обязательно закончить его за месяц. В процессе написания по проекту можно получить консультации преподавателей.
Тема 1: Выбор темы и организация проектной работы
Тема 2: Консультация по проектам и домашним заданиям
Тема 3: Защита проектных работ. Подведение итогов курса
Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит
Проектная работа
Последний месяц отводится для проектной работы, которая станет частью вашего портфолио.
В проектной работе Вы сможете реализовать различные системы, в центре которых находится Kafka.
Примеры тем проектных работ наших выпускников:
- Автоматизация развертывания и настройки кластера Kafka с помощью Ansible
- Микросервисная архитектура на основе Kafka
- Разработка микросервисной архитектуры резервирования парковочных мест
Преподаватели
Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания
Ближайшие мероприятия
Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.
📍 Программа вебинара:
- Архитектура Kafka: брокеры, топики, партиции, реплики
- Producer и Consumer: как данные записываются и читаются
- Инструменты для работы с Kafka
- Базовое API для интеграции:подключение к Kafka из приложений (Python/Java) и примеры отправки и чтения сообщений
👥 Кому будет полезен вебинар?
- Разработчикам, которые хотят научиться грамотно организовать работу микросервисов и повысить общую надежность системы
- Инженерам данных, которые хотят научиться строить комплексные системы обработки данных
- DevOps, SRE инженерам, архитекторам, которые хотят использовать всю мощь Kafka в работе потоковой обработкой данных
✅ В результате вебинара вы:
- Будете понимать принципы работы Kafka и её роль в распределённых системах
- Поймёте, как настраивать топики, производителей (producers) и потребителей (consumers) с помощью CLI
- Поймёте, как использовать базовые API Kafka для интеграции в свои приложения
Присоединяйтесь, чтобы освоить один из самых востребованных инструментов в мире Big Data и стриминговой аналитики!
📍 Программа вебинара:
- Основы Kafka Connect: Архитектура, коннекторы и принципы работы
- Практическая реализация: Настройка и запуск коннекторов для интеграции с базами данных и файловыми системами
- Ошибки и их решение: Как эффективно отлаживать и масштабировать Kafka Connect
👥 Кому будет полезен вебинар?
- Разработчикам и инженерам данных, которые ищут способ автоматизировать поток данных между системами
- Архитекторам ПО, стремящимся упростить интеграцию сложных инфраструктур
- Техническим руководителям, заинтересованным в повышении надежности и гибкости своих систем
✅ В результате вебинара вы:
- Узнаете, как быстро интегрировать внешние системы с Kafka без написания большого объема кода
- Научитесь решать типовые проблемы и масштабировать Kafka Connect
- Получите рекомендации по выбору и настройке готовых коннекторов для популярных систем
Не упустите возможность улучшить свои навыки в области интеграции данных! Запишитесь на вебинар уже сегодня и узнайте, как Kafka Connect может стать вашим надежным помощником! 📅✨
📍 Программа вебинара:
1) Введение в Schema Registry и JSON:
- Что такое Schema Registry и зачем он нужен?
2) Преимущества и ограничения JSON без схемы
- Schema Registry vs. JSON: Сравнение подходов:
- Как Schema Registry решает проблемы валидации, версионирования и совместимости
- Когда JSON без схемы всё же уместен
3) Практические кейсы и инструменты:
- Реальные примеры использования Schema Registry
- Обзор инструментов: Apache Avro, Protobuf, JSON Schema
👥 Кому будет полезен вебинар?
- Разработчикам и Data-инженерам, которые работают с API, микросервисами или потоковыми данными и сталкивается с проблемами интеграции
- Системным архитекторам, проектирующие системы, где критически важны надёжность и масштабируемость данных
- Product-менеджерам, ответственным за техническое видение продукта и взаимодействие между командами
✅ В результате вебинара вы:
- Получите понимание ключевых различий: участники смогут объяснить, чем Schema Registry отличается от "сырого" JSON и почему это важно
- Получите навыки принятия решений: критерии для выбора между JSON и Schema Registry в конкретных сценариях (например, скорость разработки vs. долгосрочная поддержка)
- Получите практические инструменты: узнаете, как внедрить Schema Registry в своих проектах и какие технологии для этого использовать
Не упустите возможность улучшить свои навыки и повысить качество ваших проектов! 📅✨
Записывайтесь на урок прямо сейчас⬇
Прошедшие
мероприятия
Возможность пройти вступительное тестирование повторно появится только через 3 дня
Результаты тестирования будут отправлены вам на email, указанный при регистрации.
Тест рассчитан на 30 минут, после начала тестирования отложить тестирование не получится!
Корпоративное обучение для ваших сотрудников
- Курсы OTUS верифицированы крупными игроками ИТ-рынка и предлагают инструменты и практики, актуальные на данный момент
- Студенты работают в группах, могут получить консультации не только преподавателей, но и профессионального сообщества
- OTUS проверяет знания студентов перед стартом обучения и после его завершения
- Простой и удобный личный кабинет компании, в котором можно видеть статистику по обучению сотрудников
- Сертификат нашего выпускника за 5 лет стал гарантом качества знаний в обществе
- OTUS создал в IT более 120 курсов по 7 направлениям, линейка которых расширяется по 40-50 курсов в год
Отзывы
Подтверждение знаний и навыков
OTUS осуществляет лицензированную образовательную деятельность. Вы получите сертификат о прохождении обучения, а также можете получить удостоверение о повышении квалификации.

После обучения:
-
Удостоверение о повышении квалификации: если вы успешно защитили выпускной проект и готовы предоставить копию документа о высшем или среднем профессиональном образовании
-
Доступ к учебным материалам курса
-
Ваш личный проект, который поможет проходить собеседования
Apache Kafka
Полная стоимость со скидкой
Стоимость указана для оплаты физическими лицами
вычета до 13% стоимости обучения. Пройдите тестирование и менеджер вас проконсультирует
+7 499 938-92-02 бесплатно