Курсы по нейросетям со скидкой до 30%
Курсы по нейросетям со скидкой до 30%
Выбрать курс
Инфраструктура
Apache Kafka

Рассрочка

Apache Kafka

Практика по работе с Kafka для инженеров данных и разработчиков

28 мая

Professional

3 месяца

Онлайн

Пн/Ср 20:00 Мск

Для кого этот курс?

  • Для разработчиков, которые хотят научиться грамотно организовать работу микросервисов и повысить общую надежность системы
  • Для инженеров данных, которые хотят научиться строить комплексные системы обработки данных
  • Для DevOps, SRE Engineer, архитекторов, которые хотят использовать всю мощь Kafka в работе

Необходимые знания

  • Умение работать в командной строке Unix/Linux
  • Базовое знание Java или Scala
  • Опыт работы с Docker

Как Kafka упрощает жизнь разработчикам и инженерам данных

Kafka жизненно важна аналитикам в режиме реального времени, так как позволяет доставлять данные с очень низкими задержками. При попытке использовать обычную СУБД в качестве промежуточного хранилища для потоков данных, вы очень быстро столкнетесь с высокой нагрузкой на базу и долгими задержками доставки данных. Kafka же была изначально создана именно для поставки потоков данных в режиме реального времени и позволяет добиться задержек в несколько миллисекунд.
 

Подходит ли эта программа именно вам?

Пройдите тест, чтобы определить свой уровень знаний

Что даст вам этот курс?

Kafka позволяет унифицировать протокол обмена данными между разными системами, выступает временным хранилищем между источником и приемником, а также выступает “буфером” для нагрузки. Если источник внезапно выдал большой объем данных, система-приемник может упасть под нагрузкой.

Kafka — это сервис, позволяющий в реальном времени и с высокой пропускной способностью передавать сообщения между различными системами. Его используют для различных целей — передача данных в хранилище, потоковая аналитика, взаимодействие между сервисами и т. д.

После обучения вы сможете:

  • Развернуть Kafka
  • Настроить брокеры и темы
  • Использовать базовые API
  • Разрабатывать программы на высокоуровневых фреймворках Kafka Streams, Spring, Akka, ZIO
  • Интегрировать Kafka с другими системами
  • Настроить мониторинг и безопасность (аутентификация, авторизация)

Дополнительно на курсе вы:

  • Познакомитесь с работой с топиками на SQL (ksqlDB)
  • Научитесь работать со Schema Registry
  • Познакомитесь с REST API для работы с Kafka
Зачем изучать Apache Kafka?

Если вы хотите работать в проектах обработки больших данных или проектах построения микросервисной архитектуры, то вам будет полезно освоить эту технологию. 

Процесс обучения

Обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в Telegram, сдача домашних работ и получение обратной связи от преподавателя.

Вебинары проводятся 2 раза в неделю по 2 ак. часа и сохраняются в записи в личном кабинете. Вы можете посмотреть их в любое удобное для вас время.

В ходе обучения вы будете выполнять домашние задания. Каждое из них посвящено одному из компонентов вашего выпускного проекта.

После выполнения всех домашних заданий вы получите готовый выпускной проект.

Навыки и инструменты

Индивидуальная разработка итоговой проектной работы 

Оптимальная нагрузка

Возможность совмещать учебу с работой 

Перспективы

Сможете претендовать на позицию Data Scientist Junior + / Middle+ в зависимости от вашего базового уровня

Карьерная поддержка

Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности.

  • Карьерные мероприятия в сообществе
    Публичный разбор резюме
    Публичное прохождение собеседования и воркшопы
  • Разместите свое резюме в базе OTUS и сможете получать приглашения на собеседования от партнеров

Data Engineer, Kafka Developer

Перспективы направления
Средний уровень зарплат:
100 000 ₽Junior+ специалист
200 000 ₽Middle+ специалист
350 000 ₽Senior специалист
4458
актуальных вакансий
Формат обучения

Интерактивные вебинары


2 занятия по 2 ак.часа в неделю. Доступ к записям и материалам остается навсегда.

Обратная связь


Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии

Активное комьюнити


Чат в Telegram для общения преподавателей и студентов

Программа

Введение

Вводный модуль, в котором мы познакомимся с брокерами сообщений и с основными понятиями Kafka.

Тема 1: Брокеры сообщений. История появления и развития. Решаемые задачи

Тема 2: Знакомство с Apache Kafka. Основные компоненты, варианты развертывания, экосистема, сценарии использования // ДЗ

Тема 3: Введение в Scala

Администрирование и внутреннее устройство Apache Kafka

Модуль посвящён администрированию и внутреннему устройству Kafka. Рассмотрим развёртывание и администрирование кластера Kafka. Познакомимся с внутренним устройством брокеров, узнаем, как настроить мониторинг и обеспечить безопасность.

Тема 1: Установка и настройка кластера. Zookeeper. Kraft. Настройка брокеров

Тема 2: Операции с топиками. Партиции (разделы), репликации. Свойства топиков

Тема 3: Мониторинг кластера Kafka

Тема 4: Безопасность. Аутентификация, авторизация, списки управления доступом (ACL) // ДЗ

Программирование

Модуль посвящён основным Kafka API. Узнаем, как программно управлять Kafka, используя Admin и REST API. Научимся отправлять и получать сообщения из Kafka посредством Producer и Consumer API. Познакомимся с транзакциями и узнаем, как организовать надёжную доставку сообщений.

Тема 1: Admin API и REST API

Тема 2: Producer - отправка сообщений. Producer API

Тема 3: Consumer - чтение сообщений. Consumer API

Тема 4: Транзакции // ДЗ

Потоковая обработка данных

Рассмотрим особенности потоковой обработки данных. Погрузимся в фреймворк Kafka Streams.

Тема 1: Что такое потоковая обработка данных. Обзор

Тема 2: Kafka Streams. Основные понятия // ДЗ

Тема 3: Kafka Streams. DSL

Тема 4: Kafka Streams. Processor API

Дополнительные фреймворки

Изучим различные фреймворки обработки потоковых данных. Познакомимся с Akka и Akka Streams, ZIO и ZIO Streams. Рассмотрим, как использовать Spring с Kafka, и изучим Spark Structured Streaming.

Тема 1: Akka Streams // ДЗ

Тема 2: Akka Streams. Alpakka Kafka

Тема 3: ZIO Streams. ZIO Kafka

Тема 4: Spring for Apache Kafka

Тема 5: Spark Streaming

Интеграция

Этот модуль посвящён интеграции Kafka с другими системами, работе с потоками на SQL, использованию Schema Registry и организации геораспределённых систем Kafka.

Тема 1: Kafka Connect // ДЗ

Тема 2: ksqlDB

Тема 3: Schema Registry

Тема 4: Геораспределённая Kafka

Проектная работа

Заключительный месяц курса посвящен проектной работе. Свой проект — это то, что интересно писать слушателю. То, что можно создать на основе знаний, полученных на курсе. При этом не обязательно закончить его за месяц. В процессе написания по проекту можно получить консультации преподавателей.

Тема 1: Выбор темы и организация проектной работы

Тема 2: Консультация по проектам и домашним заданиям

Тема 3: Защита проектных работ. Подведение итогов курса

Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит

Проектная работа


Последний месяц отводится для проектной работы, которая станет частью вашего портфолио.

В проектной работе Вы сможете реализовать различные системы, в центре которых находится Kafka.
 

Примеры тем проектных работ наших выпускников:

 
  • Автоматизация развертывания и настройки кластера Kafka с помощью Ansible
  • Микросервисная архитектура на основе Kafka 
  • Разработка микросервисной архитектуры резервирования парковочных мест

Преподаватели

Вадим Заигрин

Ведущий консультант

IBS

Роман Вороновский

Backend-разработчик

Евгений Федосеев

Инженер-программист

Сергей Прощаев

Руководитель направления Java-разработки в FinTech

Евгений Непомнящий

Разработчик

IT Sense

Алексей Железной

Tech Lead Data Architect

FinTech

Валентин Шилин

Старший программист/аналитик данных

Deutsche Telekom IT GmbH

Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания

Прошедшие
мероприятия

Валентин Шилин
Открытый вебинар
Kafka как очередь задач: создаём систему асинхронной обработки
Евгений Непомнящий
Открытый вебинар
Знакомство c Kafka
Оставьте заявку, чтобы получить доступ ко всем записям прошедших мероприятий. Записи всех мероприятий появятся в этом блоке

Этот курс может оплатить ваш работодатель

Обучайтесь за счёт работодателя или разделите оплату 50/50
  • Подробно расскажем об интересующем вас курсе
  • Объясним, как договориться с работодателем
  • Сообщим стоимость обучения и варианты оплаты
  • Ответим на вопросы
  • Предоставим шаблон договора и счёт на оплату

Отзывы

Анастасия Пластинина

22.10.2025
До и после курса работаю программистом) На курсе я получила массу ссылок на доп ресурсы. А читать документацию, безусловно, полезно. Но что более ценно - можно ознакомиться с практическим опытом реальных спецов, уровень доверия к которым у меня выше, чем неизвестные люди из интернет-форумов.

Герман Ковалев

22.10.2025
По рекомендации коллег записался на курс по k8s, а этот курс шел в нагрузку по подписке. Практические задания помогают хорошо разобраться в теме, удобно сдавать. Было бы круто если бы давали какие-то готовые CICD для тестов или AI-ревью. Понравились преподаватели: всегда хорошо, когда теорию рассказывают практики. Обучение позволило успешно завершить проект в компании, где я работаю, и наметить дальнейшие шаги по улучшению. В целом, я не рассматриваю обучение как что-то готовое, оно дает направление и раскрывает вопросы которые я не знаю, а дальше нужно копать, спрашивать, пробовать. С Kafka я был знаком на каком-то минимальном уровне, теперь знаком лучше, но без практики это все забывается и устаревает, поэтому обязательно нужна рабочая задача или проект, где эти знания можно применить.

Александр Байкалов

05.03.2025
Курсом, в целом, доволен. Преподаватели хорошие. Больше всего понравилась подача и простота связи с преподавателем. На курс шел с целью узнать, как разворачивать и настраивать кластер. Собственно эти знания и получил. Единственно, чего не хватило - ревью на дз. Я стану советовать курс коллегам.

Валерий Налимов

05.03.2025
Курс помог познакомиться с некоторыми новыми ветвями работы с Apache Kafka, например, Kafka Streams, Schema Regisrty, ksqlDb. При применении Kafka главное понимать для каких целей ее использовать. Понравилась подача материала и домашние задания.

Евгения Алешенков

05.03.2025
Я пошел на курс по ApacheKafkaуже с некоторыми знаниями по продукту, но без деталей. Курс помог мне заполнить пробелы про офсеты, безопасность, больше понять возможности архитектуры. Было интересно попробовать писать на Java/Scala взаимодействия с Kafka. Не очень понравилось, что в разных уроках чередуются примеры то на Javaто на Scala, нет единого трека от простого к сложному на одном языке. Мне как новичку в этих языках было сложно настроить IDEсо всеми нужными зависимостями. В целом курс был мне полезен, какие то знания уже использую в работе. Понравились темы про KafkaConnect и KSQLDB. Порекомендовал бы курс специалистам, которым нужно понять как работает ApacheKafka, ее настройки, как использовать в инфраструктуре, какие возможности использования.

Станислав Мерзляков

17.01.2025
Прекрасный курс. Получил понимание и как с ней работать и какие сопутствующие технологии использовать. Рекомендую.

Станислав Семенчук

26.11.2024
Отличный курс! Очень понравились преподаватели, спасибо им за профессиональный подход. На курса замечательная широкая программа, раскрывающая необходимые темы для дальнейшей работы, смело бы советовал курс для прохождения коллегам. Дз также порадовало, практика - отличный инструмент для закрепления знаний. На курсе работают хорошие менеджеры, готовые помочь и ответить на вопросы. В целом курс супер, обучением остался доволен. Планирую проходить и другие курсы в отусе.

Ирина Ильина

13.11.2024
Курс понравился, довольно насыщенный по объему информации, изучили как настраивать распределенный кластер, научились отслеживать метрики. Преподаватели подробно отвечали на все вопросы. Больше всего понравились темы Kafka Streams, транзакции, мониторинг кластера. Знания, полученные на курсе, помогают мне в работе. Курс хороший, смело могу его советовать для прохождения. Думаю, курс отлично подойдёт разработчикам.

Ivan Priz

13.11.2024
Курс понравился, подробно разбирали темы, узнал много нового и полезного, опытный преподаватель) Очень полезные и интересные лекции были про устройство кафки, они мне понравились больше всего. Думаю, что знания, полученные на курсе пригодятся мне в профессиональной сфере.

Денис Фрунза

23.10.2024
Курс Apache Kafka был очень полезным для меня в плане понимания и использования этой технологии в реальных проектах. Вот мои впечатления по ключевым аспектам: Помощь и применение: Курс помог мне глубже понять как настраивать брокеры и использовать базовые API и интегрировать Kafka с другими сервисами. Понравилось: Очень понравилась практическая ориентированность курса. Мы не только изучали теорию, но и работали с реальными кейсами, что позволило мне сразу применить знания на практике.Большая часть знаний были использованы в работе Самое ценное, что я усвоил, это использование высокоуровневых фреймворков Kafka Streams, Spring, Akka, ZIO для разработки программ. Курс предоставил отличную основу для дальнейшего изучения. В целом, курс Apache Kafka дал мне значительный прирост знаний и навыков, которые я могу применять в своей профессиональной деятельности.

Алексей Воронов

29.07.2024
Курс мне очень понравился! Каfka рассматривается со стороны "программиста", и мне, как девопсу, это было очень интересно. Лайвкондинг на лекциях и онлайн дебаг ошибок - это было здорово. Все технологии рассматриваются в их "современном состоянии". Радует, что учебный материал и домашки современные и актуальные. Заметно, что преподаватели курса глубоко разбираются в Kafka. Приятно, когда обучают опытные преподаватели и тем более приятно, когда они отвечают на вопросы. Все было абсолютно замечательно!

Сергей Колесов

29.07.2024
Курс получился довольно хорошим и полезным, довольно грамотно выстроен и были затронуты многие полезные темы. Так же информация, полученная на занятиях, сильно помогла в работе при построении как новых, так и при доработке старых систем + сама технология была успешно интегрирована. Отдельно хочу отметить вебинары, которые проводил преподаватель Непомнящий Евгений. У него заранее было огромное количество примеров по каждому из занятий, что позволяло охватить больший объем затрагиваемых тем и довольно подробно объяснить каждую фичу технологии + оставалось время на демонстрацию работы программ. В остальном остались положительные впечатления, не было ощущений, что чего-то не хватает

Алексей Евдокимов

14.03.2024
Я работаю в компании БФТ. Мне требовались начальные знания по продукту Kafka. В курсе понравился способ подачи материала. Мне важно было, познакомиться с продуктом, изучить способы использования и возможность применения на текущем проекте для задач импорта и преобразования данных.

Ольга Семме

01.03.2024
Интереснейший курс, сложный, много материала. Много примеров в действии.

Алексей Байдин

12.11.2023
Курс по Apache Kafka хорошо подготовлен, правильно подобраны темы для знакомства с новой технологией (раньше работал только с брокером RabbitMQ), все преподаватели разбираются в материале и охотно отвечают на все возникающие вопросы. Курс помог стать уверенней в своих профессиональных навыках, добавив еще один технологический стек к списку моих компетенций. На последней встрече с показом итоговых проектов Вадим Заигрин обозначил темы, которые можно включить, тем самым дополнив этот курс. А так рекомендую этот курс для продвинутого погружения в Kafka абсолютно всем специалистам, как разработчикам, так и системным аналитикам и администраторам.

Grigorii Neginskii

01.08.2023
Я работаю программистом уже около 8 лет, трудился в множестве компаний (Ланит, Epam, Сiklum, Globant, Luxoft), в данный момент я работаю консультантом в небольшом стартапе, где занимаюсь реализацией CRM для автоматизации бизнес-процессов для ресторанов и их службы доставки. Учился в университете на технической специальности, а также проходил множество курсов по интересующим меня темам. C kafka раньше не сталкивался, но много раз сталкивался с вопросами о kafka на собеседованиях) Курс Kafka на Otus привлек тем, что все преподаватели - опытные специалисты из индустрии, которые сами применяют то чему учат на практике. Также, Otus предоставляет сообщество, где можно поделиться мыслями, задать вопросы. Вебинары и временные рамки держат в тонусе, поэтому такой курс проще довести до конца, чем аналогичный курс, основанный целиком на самостоятельной работе. Обучение в Otus мне нравится прежде всего домашними заданиями, сильными лекторами, интерактивностью обучения и "чувством локтя", социальной составляющей. Обучение на данном курсе дало мне достаточное представление о kafka и похожих брокерах/очередях сообщений, опыт использования их на практике, расширило кругозор. В данный момент я не ищу новую работу, но уверен, что полученные знания и навыки сослужат мне хорошую службу при последующем поиске) Что хотелось бы еще увидеть в этом и других курсах? Возможно, было бы неплохо в дополнение к практическим домашним заданиям, также добавить опросы по содержанию лекций, в частности вопросы с собеседований, имеющие пересечение с тем что было на лекции. Это бы повысило усвояемость материала, и было бы полезно при подготовке, ведь многие проходят курсы именно для повышения квалификации, которую можно было бы продемонстрировать при трудоустройстве. Также было бы неплохо добавить case studies - разбор типичных случаев использования технологии, и соответствующие вопросы в опроснике, чтобы узнать о типичных ошибках и заблуждениях. Еще было бы здорово составить последовательность домашних заданий, чтобы в итоге получался небольшой полнофункциональный проект (на произвольном языке программирования). В целом курсом очень доволен, спасибо Вадиму, Евгению и остальным преподавателям за лекции и ответы на вопросы :) 01.08.2023

Андрей Черноволов

01.08.2023
На мой взгляд очень полезный курс для широкой аудитории: аналитики, разработчики, devops, дата-инженеры... Хорошая подборка материала и рассмотрены наверное практически все (если не все) сферы применения kafka. Преподаватели понятно и доступно доносили материал, а также исчерпывающе отвечали на вопросы. На курсе много для себя почерпнул - до него можно сказать kafka и не знал)) Очень радует, что доступ к материалам остается, и если обучающийся не успел самостоятельно проработать какую-то тему - у него есть возможность сделать это позже. Спасибо за отличный курс и профессионально организованный процесс обучения! 01.08.2023

Подтверждение знаний и навыков

OTUS осуществляет лицензированную образовательную деятельность. Вы получите сертификат о прохождении обучения, а также можете получить удостоверение о повышении квалификации.

После обучения:

  • Удостоверение о повышении квалификации: если вы успешно защитили выпускной проект и готовы предоставить копию документа о высшем или среднем профессиональном образовании

  • Доступ к учебным материалам курса

  • Ваш личный проект, который поможет проходить собеседования

Частые вопросы

Почему стоит выбрать именно этот курс среди других?
Программа курса Apache Kafka даст Вам самое глубокое понимание этого инструмента. Образовательная экспертиза Otus доказана более 6 лет успешной специализации на обучении в IT. Наша фишка — продвинутые программы для специалистов с опытом и быстрый запуск курсов по новым набирающим популярность технологиям. Мы уже обучили более 20 000 студентов, и будем рады помочь освоить Вам новые навыки.
Обязательно ли выполнять и защищать выпускной проект?
Для получения сертификата OTUS и УПК (удостоверение повышения квалификации государственного образца) необходимо сдать проект. Кроме того, проект необязательно защищать перед аудиторией, а можно сдать в чате с преподавателем. Для получения УПК также понадобится предъявить документ об образовании.
Обязательно ли выполнять все домашние задания?
Нет, не обязательно. Но выполнение домашних заданий поможет вам разобраться в материале курса, поэтому хотя бы часть домашних заданий стоит выполнить. При выполнении или сдаче домашнего задания, вы можете задать вопрос преподавателям, если где-то возник вопрос.
Смогу ли я совмещать учебу с работой?
Да, программа курса рассчитана на то, что студент имеет ограниченный временной ресурс. 1 раз в модуль будут выдаваться домашние задания, а лекции 2 раза в неделю, которые вы всегда можете посмотреть в записи.
Что, если в середине курса я не смогу продолжать обучение?
У вас есть право одного бесплатного трансфера в другую группу. И лекции курса в любом случае у вас останутся в личном кабинете навсегда. Также есть отдельные опции по сдаче домашних заданий даже после окончания программы курса.
Я могу вернуть деньги?
Да, вы можете сделать возврат средств пропорционально оставшимся месяцам обучения.
Может ли мой работодатель оплатить курс?
Конечно, мы работаем с юр. лицами. При общении с менеджером уточните, что оплачивать будет Ваш работодатель.
Остались вопросы?
Оставляйте заявку и задавайте вопросы менеджеру, команда курса с ним на связи и постарается дать Вам дать исчерпывающую информацию.