OTUS Logo

UserPartName

Инфраструктура
Apache Kafka

Рассрочка

Apache Kafka

Практика по работе с Kafka для инженеров данных и разработчиков

26 декабря

Professional

3 месяца

Онлайн

Пн/Чт 20:00 Мск

Для кого этот курс?

  • Для разработчиков, которые хотят научиться грамотно организовать работу микросервисов и повысить общую надежность системы
  • Для инженеров данных, которые хотят научиться строить комплексные системы обработки данных
  • Для DevOps, SRE Engineer, архитекторов, которые хотят использовать всю мощь Kafka в работе

Необходимые знания

  • Умение работать в командной строке Unix/Linux
  • Базовое знание Java или Scala
  • Опыт работы с Docker

Как Kafka упрощает жизнь разработчикам и инженерам данных

Kafka жизненно важна аналитикам в режиме реального времени, так как позволяет доставлять данные с очень низкими задержками. При попытке использовать обычную СУБД в качестве промежуточного хранилища для потоков данных, вы очень быстро столкнетесь с высокой нагрузкой на базу и долгими задержками доставки данных. Kafka же была изначально создана именно для поставки потоков данных в режиме реального времени и позволяет добиться задержек в несколько миллисекунд.

Подходит ли эта программа именно вам?

Пройдите тест, чтобы определить свой уровень знаний

Что даст вам этот курс?

Kafka позволяет унифицировать протокол обмена данными между разными системами, выступает временным хранилищем между источником и приемником, а также выступает “буфером” для нагрузки. Если источник внезапно выдал большой объем данных, система-приемник может упасть под нагрузкой.

Kafka — это сервис, позволяющий в реальном времени и с высокой пропускной способностью передавать сообщения между различными системами. Его используют для различных целей — передача данных в хранилище, потоковая аналитика, взаимодействие между сервисами и т. д.

После обучения вы сможете:

  • Развернуть Kafka
  • Настроить брокеры и темы
  • Использовать базовые API
  • Разрабатывать программы на высокоуровневых фреймворках Kafka Streams, Spring, Akka, ZIO
  • Интегрировать Kafka с другими системами
  • Настроить мониторинг и безопасность (аутентификация, авторизация)

Дополнительно на курсе вы:

  • Познакомитесь с работой с топиками на SQL (ksqlDB)
  • Научитесь работать со Schema Registry
  • Познакомитесь с REST API для работы с Kafka
Зачем изучать Apache Kafka?

Если вы хотите работать в проектах обработки больших данных или проектах построения микросервисной архитектуры, то вам будет полезно освоить эту технологию. 

Процесс обучения

Обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в Telegram, сдача домашних работ и получение обратной связи от преподавателя.

Вебинары проводятся 2 раза в неделю по 2 ак. часа и сохраняются в записи в личном кабинете. Вы можете посмотреть их в любое удобное для вас время.

В ходе обучения вы будете выполнять домашние задания. Каждое из них посвящено одному из компонентов вашего выпускного проекта.

После выполнения всех домашних заданий вы получите готовый выпускной проект.

Портфолио

Индивидуальная разработка итоговой проектной работы 

Оптимальная нагрузка

Возможность совмещать учебу с работой 

Перспективы

Сможете претендовать на позицию Data Scientist Junior + / Middle+ в зависимости от вашего базового уровня

Карьерная поддержка

Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности.

  • Получите помощь с оформлением резюме, портфолио и сопроводительного письма
  • Разместите свое резюме в базе OTUS и сможете получать приглашения на собеседования от партнеров

Data Engineer, Kafka Developer

Перспективы направления
Средний уровень зарплат:
100 000 ₽Junior+ специалист
200 000 ₽Middle+ специалист
350 000 ₽Senior специалист
4458
актуальных вакансий
Формат обучения

Интерактивные вебинары


2 занятия по 2 ак.часа в неделю. Доступ к записям и материалам остается навсегда.

Обратная связь


Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии

Активное комьюнити


Чат в Telegram для общения преподавателей и студентов

Программа

Введение

Вводный модуль, в котором мы познакомимся с брокерами сообщений и с основными понятиями Kafka.

Тема 1: Брокеры сообщений. История появления и развития. Решаемые задачи

Тема 2: Знакомство с Apache Kafka. Основные компоненты, варианты развертывания, экосистема, сценарии использования

Тема 3: Введение в Scala

Администрирование и внутреннее устройство Apache Kafka

Модуль посвящён администрированию и внутреннему устройству Kafka. Рассмотрим развёртывание и администрирование кластера Kafka. Познакомимся с внутренним устройством брокеров, узнаем, как настроить мониторинг и обеспечить безопасность.

Тема 1: Установка и настройка кластера. Zookeeper. Kraft. Настройка брокеров

Тема 2: Операции с топиками. Партиции (разделы), репликации. Свойства топиков

Тема 3: Мониторинг кластера Kafka

Тема 4: Безопасность. Аутентификация, авторизация, списки управления доступом (ACL)

Программирование

Модуль посвящён основным Kafka API. Узнаем, как программно управлять Kafka, используя Admin и REST API. Научимся отправлять и получать сообщения из Kafka посредством Producer и Consumer API. Познакомимся с транзакциями и узнаем, как организовать надёжную доставку сообщений.

Тема 1: Admin API и REST API

Тема 2: Producer - отправка сообщений. Producer API

Тема 3: Consumer - чтение сообщений. Consumer API

Тема 4: Транзакции

Потоковая обработка данных

Рассмотрим особенности потоковой обработки данных. Погрузимся в фреймворк Kafka Streams.

Тема 1: Что такое потоковая обработка данных. Обзор

Тема 2: Kafka Streams. Основные понятия

Тема 3: Kafka Streams. DSL

Тема 4: Kafka Streams. Processor API

Дополнительные фреймворки

Изучим различные фреймворки обработки потоковых данных. Познакомимся с Akka и Akka Streams, ZIO и ZIO Streams. Рассмотрим, как использовать Spring с Kafka, и изучим Spark Structured Streaming.

Тема 1: Akka Streams

Тема 2: Akka Streams. Alpakka Kafka

Тема 3: ZIO Streams. ZIO Kafka

Тема 4: Spring for Apache Kafka

Тема 5: Spark Streaming

Интеграция

Этот модуль посвящён интеграции Kafka с другими системами, работе с потоками на SQL, использованию Schema Registry и организации геораспределённых систем Kafka.

Тема 1: Kafka Connect

Тема 2: ksqlDB

Тема 3: Schema Registry

Тема 4: Геораспределённая Kafka

Проектная работа

Заключительный месяц курса посвящен проектной работе. Свой проект — это то, что интересно писать слушателю. То, что можно создать на основе знаний, полученных на курсе. При этом не обязательно закончить его за месяц. В процессе написания по проекту можно получить консультации преподавателей.

Тема 1: Выбор темы и организация проектной работы

Тема 2: Консультация по проектам и домашним заданиям

Тема 3: Защита проектных работ. Подведение итогов курса

Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит

Проектная работа


Последний месяц отводится для проектной работы, которая станет частью вашего портфолио.

В проектной работе Вы сможете реализовать различные системы, в центре которых находится Kafka.

Преподаватели

Руководитель курса

Вадим Заигрин

Ведущий консультант

IBS

Роман Вороновский

Алексей Воронец

Руководитель разработки департамента проектных решений и поисковых систем

Naumen

Сергей Прощаев

Java-разработчик

ПАО Сургутнефтегаз

Евгений Непомнящий

Разработчик

IT Sense

Алексей Железной

Senior Data Engineer

FinTech

Валентин Шилин

Старший программист/аналитик данных

Deutsche Telekom IT GmbH

Артем Полозов

Senior Java Developer

Сбербанк

Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания

Ближайшие мероприятия

Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.

Kafka Streams DSL
Евгений Непомнящий
На вебинаре мы рассмотрим:
как создать граф обработчиков с использованием DSL
- как читать сообщения из топика
- как фильтровать и преобразовывать сообщения
- что происходит при изменении ключа
- как организовать роутинг сообщений
- как работать с состоянием, какие при этом возникают нюансы
- как работает join потоков сообщений
В результате вебинара пользователи узнают:
разобранные примеры использования kafka-streams.
Вебинар будет полезен:
- Специалистам, у которых, есть общее представление о Kafka и кто хочет получить представление о kafka-streams
- Тем, кто только планирует начать использовать Kafka и хочет понять, как она работает...
21 января в 17:00
Открытый вебинар

Прошедшие
мероприятия

Сергей Прощаев
Открытый вебинар
Schema Registry в Apache Kafka
Вадим Заигрин
Открытый вебинар
Kafka Connect: Легкая интеграция с внешними системами
Для доступа ко всем прошедшим мероприятиям необходимо пройти входное тестирование
Возможность пройти вступительное тестирование повторно появится только через 3 дня
Результаты тестирования будут отправлены вам на email, указанный при регистрации.
Тест рассчитан на 30 минут, после начала тестирования отложить тестирование не получится!

Корпоративное обучение для ваших сотрудников

OTUS помогает развивать высокотехнологичные команды. Почему нам удаётся это делать успешно:
  • Курсы OTUS верифицированы крупными игроками ИТ-рынка и предлагают инструменты и практики, актуальные на данный момент
  • Студенты работают в группах, могут получить консультации не только преподавателей, но и профессионального сообщества
  • OTUS проверяет знания студентов перед стартом обучения и после его завершения
  • Простой и удобный личный кабинет компании, в котором можно видеть статистику по обучению сотрудников
  • Сертификат нашего выпускника за 5 лет стал гарантом качества знаний в обществе
  • OTUS создал в IT более 120 курсов по 7 направлениям, линейка которых расширяется по 40-50 курсов в год

Отзывы

Станислав Семенчук

26.11.2024
Отличный курс! Очень понравились преподаватели, спасибо им за профессиональный подход. На курса замечательная широкая программа, раскрывающая необходимые темы для дальнейшей работы, смело бы советовал курс для прохождения коллегам. Дз также порадовало, практика - отличный инструмент для закрепления знаний. На курсе работают хорошие менеджеры, готовые помочь и ответить на вопросы. В целом курс супер, обучением остался доволен. Планирую проходить и другие курсы в отусе.

Ирина Ильина

13.11.2024
Курс понравился, довольно насыщенный по объему информации, изучили как настраивать распределенный кластер, научились отслеживать метрики. Преподаватели подробно отвечали на все вопросы. Больше всего понравились темы Kafka Streams, транзакции, мониторинг кластера. Знания, полученные на курсе, помогают мне в работе. Курс хороший, смело могу его советовать для прохождения. Думаю, курс отлично подойдёт разработчикам.

Ivan Priz

13.11.2024
Курс понравился, подробно разбирали темы, узнал много нового и полезного, опытный преподаватель) Очень полезные и интересные лекции были про устройство кафки, они мне понравились больше всего. Думаю, что знания, полученные на курсе пригодятся мне в профессиональной сфере.

Денис Фрунза

23.10.2024
Курс Apache Kafka был очень полезным для меня в плане понимания и использования этой технологии в реальных проектах. Вот мои впечатления по ключевым аспектам: Помощь и применение: Курс помог мне глубже понять как настраивать брокеры и использовать базовые API и интегрировать Kafka с другими сервисами. Понравилось: Очень понравилась практическая ориентированность курса. Мы не только изучали теорию, но и работали с реальными кейсами, что позволило мне сразу применить знания на практике.Большая часть знаний были использованы в работе Самое ценное, что я усвоил, это использование высокоуровневых фреймворков Kafka Streams, Spring, Akka, ZIO для разработки программ. Курс предоставил отличную основу для дальнейшего изучения. В целом, курс Apache Kafka дал мне значительный прирост знаний и навыков, которые я могу применять в своей профессиональной деятельности.

Алексей Воронов

29.07.2024
Курс мне очень понравился! Каfka рассматривается со стороны "программиста", и мне, как девопсу, это было очень интересно. Лайвкондинг на лекциях и онлайн дебаг ошибок - это было здорово. Все технологии рассматриваются в их "современном состоянии". Радует, что учебный материал и домашки современные и актуальные. Заметно, что преподаватели курса глубоко разбираются в Kafka. Приятно, когда обучают опытные преподаватели и тем более приятно, когда они отвечают на вопросы. Все было абсолютно замечательно!

Сергей Колесов

29.07.2024
Курс получился довольно хорошим и полезным, довольно грамотно выстроен и были затронуты многие полезные темы. Так же информация, полученная на занятиях, сильно помогла в работе при построении как новых, так и при доработке старых систем + сама технология была успешно интегрирована. Отдельно хочу отметить вебинары, которые проводил преподаватель Непомнящий Евгений. У него заранее было огромное количество примеров по каждому из занятий, что позволяло охватить больший объем затрагиваемых тем и довольно подробно объяснить каждую фичу технологии + оставалось время на демонстрацию работы программ. В остальном остались положительные впечатления, не было ощущений, что чего-то не хватает

Алексей Евдокимов

14.03.2024
Я работаю в компании БФТ. Мне требовались начальные знания по продукту Kafka. В курсе понравился способ подачи материала. Мне важно было, познакомиться с продуктом, изучить способы использования и возможность применения на текущем проекте для задач импорта и преобразования данных.

Ольга Семме

01.03.2024
Интереснейший курс, сложный, много материала. Много примеров в действии.

Алексей Байдин

12.11.2023
Курс по Apache Kafka хорошо подготовлен, правильно подобраны темы для знакомства с новой технологией (раньше работал только с брокером RabbitMQ), все преподаватели разбираются в материале и охотно отвечают на все возникающие вопросы. Курс помог стать уверенней в своих профессиональных навыках, добавив еще один технологический стек к списку моих компетенций. На последней встрече с показом итоговых проектов Вадим Заигрин обозначил темы, которые можно включить, тем самым дополнив этот курс. А так рекомендую этот курс для продвинутого погружения в Kafka абсолютно всем специалистам, как разработчикам, так и системным аналитикам и администраторам.

Grigorii Neginskii

01.08.2023
Я работаю программистом уже около 8 лет, трудился в множестве компаний (Ланит, Epam, Сiklum, Globant, Luxoft), в данный момент я работаю консультантом в небольшом стартапе, где занимаюсь реализацией CRM для автоматизации бизнес-процессов для ресторанов и их службы доставки. Учился в университете на технической специальности, а также проходил множество курсов по интересующим меня темам. C kafka раньше не сталкивался, но много раз сталкивался с вопросами о kafka на собеседованиях) Курс Kafka на Otus привлек тем, что все преподаватели - опытные специалисты из индустрии, которые сами применяют то чему учат на практике. Также, Otus предоставляет сообщество, где можно поделиться мыслями, задать вопросы. Вебинары и временные рамки держат в тонусе, поэтому такой курс проще довести до конца, чем аналогичный курс, основанный целиком на самостоятельной работе. Обучение в Otus мне нравится прежде всего домашними заданиями, сильными лекторами, интерактивностью обучения и "чувством локтя", социальной составляющей. Обучение на данном курсе дало мне достаточное представление о kafka и похожих брокерах/очередях сообщений, опыт использования их на практике, расширило кругозор. В данный момент я не ищу новую работу, но уверен, что полученные знания и навыки сослужат мне хорошую службу при последующем поиске) Что хотелось бы еще увидеть в этом и других курсах? Возможно, было бы неплохо в дополнение к практическим домашним заданиям, также добавить опросы по содержанию лекций, в частности вопросы с собеседований, имеющие пересечение с тем что было на лекции. Это бы повысило усвояемость материала, и было бы полезно при подготовке, ведь многие проходят курсы именно для повышения квалификации, которую можно было бы продемонстрировать при трудоустройстве. Также было бы неплохо добавить case studies - разбор типичных случаев использования технологии, и соответствующие вопросы в опроснике, чтобы узнать о типичных ошибках и заблуждениях. Еще было бы здорово составить последовательность домашних заданий, чтобы в итоге получался небольшой полнофункциональный проект (на произвольном языке программирования). В целом курсом очень доволен, спасибо Вадиму, Евгению и остальным преподавателям за лекции и ответы на вопросы :) 01.08.2023

Андрей Черноволов

01.08.2023
На мой взгляд очень полезный курс для широкой аудитории: аналитики, разработчики, devops, дата-инженеры... Хорошая подборка материала и рассмотрены наверное практически все (если не все) сферы применения kafka. Преподаватели понятно и доступно доносили материал, а также исчерпывающе отвечали на вопросы. На курсе много для себя почерпнул - до него можно сказать kafka и не знал)) Очень радует, что доступ к материалам остается, и если обучающийся не успел самостоятельно проработать какую-то тему - у него есть возможность сделать это позже. Спасибо за отличный курс и профессионально организованный процесс обучения! 01.08.2023

Сертификат о прохождении курса

OTUS осуществляет лицензированную образовательную деятельность. Вы получите сертификат о прохождении обучения, а также можете получить удостоверение о повышении квалификации.

После обучения:

  • Удостоверение о повышении квалификации: если вы успешно защитили выпускной проект и готовы предоставить копию документа о высшем или среднем профессиональном образовании

  • Доступ к учебным материалам курса

  • Ваш личный проект, который поможет проходить собеседования

Частые вопросы

Почему стоит выбрать именно этот курс среди других?
Программа курса Apache Kafka даст Вам самое глубокое понимание этого инструмента. Образовательная экспертиза Otus доказана более 6 лет успешной специализации на обучении в IT. Наша фишка — продвинутые программы для специалистов с опытом и быстрый запуск курсов по новым набирающим популярность технологиям. Мы уже обучили более 20 000 студентов, и будем рады помочь освоить Вам новые навыки.
Обязательно ли выполнять и защищать выпускной проект?
Для получения сертификата OTUS и УПК (удостоверение повышения квалификации государственного образца) необходимо сдать проект. Кроме того, проект необязательно защищать перед аудиторией, а можно сдать в чате с преподавателем. Для получения УПК также понадобится предъявить документ об образовании.
Обязательно ли выполнять все домашние задания?
Нет, не обязательно. Но выполнение домашних заданий поможет вам разобраться в материале курса, поэтому хотя бы часть домашних заданий стоит выполнить. При выполнении или сдаче домашнего задания, вы можете задать вопрос преподавателям, если где-то возник вопрос.
Помогаете ли вы с трудоустройством после курса?
В Otus Club проводятся вебинары на тему трудоустройства, разбор резюме, прохождения собеседований, особенности реферальных программ при найме. Также обратим Ваше внимание, что преподаватели курса занимают ведущие позиции в разных компаниях. Будьте активны, выполняйте домашние задания, стройте network с сокурсниками и преподавателями и Вам будет проще найти работу, расширив свои контакты.
Смогу ли я совмещать учебу с работой?
Да, программа курса рассчитана на то, что студент имеет ограниченный временной ресурс. 1 раз в модуль будут выдаваться домашние задания, а лекции 2 раза в неделю, которые вы всегда можете посмотреть в записи.
Что, если в середине курса я не смогу продолжать обучение?
У вас есть право одного бесплатного трансфера в другую группу. И лекции курса в любом случае у вас останутся в личном кабинете навсегда. Также есть отдельные опции по сдаче домашних заданий даже после окончания программы курса.
Я могу вернуть деньги?
Да, вы можете сделать возврат средств пропорционально оставшимся месяцам обучения.
Может ли мой работодатель оплатить курс?
Конечно, мы работаем с юр. лицами. При общении с менеджером уточните, что оплачивать будет Ваш работодатель.
Остались вопросы?
Оставляйте заявку и задавайте вопросы менеджеру, команда курса с ним на связи и постарается дать Вам дать исчерпывающую информацию.