Apache Kafka

Практика по работе с Kafka для инженеров данных и разработчиков

28 мая

Professional

3 месяца

Онлайн

Вт/Чт 20:00 Мск

Для кого этот курс?

  • Для разработчиков, которые хотят научиться грамотно организовать работу микросервисов и повысить общую надежность системы
  • Для инженеров данных, которые хотят научиться строить комплексные системы обработки данных
  • Для DevOps, SRE Engineer, архитекторов, которые хотят использовать всю мощь Kafka в работе

Как Kafka упрощает жизнь разработчикам и инженерам данных

Kafka жизненно важна аналитикам в режиме реального времени, так как позволяет доставлять данные с очень низкими задержками. При попытке использовать обычную СУБД в качестве промежуточного хранилища для потоков данных, вы очень быстро столкнетесь с высокой нагрузкой на базу и долгими задержками доставки данных. Kafka же была изначально создана именно для поставки потоков данных в режиме реального времени и позволяет добиться задержек в несколько миллисекунд.

Необходимые знания

  • Умение работать в командной строке Unix/Linux
  • Базовое знание Java или Scala
  • Опыт работы с Docker

Подходит ли эта программа именно вам?

Пройдите тест, чтобы определить свой уровень знаний

Что даст вам этот курс?

Kafka позволяет унифицировать протокол обмена данными между разными системами, выступает временным хранилищем между источником и приемником, а также выступает “буфером” для нагрузки. Если источник внезапно выдал большой объем данных, система-приемник может упасть под нагрузкой.

Kafka — это сервис, позволяющий в реальном времени и с высокой пропускной способностью передавать сообщения между различными системами. Его используют для различных целей — передача данных в хранилище, потоковая аналитика, взаимодействие между сервисами и т. д.

После обучения вы сможете:

  • Развернуть Kafka
  • Настроить брокеры и темы
  • Использовать базовые API
  • Разрабатывать программы на высокоуровневых фреймворках Kafka Streams, Spring, Akka, ZIO
  • Интегрировать Kafka с другими системами
  • Настроить мониторинг и безопасность (аутентификация, авторизация)

Дополнительно на курсе вы:

  • Познакомитесь с работой с топиками на SQL (ksqlDB)
  • Научитесь работать со Schema Registry
  • Познакомитесь с REST API для работы с Kafka
Зачем изучать Apache Kafka?

Если вы хотите работать в проектах обработки больших данных или проектах построения микросервисной архитектуры, то вам будет полезно освоить эту технологию. 

Процесс обучения

Обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в Telegram, сдача домашних работ и получение обратной связи от преподавателя.

Вебинары проводятся 2 раза в неделю по 2 ак. часа и сохраняются в записи в личном кабинете. Вы можете посмотреть их в любое удобное для вас время.

В ходе обучения вы будете выполнять домашние задания. Каждое из них посвящено одному из компонентов вашего выпускного проекта.

После выполнения всех домашних заданий вы получите готовый выпускной проект.

Портфолио

Индивидуальная разработка итоговой проектной работы 

Оптимальная нагрузка

Возможность совмещать учебу с работой 

Перспективы

Сможете претендовать на позицию Data Scientist Junior + / Middle+ в зависимости от вашего базового уровня

Трудоустройство

Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности.

  • Получите помощь с оформлением резюме, портфолио и сопроводительного письма
  • Разместите свое резюме в базе OTUS и сможете получать приглашения на собеседования от партнеров

Data Engineer, Kafka Developer

Перспективы направления
Средний уровень зарплат в Москве:
100 000Junior+ специалист
200 000Middle+ специалист
350 000Senior специалист
4458
актуальных вакансий
Формат обучения

Интерактивные вебинары


2 занятия по 2 ак.часа в неделю. Доступ к записям и материалам остается навсегда.

Обратная связь


Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии

Активное комьюнити


Чат в Telegram для общения преподавателей и студентов

Программа

Введение

Знакомство с брокерами сообщений. Знакомство с Kafka.

Тема 1: Брокеры сообщений. История появления и развития. Решаемые задачи

Тема 2: Знакомство с Apache Kafka. Основные компоненты, варианты развертывания, экосистема, сценарии использования

Тема 3: Введение в Scala

Администрирование и внутреннее устройство Apache Kafka

Развёртывание и администрирование кластера Kafka. Внутреннее устройство, мониторинг и безопасность.

Тема 1: Установка и настройка кластера. Zookeeper. Kraft. Настройка брокеров

Тема 2: Операции с топиками. Партиции (разделы), репликации. Свойства топиков

Тема 3: Мониторинг кластера Kafka

Тема 4: Безопасность. Аутентификация, авторизация, списки управления доступом (ACL)

Программирование

Изучаем Kafka API: - Admin - Producer - Consumer - транзакции

Тема 1: Admin API и REST API

Тема 2: Producer - отправка сообщений. Producer API

Тема 3: Consumer - чтение сообщений. Consumer API

Тема 4: Транзакции

Потоковая обработка данных

Рассмотрим потоковую обработку данных - работу с потоками на высоком уровне.

Тема 1: Что такое потоковая обработка данных. Обзор

Тема 2: Kafka Streams. Основные понятия

Тема 3: Kafka Streams. DSL

Тема 4: Kafka Streams. Processor API

Дополнительные фреймворки

Изучим основные фреймворки обработки потоковых данных.

Тема 1: Akka Streams

Тема 2: Akka Streams. Alpakka Kafka

Тема 3: ZIO Streams. ZIO Kafka

Тема 4: Spring for Apache Kafka

Тема 5: Spark Streaming

Интеграция

Рассмотрим интеграцию Kafka с другими системами и дополнительные возможности.

Тема 1: Kafka Connect

Тема 2: ksqlDB

Тема 3: Schema Registry

Тема 4: Геораспределённая Kafka

Проектная работа

Заключительный месяц курса посвящен проектной работе. Свой проект — это то, что интересно писать слушателю. То, что можно создать на основе знаний, полученных на курсе. При этом не обязательно закончить его за месяц. В процессе написания по проекту можно получить консультации преподавателей.

Тема 1: Выбор темы и организация проектной работы

Тема 2: Консультация по проектам и домашним заданиям

Тема 3: Защита проектных работ. Подведение итогов курса

Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит

Проектная работа


Последний месяц отводится для проектной работы, которая станет частью вашего портфолио.

В проектной работе Вы сможете реализовать различные системы, в центре которых находится Kafka.

Преподаватели

Руководитель курса

Вадим Заигрин

Ведущий консультант

IBS

Евгений Непомнящий

Разработчик

IT Sense

Валентин Шилин

Старший программист/аналитик данных

Deutsche Telekom IT GmbH

Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания

Ближайшие мероприятия

Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.

Введение в язык программирования Scala
Валентин Шилин
На уроке рассмотрим общие принципы, функциональность Scala. Слушатели получат базовое представления о средствах разработки использующихся в курсе Apache Kafka. Сделаем обзор языковых средств Scala 2 и 3, основы функционального программирования и взаимодействие с Kafka через Alpakka.

Урок будет полезен инженерам данных и разработчикам.
...
25 апреля в 17:00
Открытый вебинар
Kafka и Clickhouse - как организовать взаимодействие
Вадим Заигрин
На уроке рассмотрим организацию взаимодействия между Apache Kafka и ClickHouse, двумя популярными инструментами обработки и анализа данных.

- Рассмотрим Apache Kafka. Познакомимся с ClickHouse.

- Узнаем как организовать загрузку данных из Kafka в ClickHouse.

Урок будет полезен инженерам данных и разработчикам
...
8 мая в 17:00
Открытый вебинар
Знакомство с Apache Kafka
Евгений Непомнящий
Вы узнаете про особенности Kafka и ее устройство, познакомитесь с основными утилитами, рассмотрите базовое АПИ для работы с Kafka

Кому подходит: разработчикам, архитекторам, которым требуется работать с Kafka
...
20 мая в 17:00
Открытый вебинар

Прошедшие
мероприятия

Валентин Шилин
Открытый вебинар
Пишем продьюсер и консьюмер на Alpakka
Евгений Непомнящий
Открытый вебинар
Знакомство с Apache Kafka
Оставьте заявку, чтобы получить доступ ко всем записям прошедших мероприятий. Записи всех мероприятий появятся в этом блоке

Корпоративное обучение для ваших сотрудников

Отус помогает развивать высокотехнологичные Команды. Почему нам удаётся это делать успешно:
  • Курсы OTUS верифицированы крупными игроками ИТ-рынка и предлагают инструменты и практики, актуальные на данный момент
  • Студенты работают в группах, могут получить консультации не только преподавателей, но и профессионального сообщества
  • OTUS проверяет знания студентов перед стартом обучения и после его завершения
  • Простой и удобный личный кабинет компании, в котором можно видеть статистику по обучению сотрудников
  • Сертификат нашего выпускника за 5 лет стал гарантом качества знаний в обществе
  • OTUS создал в IT более 120 курсов по 7 направлениям, линейка которых расширяется по 40-50 курсов в год

Отзывы

Алексей Евдокимов

14.03.2024
Я работаю в компании БФТ. Мне требовались начальные знания по продукту Kafka. В курсе понравился способ подачи материала. Мне важно было, познакомиться с продуктом, изучить способы использования и возможность применения на текущем проекте для задач импорта и преобразования данных.

Ольга Семме

01.03.2024
Интереснейший курс, сложный, много материала. Много примеров в действии.

Алексей Байдин

12.11.2023
Курс по Apache Kafka хорошо подготовлен, правильно подобраны темы для знакомства с новой технологией (раньше работал только с брокером RabbitMQ), все преподаватели разбираются в материале и охотно отвечают на все возникающие вопросы. Курс помог стать уверенней в своих профессиональных навыках, добавив еще один технологический стек к списку моих компетенций. На последней встрече с показом итоговых проектов Вадим Заигрин обозначил темы, которые можно включить, тем самым дополнив этот курс. А так рекомендую этот курс для продвинутого погружения в Kafka абсолютно всем специалистам, как разработчикам, так и системным аналитикам и администраторам.

Grigorii Neginskii

01.08.2023
Я работаю программистом уже около 8 лет, трудился в множестве компаний (Ланит, Epam, Сiklum, Globant, Luxoft), в данный момент я работаю консультантом в небольшом стартапе, где занимаюсь реализацией CRM для автоматизации бизнес-процессов для ресторанов и их службы доставки. Учился в университете на технической специальности, а также проходил множество курсов по интересующим меня темам. C kafka раньше не сталкивался, но много раз сталкивался с вопросами о kafka на собеседованиях) Курс Kafka на Otus привлек тем, что все преподаватели - опытные специалисты из индустрии, которые сами применяют то чему учат на практике. Также, Otus предоставляет сообщество, где можно поделиться мыслями, задать вопросы. Вебинары и временные рамки держат в тонусе, поэтому такой курс проще довести до конца, чем аналогичный курс, основанный целиком на самостоятельной работе. Обучение в Otus мне нравится прежде всего домашними заданиями, сильными лекторами, интерактивностью обучения и "чувством локтя", социальной составляющей. Обучение на данном курсе дало мне достаточное представление о kafka и похожих брокерах/очередях сообщений, опыт использования их на практике, расширило кругозор. В данный момент я не ищу новую работу, но уверен, что полученные знания и навыки сослужат мне хорошую службу при последующем поиске) Что хотелось бы еще увидеть в этом и других курсах? Возможно, было бы неплохо в дополнение к практическим домашним заданиям, также добавить опросы по содержанию лекций, в частности вопросы с собеседований, имеющие пересечение с тем что было на лекции. Это бы повысило усвояемость материала, и было бы полезно при подготовке, ведь многие проходят курсы именно для повышения квалификации, которую можно было бы продемонстрировать при трудоустройстве. Также было бы неплохо добавить case studies - разбор типичных случаев использования технологии, и соответствующие вопросы в опроснике, чтобы узнать о типичных ошибках и заблуждениях. Еще было бы здорово составить последовательность домашних заданий, чтобы в итоге получался небольшой полнофункциональный проект (на произвольном языке программирования). В целом курсом очень доволен, спасибо Вадиму, Евгению и остальным преподавателям за лекции и ответы на вопросы :) 01.08.2023

Андрей Черноволов

01.08.2023
На мой взгляд очень полезный курс для широкой аудитории: аналитики, разработчики, devops, дата-инженеры... Хорошая подборка материала и рассмотрены наверное практически все (если не все) сферы применения kafka. Преподаватели понятно и доступно доносили материал, а также исчерпывающе отвечали на вопросы. На курсе много для себя почерпнул - до него можно сказать kafka и не знал)) Очень радует, что доступ к материалам остается, и если обучающийся не успел самостоятельно проработать какую-то тему - у него есть возможность сделать это позже. Спасибо за отличный курс и профессионально организованный процесс обучения! 01.08.2023

Сертификат о прохождении курса

OTUS осуществляет лицензированную образовательную деятельность. В конце прохождения курса вы получите сертификат OTUS.

После обучения вы:

  • Получите материалы по пройденным занятиям (видеозаписи курса, дoполнительные материалы, финальный проект для добавления в портфолио)
  • Создадите своё портфолио проектов, которое поможет при прохождении собеседований
  • Повысите свою ценность и конкурентоспособность как IT-специалист
  • Получите сертификат об окончании курса

Частые вопросы

Почему стоит выбрать именно этот курс среди других?
Программа курса Apache Kafka даст Вам самое глубокое понимание этого инструмента. Образовательная экспертиза Otus доказана более 6 лет успешной специализации на обучении в IT. Наша фишка — продвинутые программы для специалистов с опытом и быстрый запуск курсов по новым набирающим популярность технологиям. Мы уже обучили более 20 000 студентов, и будем рады помочь освоить Вам новые навыки.
Обязательно ли выполнять и защищать выпускной проект?
Для получения сертификата OTUS и УПК (удостоверение повышения квалификации государственного образца) необходимо сдать проект. Кроме того, проект необязательно защищать перед аудиторией, а можно сдать в чате с преподавателем. Для получения УПК также понадобится предъявить документ об образовании.
Обязательно ли выполнять все домашние задания?
Нет, не обязательно. Но выполнение домашних заданий поможет вам разобраться в материале курса, поэтому хотя бы часть домашних заданий стоит выполнить. При выполнении или сдаче домашнего задания, вы можете задать вопрос преподавателям, если где-то возник вопрос.
Помогаете ли вы с трудоустройством после курса?
В Otus Club проводятся вебинары на тему трудоустройства, разбор резюме, прохождения собеседований, особенности реферальных программ при найме. Также обратим Ваше внимание, что преподаватели курса занимают ведущие позиции в разных компаниях. Будьте активны, выполняйте домашние задания, стройте network с сокурсниками и преподавателями и Вам будет проще найти работу, расширив свои контакты.
Смогу ли я совмещать учебу с работой?
Да, программа курса рассчитана на то, что студент имеет ограниченный временной ресурс. 1 раз в модуль будут выдаваться домашние задания, а лекции 2 раза в неделю, которые вы всегда можете посмотреть в записи.
Что, если в середине курса я не смогу продолжать обучение?
У вас есть право одного бесплатного трансфера в другую группу. И лекции курса в любом случае у вас останутся в личном кабинете навсегда. Также есть отдельные опции по сдаче домашних заданий даже после окончания программы курса.
Я могу вернуть деньги?
Да, вы можете сделать возврат средств пропорционально оставшимся месяцам обучения.
Может ли мой работодатель оплатить курс?
Конечно, мы работаем с юр. лицами. При общении с менеджером уточните, что оплачивать будет Ваш работодатель.
Остались вопросы?
Оставляйте заявку и задавайте вопросы менеджеру, команда курса с ним на связи и постарается дать Вам дать исчерпывающую информацию.