Apache Kafka

Практика по работе с Kafka для инженеров данных и разработчиков

30 октября

3 месяца

Онлайн

Пн/Чт 20:00 Мск

Для кого этот курс?

  • Для разработчиков, которые хотят научиться грамотно организовать работу микросервисов и повысить общую надежность системы
  • Для инженеров данных, которые хотят научиться строить комплексные системы обработки данных
  • Для DevOps, SRE Engineer, архитекторов, которые хотят использовать всю мощь Kafka в работе

Как Kafka упрощает жизнь разработчикам и инженерам данных

Kafka жизненно важна аналитикам в режиме реального времени, так как позволяет доставлять данные с очень низкими задержками. При попытке использовать обычную СУБД в качестве промежуточного хранилища для потоков данных, вы очень быстро столкнетесь с высокой нагрузкой на базу и долгими задержками доставки данных. Kafka же была изначально создана именно для поставки потоков данных в режиме реального времени и позволяет добиться задержек в несколько миллисекунд.

Необходимые знания

  • Умение работать в командной строке Unix/Linux
  • Базовое знание Java или Scala
  • Опыт работы с Docker

Что даст вам этот курс?

Kafka позволяет унифицировать протокол обмена данными между разными системами, выступает временным хранилищем между источником и приемником, а также выступает “буфером” для нагрузки. Если источник внезапно выдал большой объем данных, система-приемник может упасть под нагрузкой.

Kafka — это сервис, позволяющий в реальном времени и с высокой пропускной способностью передавать сообщения между различными системами. Его используют для различных целей — передача данных в хранилище, потоковая аналитика, взаимодействие между сервисами и т. д.

После обучения вы сможете

  • Развернуть Kafka
  • Настроить брокеры и темы
  • Использовать базовые API
  • Разрабатывать программы на высокоуровневых фреймворках Kafka Streams, Spring, Akka
  • Интегрировать Kafka с другими системами
  • Настроить мониторинг и безопасность (аутентификация, авторизация)

Дополнительно на курсе вы:

  • Познакомитесь с работой с топиками на SQL (ksqlDB)
  • Научитесь работать со Schema Registry
  • Познакомитесь с REST API для работы с Kafka
Зачем изучать Apache Kafka?

Если вы хотите работать в проектах обработки больших данных или проектах построения микросервисной архитектуры, то вам будет полезно освоить эту технологию. 

Процесс обучения

Все обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в закрытом Telegram чате, сдача домашних работ и получение обратной связи от преподавателей. Вебинары идут два раза в неделю по 2 академических часа. Все записи вебинаров будут доступны в личном кабинете. Домашнее задание выдается в среднем раз в 1 неделю, а его выполнение занимает 2-3 часа.

Трудоустройство

Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности. Мы оказываем помощь в вопросах карьеры на протяжении всего обучения и спустя полгода после его завершения.

  • Получите помощь с оформлением резюме, портфолио и сопроводительного письма
  • Разместите свое резюме в базе OTUS и сможете получать приглашения на собеседования от партнеров

Data Engineer, Kafka Developer

Перспективы направления
Средний уровень зарплат в Москве:
100 000Junior+ специалист
200 000Middle+ специалист
350 000Senior специалист
4458
актуальных вакансий
Формат обучения

Интерактивные вебинары


2 занятия по 2 ак.часа в неделю. Доступ к записям и материалам остается навсегда.

Обратная связь


Развернутый фидбэк по домашним заданиям от преподавателей.

Активное комьюнити


Общайтесь с преподавателями голосом на вебинарах и в закрытой Telegram группе.

Программа

Введение

Тема 1: Брокеры сообщений. История появления и развития. Решаемые задачи

Тема 2: Знакомство с Apache Kafka. Основные компоненты, варианты развертывания, экосистема, сценарии использования

Тема 3: Введение в Scala

Развертывание кластера Apache Kafka

Тема 1: Установка и настройка кластера. Zookeeper. Kraft. Настройка брокеров

Тема 2: Операции с топиками. Партиции (разделы), репликации. Свойства топиков

Тема 3: Мониторинг кластера Kafka

Тема 4: Безопасность. Аутентификация, авторизация, списки управления доступом (ACL)

Программирование

Тема 1: Admin API

Тема 2: Producer - отправка сообщений. Producer API

Тема 3: Consumer - чтение сообщений. Consumer API

Тема 4: Транзакции

Потоковая обработка данных

Тема 1: Kafka Streams

Тема 2: Kafka Streams. Часть 2

Тема 3: Akka. Основные концепции

Тема 4: Akka Streams. Alpakka Kafka

Тема 5: ZIO Streams. ZIO Kafka

Тема 6: Spring Cloud Data Flow

Интеграция

Тема 1: Kafka Connect

Тема 2: ksqlDB

Тема 3: Schema Registry

Тема 4: Confluent REST APIs

Проектная работа

Заключительный месяц курса посвящен проектной работе. Свой проект — это то, что интересно писать слушателю. То, что можно создать на основе знаний, полученных на курсе. При этом не обязательно закончить его за месяц. В процессе написания по проекту можно получить консультации преподавателей.

Тема 1: Выбор темы и организация проектной работы

Тема 2: Консультация по проектам и домашним заданиям

Тема 3: Защита проектных работ. Подведение итогов курса

Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит
Последний месяц отводится для проектной работы, которая станет частью вашего портфолио. В проектной работе студент должен реализовать различные системы, в центре которых находится Kafka.

Преподаватели

Руководитель курса

Вадим Заигрин

Ведущий консультант

IBS

Александра Чащина

Big Data Engineer

AdTech

Евгений Непомнящий

Разработчик

IT Sense

Валентин Шилин

Старший программист/аналитик данных

Deutsche Telekom IT GmbH

Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания

Ближайшие мероприятия

Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.

ksqlDB - анализируем потоки на SQL
Вадим Заигрин
Узнаем как работать с Kafka на SQL.

Вы узнаете:
- что такое Kafka
- что такое ksqlDB
- как работать с Kafka в интерактивном режиме на SQL
- как ksqlDB помогает интегрировать Kafka с внешними системами

Кому подходит этот урок:
- тем, кто только собирается использовать Kafka - узнаете что это и как с ней работать;
- тем, кто уже работает с Kafka, но не использует ksqlDB - узнаете как с ним работать.

Результаты урока:
- обзор Kafka
- знакомство с ksqlDB;
- примеры работы с Kafka на SQL.
...
27 сентября в 17:00
Открытый вебинар
Kafka Streams
Евгений Непомнящий
Познакомимся с потоковой обработкой данных с использованием библиотеки kafka-streams

Вы узнаете:
- как создать граф обработчиков с использованием DSL
- как читать сообщения из топика
- как фильтровать и преобразовывать сообщения
- что происходит при изменении ключа
- как организовать роутинг сообщений
- как работать с состоянием, какие при этом возникают нюансы
- как работает join потоков сообщений

Кому подходит этот урок:
- тем у кого есть общее представление о Kafka и кто хочет получить представление о kafka-streams

Результаты урока:
- разобранные примеры использования kafka-streams
...
16 октября в 17:00
Открытый вебинар
Место Kafka в событийно-ориентированных системах
Вадим Заигрин
23 октября в 17:00
Открытый вебинар

Прошедшие
мероприятия

Евгений Непомнящий
Открытый вебинар
Знакомство с Apache Kafka
Вадим Заигрин
Открытый вебинар
Schema Registry в Apache Kafka
Для доступа ко всем прошедшим мероприятиям необходимо пройти входное тестирование
Возможность пройти вступительное тестирование повторно появится только через 2 недели
Результаты тестирования будут отправлены вам на email, указанный при регистрации.
Тест рассчитан на 30 минут, после начала тестирования отложить тестирование не получится!

Корпоративное обучение для ваших сотрудников

Отус помогает развивать высокотехнологичные Команды. Почему нам удаётся это делать успешно:
  • Курсы OTUS верифицированы крупными игроками ИТ-рынка и предлагают инструменты и практики, актуальные на данный момент
  • Студенты работают в группах, могут получить консультации не только преподавателей, но и профессионального сообщества
  • OTUS проверяет знания студентов перед стартом обучения и после его завершения
  • Простой и удобный личный кабинет компании, в котором можно видеть статистику по обучению сотрудников
  • Сертификат нашего выпускника за 5 лет стал гарантом качества знаний в обществе
  • OTUS создал в IT более 120 курсов по 7 направлениям, линейка которых расширяется по 40-50 курсов в год

Отзывы

Андрей Черноволов

01.08.2023
На мой взгляд очень полезный курс для широкой аудитории: аналитики, разработчики, devops, дата-инженеры... Хорошая подборка материала и рассмотрены наверное практически все (если не все) сферы применения kafka. Преподаватели понятно и доступно доносили материал, а также исчерпывающе отвечали на вопросы. На курсе много для себя почерпнул - до него можно сказать kafka и не знал)) Очень радует, что доступ к материалам остается, и если обучающийся не успел самостоятельно проработать какую-то тему - у него есть возможность сделать это позже. Спасибо за отличный курс и профессионально организованный процесс обучения! 01.08.2023

Grigorii Neginskii

01.08.2023
Я работаю программистом уже около 8 лет, трудился в множестве компаний (Ланит, Epam, Сiklum, Globant, Luxoft), в данный момент я работаю консультантом в небольшом стартапе, где занимаюсь реализацией CRM для автоматизации бизнес-процессов для ресторанов и их службы доставки. Учился в университете на технической специальности, а также проходил множество курсов по интересующим меня темам. C kafka раньше не сталкивался, но много раз сталкивался с вопросами о kafka на собеседованиях) Курс Kafka на Otus привлек тем, что все преподаватели - опытные специалисты из индустрии, которые сами применяют то чему учат на практике. Также, Otus предоставляет сообщество, где можно поделиться мыслями, задать вопросы. Вебинары и временные рамки держат в тонусе, поэтому такой курс проще довести до конца, чем аналогичный курс, основанный целиком на самостоятельной работе. Обучение в Otus мне нравится прежде всего домашними заданиями, сильными лекторами, интерактивностью обучения и "чувством локтя", социальной составляющей. Обучение на данном курсе дало мне достаточное представление о kafka и похожих брокерах/очередях сообщений, опыт использования их на практике, расширило кругозор. В данный момент я не ищу новую работу, но уверен, что полученные знания и навыки сослужат мне хорошую службу при последующем поиске) Что хотелось бы еще увидеть в этом и других курсах? Возможно, было бы неплохо в дополнение к практическим домашним заданиям, также добавить опросы по содержанию лекций, в частности вопросы с собеседований, имеющие пересечение с тем что было на лекции. Это бы повысило усвояемость материала, и было бы полезно при подготовке, ведь многие проходят курсы именно для повышения квалификации, которую можно было бы продемонстрировать при трудоустройстве. Также было бы неплохо добавить case studies - разбор типичных случаев использования технологии, и соответствующие вопросы в опроснике, чтобы узнать о типичных ошибках и заблуждениях. Еще было бы здорово составить последовательность домашних заданий, чтобы в итоге получался небольшой полнофункциональный проект (на произвольном языке программирования). В целом курсом очень доволен, спасибо Вадиму, Евгению и остальным преподавателям за лекции и ответы на вопросы :) 01.08.2023

Сертификат о прохождении курса

OTUS осуществляет лицензированную образовательную деятельность.

  • заберёте с собой полный комплект обучающих материалов: видеозаписи всех вебинаров, презентации к занятиям и получите сертификат о прохождении курса
  • создадите своё портфолио проектов, которое поможет при прохождении собеседований
  • сможете применить полученные навыки в своей работе

Частые вопросы

Что, если в середине курса я не смогу продолжать обучение?
У вас есть право одного бесплатного трансфера в другую группу
Обязательно ли защищать выпускной проект?
Для получения сертификата OTUS необходимо сдать проект. Кроме того, проект необязательно защищать перед аудиторией, а можно сдать в чате с преподавателем.
С какого момента я смогу заниматься трудоустройством?
Получить карьерную консультацию вы сможете уже в начале обучения. Остальные опции: помощь с резюме, добавление резюме в нашу базу специалистов и т.д. будут доступны после окончания обучения.
Я могу вернуть деньги?
Да, вы можете сделать возврат средств пропорционально оставшимся месяцам обучения.