Apache Kafka

Apache Kafka от первого топика до разбора инцидентов: лабораторные работы с НАСТОЯЩИМ брокером в браузерной песочнице и задачи с автопроверкой. Сложность растёт от модуля к модулю — первые восемь модулей дают прочную базу, а два финальных рассчитаны на инженеров уровня middle и senior: точечное удаление данных, квоты, динамическая конфигурация, чтение журнала, нагрузочное тестирование, уплотнение, планирование ёмкости и капстоун с разбором производственного инцидента. Ставить Kafka себе не нужно. Первые уроки открыты бесплатно.

Чему вы научитесь

О курсе

Практический курс по Apache Kafka с растущей сложностью: от первого топика до разбора производственного инцидента. Практика идёт на настоящем брокере — в браузерной песочнице поднимается реальный Apache Kafka 3.7, а вы решаете задачу штатными инструментами: kafka-topics.sh, kafka-console-producer/consumer.sh, kafka-consumer-groups.sh, kafka-configs.sh, kafka-acls.sh, kafka-get-offsets.sh, kafka-delete-records.sh, kafka-dump-log.sh, kafka-log-dirs.sh, kafka-producer-perf-test.sh. Система проверяет не текст решения, а фактическое состояние кластера: топики и партиции, ключи и порядок записей, офсеты и отставание групп, настройки топиков и брокера, файлы сегментов на диске, права доступа и квоты.

Базовая часть (модули 1-8): события и append-only журнал; топики, партиции и офсеты; продюсер (acks, батчинг, сжатие, идемпотентность, сериализация); консьюмеры и группы (assignment, ребалансировка, коммиты, перемотка, мониторинг lag); надёжность (репликация, ISR, min.insync.replicas, семантики доставки, транзакции); хранение (сегменты, retention, log compaction, tombstone); production-экосистема (CLI, Kafka Connect, Schema Registry, метрики, ACL); потоковая обработка и сквозной конвейер аналитики.

Продвинутая часть для middle и senior (модули 9-10): перемотка офсетов группы как инженер (dry-run, shift-by, to-datetime, снимок и восстановление офсетов); точечное удаление данных через delete-records и low watermark; квоты и троттлинг клиентов; динамическая конфигурация брокера и приоритет уровней настройки; чтение журнала через dump-log и идемпотентный продюсер; нагрузочное тестирование продюсера и работа с перцентилями; лимиты размера сообщений; уплотнение журнала на практике с настройкой cleaner; планирование ёмкости по log-dirs; капстоун — восстановление платёжного сервиса после инцидента, где сразу несколько причин отказа.

лабораторные работы на живом брокере, задачи с автопроверкой (решения принимаются на любом из семи языков: Python, Go, Java, JavaScript, C++, C или Rust) и квизы. Формат на каждом шаге: короткий плотный блок теории — и сразу закрепление. К урокам приложены ссылки на официальную документацию. Первые уроки открыты бесплатно.

Курс построен с растущей сложностью. Первые восемь модулей дают прочную базу с нуля, а два финальных рассчитаны на инженеров уровня **middle и senior**: там разбирается то, с чем сталкиваются на дежурстве — точечное удаление данных, квоты, динамическая конфигурация, чтение журнала, нагрузочное тестирование и разбор инцидентов.

Практика идёт на **настоящем брокере**: в браузерной песочнице поднимается реальный Apache Kafka, и вы решаете задачу теми же командами, которыми работают в проде. Проверяется фактическое состояние кластера, а не текст решения. Все лабораторные и задачи — с автопроверкой.

Финал курса — **капстоун с разбором производственного инцидента**: платёжный сервис не работает сразу по нескольким причинам, и нужно продиагностировать каждую и восстановить работу. Первые уроки открыты бесплатно.

Вы также можете задать любой вопрос по курсу у поддержки t.me/mentorix_support

Для кого этот курс

Backend-разработчики, которые встречают Kafka в вакансиях и на собеседованиях, но ещё не работали с ней

Инженеры, которым предстоит подключать сервисы к шине событий и проектировать событийную архитектуру

Middle и senior специалисты, которым нужна не вводная часть, а эксплуатация: квоты, конфигурация, разбор инцидентов, планирование ёмкости

Data- и DevOps-инженеры, дежурящие по кластеру: диагностика отставания, удаление данных, нагрузочные проверки

Начальные требования

Основы любого языка программирования: Python, Go, Java, JavaScript, C++, C или Rust — задачи на механику принимаются на всех семи

Базовое умение работать в командной строке: в лабораторных вы пишете обычные shell-команды

Устанавливать Kafka, Docker или Java НЕ нужно: брокер поднимается в браузерной песочнице автоматически

Опыт с распределёнными системами не требуется — курс объясняет всё с нуля

Программа курса

Модулей: 12, уроков: 60. Задачи с кодом проверяются автоматически.

  1. Знакомство с Kafka: события и брокер

  2. Топики, партиции и офсеты

  3. Продюсер: настройки и гарантии записи

  4. Консьюмеры и группы потребителей

  5. Надёжность: репликация и семантики доставки

  6. Хранение: сегменты, retention, compaction

  7. Kafka в production: инструменты и экосистема

  8. Потоковая обработка и финальный проект

  9. Продвинутая эксплуатация: офсеты, данные, квоты

  10. Производительность, ёмкость и разбор инцидентов

  11. Администрирование кластера: KRaft, брокеры и конфигурация

  12. Эксплуатация кластера: отказы, перебалансировка и обновления

Стоимость курса: 12990 ₽

Открыть курс на Mentorix · Все курсы