Описание [Владимир Кириевский] [Stepik] Асинхронные микросервисы с Apache Kafka на Python (2025):
Если вы ещё не сталкивались с брокерами сообщений в своих проектах, то, начав изучение Apache Kafka, вы сделаете правильный выбор и откроете для себя мир событийно-управляемой архитектуры. В рамках этого курса вы освоите наиболее популярные библиотеки для работы с Kafka и научитесь создавать масштабируемые системы микросервисов, которые будут взаимодействовать через Kafka.
Курс предназначен для начинающих разработчиков, уже имеющих опыт работы с Python. Вы узнаете, как применять популярные библиотеки для работы с Kafka, такие как confluent_kafka, aiokafka и faststream. Вы поймёте логику работы Kafka и научитесь создавать как блокирующие, так и асинхронные приложения с продюсерами и консьюмерами. Также вы сможете использовать Kafka в приложениях, построенных на современных веб-фреймворках, например, FastAPI.
В ходе обучения вы установите необходимое программное обеспечение и загрузите репозиторий с учебными примерами. Все примеры кода в уроках небольшие и простые, поэтому вы сможете разобраться в них самостоятельно, не возвращаясь к предыдущим урокам.
После просмотра видео вам будет предложено выполнить учебные примеры в своей интегрированной среде разработки (IDE). Это поможет вам закрепить полученные знания и применить их в своих проектах. Также рекомендуется изучить документацию к используемым библиотекам для более глубокого понимания.
Программа курса:
Перед началом обучения необходимо выполнить следующие шаги:
1. Установить необходимое программное обеспечение.
2. Загрузить репозиторий с учебными материалами.
3. Настроить интегрированную среду разработки (IDE) и загрузить необходимые библиотеки.
4. Установить Kafka.
5. Установить Offset Explorer.
6. Для тех, кто не хочет тратить время на установку, есть готовый образ VirtualBox со всеми необходимыми компонентами.
Основы Apache Kafka:
В этом разделе вы познакомитесь с основными понятиями и принципами работы Kafka. Вы узнаете, как создавать продюсеров и консьюмеров для обработки сообщений.
Основы работы с Kafka на Python:
В этом разделе вы научитесь создавать продюсеров и консьюмеров с использованием популярных библиотек для работы с Kafka на Python.
Создание продюсера и консьюмера:
Вы научитесь создавать продюсера и консьюмера с помощью простых примеров кода.
Продюсер и два консьюмера:
В этом разделе вы создадите продюсера и два консьюмера для обработки сообщений.
Продюсер, три консьюмера и две группы:
Вы создадите продюсера, три консьюмера и две группы для обработки сообщений.
Два продюсера, два топика и один консьюмер:
В этом разделе вы создадите двух продюсеров, два топика и один консьюмер для обработки сообщений.
Осиротевшая партиция и ребалансировка:
Вы узнаете, как обрабатывать сообщения, которые были отправлены в партицию, которая была удалена. Также вы научитесь ребалансировать партиции.
Распределение сообщений по партициям с разными ключами:
В этом разделе вы научитесь распределять сообщения по партициям с разными ключами.
Работа без автоматического коммита: транзакции:
Вы узнаете, как обрабатывать сообщения без автоматического коммита и использовать транзакции.
Сериализация данных:
В этом разделе вы узнаете, как сериализовать данные для их передачи по сети.
Сериализация данных в json:
Вы научитесь сериализовать данные в формате JSON.
Применение pydantic:
Вы узнаете, как использовать библиотеку pydantic для валидации данных.
Практический пример: приложение сбора данных:
В этом разделе вы создадите приложение для сбора данных с использованием Kafka и Python.
Асинхронная работа:
Вы узнаете, как использовать асинхронное программирование для обработки сообщений в Kafka.
Что почитать про asyncio:
В этом разделе вы найдёте дополнительные материалы для изучения асинхронного программирования.
Создание продюсера и консьюмера с использованием aiokafka:
В этом разделе вы создадите продюсера и консьюмера с использованием библиотеки aiokafka.
Интеграция Kafka с веб-приложением на FastApi:
Вы научитесь интегрировать Kafka с веб-приложением, построенным на фреймворке FastAPI.
Потоковая обработка данных с использованием FastStream:
Вы узнаете, как использовать FastStream для потоковой обработки данных.
Основы работы с FastStream:
В этом разделе вы узнаете, как использовать FastStream для обработки данных.
Послесловие:
В этом разделе вы найдёте дополнительные материалы для закрепления полученных знаний.
Заключение:
Курс Apache Kafka — это отличный выбор для тех, кто хочет освоить работу с брокерами сообщений и создать масштабируемые системы микросервисов.
Подробнее:
Скачать курс [Владимир Кириевский] [Stepik] Асинхронные микросервисы с Apache Kafka на Python (2025):
Для просмотра содержимого вам необходимо авторизоваться
Вложения
Последнее редактирование модератором:
