Описание [Вячеслав Колосков] [Stepik] Разработка LLM с нуля (2025):
Этот практический курс познакомит студентов с созданием современных языковых моделей (LLM) на примере архитектуры GPT.
Участники с нуля освоят все ключевые компоненты Трансформера, включая токенизацию (BPE), механизмы Внимания и генерацию текста. Для разработки будут использоваться только Python и низкоуровневый PyTorch без привлечения сторонних библиотек.
Чему вы научитесь:
- Читать схемы архитектур, основанных на Трансформере.
- Проектировать современные LLM.
- Понимать алгоритм токенизации текста.
- Реализовывать ключевые компоненты GPT.
- Управлять креативностью модели.
- Собирать и подготавливать данные для обучения.
- Настраивать цикл обучения Pre-train для LLM.
Курс рассчитан на разработчиков, инженеров машинного обучения и исследователей, стремящихся глубоко изучить архитектуру современных языковых моделей (LLM).
Начальные требования:
- Базовые знания Python, включая понимание ООП (классы, функции).
- Основы машинного обучения: train/test, таргет, фичи, градиент, функции потерь, метрики и т.д.
- Базовые знания по PyTorch: линейные слои, активации, нормализация, дропаут, обратное распространение ошибки.
- Желательно иметь опыт реализации простой полносвязной сети для задачи многоклассовой классификации.
Вячеслав Колосков — Machine Learning Engineer с более чем 15-летним опытом работы в IT. Последние 5 лет он занимается машинным обучением в телекоммуникационной сфере. Его опыт включает работу с большими данными (Spark, Hadoop) и активное участие в проектах, связанных с NLP, включая разработку RAG-системы.
Программа курса:
Введение
- Инструкция.
- Что такое LLM?
- Архитектура LLM.
- Byte-Pair Encoding.
- Эмбединги.
- Механизм «Внимание».
- Feed-Forward Network.
- Decoder.
- Сборка GPT.
- Сэмплирование.
- Подготовка датасета.
- Train/Eval.
- Применение модели.
- GPT-2.
- LLama.
- Mistral.
- Mixtral.
- Gemma.
Подробнее:
Скачать курс [Вячеслав Колосков] [Stepik] Разработка LLM с нуля (2025):
Для просмотра содержимого вам необходимо авторизоваться