LLM-инженер [Gigaschool] часть 1 из 5
ВНИМАНИЕ: Это первая из пяти складчин на полный курс.
В связи с высокой стоимостью (180 000 руб.) и продолжительностью (5,5 месяцев) курса, для удобства участников принято решение о его разделении на 5 частей. Каждая часть соответствует одному большому разделу программы. Каждая последующая складчина является продолжением предыдущей, и соответственно необходимо оплатить предыдущую.
Это первая часть большого онлайн-курса, на которой вы научитесь создавать, дообучать и оптимизировать собственные большие языковые модели (LLM). Под руководством экспертов вы изучите современные архитектуры, методы дообучения PEFT, выравнивания моделей с помощью RLHF и способы уменьшения их размера для эффективного использования.
Спойлер: Что вы освоите в этой части?
Программа первой части курса
Раздел 1. Своя LLM
Лекция: Современные LLM, close vs open models, оценка качества, бенчмарки, что выбрать для своих задач, прайсинг.
Лекция: Оптимизации инференса в LLM - KV-caching, speculative decoding, MoE.
Лекция: Проблематика обучения LLM, обзор методов PeFT, нюансы применения.
Семинар: Сравнение методов файнтюнинга - полный, LP, LP+FT, PEFT.
Лекция: Что такое RLHF & Alignment, базовая терминология RL и обзор методов: RLHF, PPO, DPO.
Семинар: TRL, RLHF для чат-модели - PPO или DPO.
Лекция: Обзор методов уменьшения размеров модели - дистилляция, квантование, прунинг.
Семинар: Сравнение инструментов и влияние «битности» на качество, Quantization + LoRA и прочие миксы.
Эксперты курса:
Александр Потехин (NLP Lead, X5 Tech), Роман Соломатин (ML Engineer, X5 Tech), Дарья Андреева (ML Engineer, X5 Tech), Кристина Желтова (Директор по разработке моделей, Газпромбанк), Евгений Кокуйкин (CEO, Raft).
Следующие части курса:
Часть 2. Prerequisites для RAG
Часть 3. RAG
Часть 4. Агенты
Часть 5. Инфраструктура
Цена: 36000 рублей (за первую часть из пяти).
Продающий сайт полного курса:
Скачать:
ВНИМАНИЕ: Это первая из пяти складчин на полный курс.
В связи с высокой стоимостью (180 000 руб.) и продолжительностью (5,5 месяцев) курса, для удобства участников принято решение о его разделении на 5 частей. Каждая часть соответствует одному большому разделу программы. Каждая последующая складчина является продолжением предыдущей, и соответственно необходимо оплатить предыдущую.
Это первая часть большого онлайн-курса, на которой вы научитесь создавать, дообучать и оптимизировать собственные большие языковые модели (LLM). Под руководством экспертов вы изучите современные архитектуры, методы дообучения PEFT, выравнивания моделей с помощью RLHF и способы уменьшения их размера для эффективного использования.
Спойлер: Что вы освоите в этой части?
Программа первой части курса
Раздел 1. Своя LLM
Лекция: Современные LLM, close vs open models, оценка качества, бенчмарки, что выбрать для своих задач, прайсинг.
Лекция: Оптимизации инференса в LLM - KV-caching, speculative decoding, MoE.
Лекция: Проблематика обучения LLM, обзор методов PeFT, нюансы применения.
Семинар: Сравнение методов файнтюнинга - полный, LP, LP+FT, PEFT.
Лекция: Что такое RLHF & Alignment, базовая терминология RL и обзор методов: RLHF, PPO, DPO.
Семинар: TRL, RLHF для чат-модели - PPO или DPO.
Лекция: Обзор методов уменьшения размеров модели - дистилляция, квантование, прунинг.
Семинар: Сравнение инструментов и влияние «битности» на качество, Quantization + LoRA и прочие миксы.
Эксперты курса:
Александр Потехин (NLP Lead, X5 Tech), Роман Соломатин (ML Engineer, X5 Tech), Дарья Андреева (ML Engineer, X5 Tech), Кристина Желтова (Директор по разработке моделей, Газпромбанк), Евгений Кокуйкин (CEO, Raft).
Следующие части курса:
Часть 2. Prerequisites для RAG
Часть 3. RAG
Часть 4. Агенты
Часть 5. Инфраструктура
Цена: 36000 рублей (за первую часть из пяти).
Продающий сайт полного курса:
Скачать:
Для просмотра содержимого вам необходимо авторизоваться