Крупное обновление в курсе Разработка LLM с нуля. Добавил в курс разработку пяти новых моделей: - GPT-2 - Llama - Mistral - Mixtral - Gemma В процессе их разработки мы изучим новые архитектурные фишки: - Pre-norm, RMSNorm - новые способы нормализации - GELU, SiLU, SwiGLU, GeGLU - новые функции активации - KV-cache, SWA - механизмы, позволяющие оптимизировать инференс - RoPE - новый способ кодирования позиционных эмбедингов - GQA, MQA - новые экономичные механизмы внимания - MoE - новая экономичная архитектура для FNN По такому событию, следующие две недели по промокоду ALL предоставляется скидка 10%