Что же такое MoE? (Mixture of Experts) Я уверен, вы все натыкались на это слово в релизах новых LLM, в новостных постах в Telegram - это очень популярная нынче техника, которая позволяет увеличивать размеры модели вширь, не сильно проседая по скорости работы. Мне лично очень тяжело потреблять текстовый контент; картинками и видео всегда веселее. Поэтому вот - сделал видосик с понятным разбором того, как же всё это работает. 🤓Ориентировано видео в основном на тех кто в сфере работает, и не испугается слова линейный слой. 🟠Разбираю БЕЗ духоты и с примерами кода🟠 Там оказывается все ОЧЕНЬ ПРОСТО ВИДЕО: https://youtu.be/cyLFiwlovCQ?si=70a-Q7TGDeGeqO5M ВИДЕО: https://youtu.be/cyLFiwlovCQ?si=70a-Q7TGDeGeqO5M ВИДЕО: https://youtu.be/cyLFiwlovCQ?si=70a-Q7TGDeGeqO5M КОД: CСЫЛОЧКА_НА_КОД Более подробные разборы: 1) На русском Хабр: ссылка 2) На английском huggingface: ссылка 3) Крутое видео с визуализациями: ссылка