Запилил на Степике курс - Разработка LLM с нуля В курсе вам предстоит с нуля реализовать все основные компоненты LLM: - Токенизатор (BPE) - Эмбеддинги (Токенов и Позиционные) - Блок Декодера: - Multi-Head Attention - FeedForward-слои - Остаточные связи - Вероятностная генерация После чего мы соберем и подготовим датасет и обучим свою LLM (pre-train). Разработка будет вестиcь на Python и низкоуровневых компонентах PyTorch. Курс платный. Следующие две недели по промокоду FIRST предоставляется скидка 50%.