Яндекс разработал и выложил в открытый доступ кое-что полезное для LLM-щиков. В опенсорсе появилась библиотека YaFSDP, которая позволяет ускорить обучение больших языковых моделей до 25% и расходовать до 20% меньше ресурсов GPU. Исходный код YaFSDP уже есть на GitHub. Посмотреть подробности замеров можно в репозитории GitHub, а почитать про разработку библиотеки — на Хабре. Киллер фича - Подписаться