В Yandex Research разработали проект для запуска Llama 3.1 на пользовательских устройствах Исследователь Yandex Research Владимир Малиновский создал сервис AQLM.rs, который позволяет запустить большую языковую модель Llama 3.1 (создана Meta, которая признана экстремистской организацией и запрещена в России) с 8 млрд параметров на компьютере или смартфоне. Протестировать сервис можно на сайте проекта. При запуске на устройство пользователя загружается модель, размер которой уменьшен в восемь раз, до 2,5 Гб. Сервис использует методы сжатия языковых моделей, которые ученые Yandex Research представили в июле вместе с исследователями из Института науки и технологий Австрии (ISTA) и Научно-технологического университета имени короля Абдаллы в Саудовской Аравии (KAUST). 👉🏻 AQLM.rs на GitHub 🔗 Источник: https://habr.com/ru/companies/yandex/articles/864296/