Инструмент недели. Llama.cpp Больше чем приложение, это фундаментальная технология, клянусь! Если вдруг ты о ней не знал, то готовься узнать. 🤣 Llama.cpp - это опенсорс на плюсах, предназначенный для локального запуска моделей LLaMA (и других моделей) на компьютере с помощью процессора (CPU), а не только с помощью видеокарты (GPU). Нам это надо, берем! Значит, можно сделать доступными мощные языковые модели (вроде LLaMA, Mistral, Phi и других) на личных компьютерах, не обязательно с мощным GPU. В корне технологии - квантование (quantization) моделей. 😳 Это означает, что библиотека преобразует точные (32-битные) веса модели в более компактные 16-битные или даже 8-битные. В результате модель занимает меньше места на диске и требует меньше RAM для работы, что делает её runnable (запускаемой) даже на обычном ПК. Архитектура и возможности Llama.cpp работает почти везде 🧑‍💻 на Windows, Linux и macOS, без танцев с бубном. Её можно использовать двумя способами: 🖥 как консольную программу — запускаешь из терминала и сразу общаешься с моделью; 🧩 как библиотеку - встраиваешь в своё приложение, сервис или тулзу. Почему я не могу перестать писать про нее Производительность на CPU часто значительно выше, чем у обычных Python-оберток для моделей, что достигается за счет эффективной реализации и квантования. 🙈Кроме того, квантованные модели занимают мало места (десятки, а иногда и единицы гигабайтов). Да здравствует демократизация запуска ЛЛМ! Все 🥳