🔺 hf-mem Утилита, показывающая сколько нужно памяти для запуска модели с HF, кол-во её параметров и заодно их разбивку. Качает только метадату, по ней и считает. uvx hf-mem --model-id Qwen/Qwen-Image (uvx тут запускает hf-mem без установки в систему) Есть флаг --experimental (работает для ForCausalLM и ForConditionalGeneration классов), с ним считает размер KV cache'а, необходимого для инференса с заданными max-length и batch-size. 👉 https://github.com/alvarobartt/hf-mem