https://www.docker.com/blog/introducing-docker-model-runner/ Docker сделал llama.cpp + хранилище моделей в Docker Hub + OpenAI API из коробки, в общем докеризация моделей от докера