Оказывается, у Microsoft есть свой движок для запуска ИИ - Foundry Local. Он позиционируется как аналог более известным инструментам - Ollama, LM Studio и llama.cpp, но с глубокой интеграцией в стек технологий Microsoft и оптимизацией под Windows. Заявлена совместимость с OpenAI API , а в каталоге моделей доступно 27 штук (не густо, в сравнеии с hugging face). В общем, знайте что такое есть. https://www.foundrylocal.ai/