P
Prefire iOS
@prefire_ios960 подп.
1.1Kпросмотров
31 октября 2025 г.
📷 ФотоScore: 1.2K
🧩 AnyLanguageModel: подключаем любую LLM к Apple Foundation Models API Apple добавила Foundation Models в iOS 26 и macOS 26. Теперь можно напрямую вызывать on-device LLM через Swift с помощью LanguageModelSession, Tool, @Generable, Guided Generation и других инструментов. Проблема в том, что API работает только с системной моделью Apple SLM примерно на 3 миллиарда параметров. Если хочешь использовать GPT-4, Claude или локальную Llama 3.2, то стандартный API не поможет. AnyLanguageModel повторяет API Foundation Models и позволяет выбрать любой бэкенд: Core ML, MLX, llama.cpp, Ollama, OpenAI, Anthropic. Достаточно заменить import FoundationModels на import AnyLanguageModel, и код продолжит работать. ⚙️ Под капотом • Полностью совместим с FoundationModels • OS 17.0+ / macOS 14.0+ (В отличии от FoundationModels) • Использует Swift 6.1 traits для подключения только нужных движков • Поддерживает Tools, Guided Generation и Streaming • Гибкий: работает локально, в облаке или в гибридной схеме 🧠 Apple Foundation Models • Доступны на iOS, macOS и visionOS 26+ • Встроенная on-device модель (~3B), работает оффлайн • Поддерживают Tool-вызовы, Guided Generation и адаптеры LoRA • Адаптеры можно устанавливать как Background Assets Apple SLM уступает моделям уровня GPT по мощности, но выигрывает в приватности и скорости отклика. Guided Generation делает модель точной при типизированных задачах, например со структурами или enum. 🧩 Примеры • Локально через Ollama: llama3.2, phi4, gemma2 • Через MLX на M-чипах: mlx-community/Qwen3-0.6B • В облаке: OpenAI, Anthropic 🔗 Полезное • GitHub: mattt/AnyLanguageModel • Apple Docs: Foundation Models Guide
1.1K
просмотров
1663
символов
Да
эмодзи
Да
медиа

Другие посты @prefire_ios

Все посты канала →
🧩 AnyLanguageModel: подключаем любую LLM к Apple Foundation — @prefire_ios | PostSniper