Andrew Ng про цену LLM инференса За последний год цена на лучшую модель OpenAI уменьшилась на 79%. Почему? 💸 Конкурирующие LLM инференс провайдеры (anyscale, together, etc) вкладывают кучу денег в оптимизацию инференса опенсорсных моделей. Ведь дорогущее предобучение сделает какая нибудь Meta =) Поэтому и OpenAI приходится снижать цену 🚀 Успехи стартапов типа Groq позволяют делать безопасный прогноз на ещё более значительное снижение в будущем. Ну и гиганты типа nvidia/amd не сидят без дела 🧠 Появление более умной модели ганартирует появление более эффективной (через дистилляцию). А модель поменьше инферить ещё дешевле Отсюда логичный совет: фокусироваться на построении полезных продуктов, а не на оптимизации LLM костов. Если, например, пайплайн с агентом сейчас экономически невыгоден, скорее всего это изменится в будущем Твит Эндрю @building_singularity