NVIDIA готовит новую процессорную платформу, оптимизированную под инференс — быстрые и экономичные ответы модели в продакшене. По данным Reuters со ссылкой на The Wall Street Journal, анонс ожидается на NVIDIA GTC в Сан-Хосе. Reuters отметило, что не смогло немедленно верифицировать эту информацию Также в публикациях упоминаются технологии Groq, что указывает на более глубокую специализацию под inference-нагрузки. Почему это важно для всех, кто считает инфраструктуру под AI: - Инференс становится основной нагрузкой: компании переводят нейросети из «пилотов» в ежедневный продакшен — ассистенты, поиск, персонализация, интерфейсы. - На первый план выходят latency, стоимость токена и эффективность на ватт, а не только пиковые FLOPS и «железо для обучения». - Рынок уходит к специализации: отдельные платформы под обучение и отдельные — под инференс. Провайдерам и командам, которые планируют закупку GPU и ускорителей, стоит оценивать не только показатели обучения, но и производительность инференса в реальных условиях: количество запросов в секунду, задержки на 99-м перцентиле, стоимость токена и энергопотребление.