Как мы сократили расходы на AI в 3 раза? Все говорят про внедрение нейросетей, но мало кто говорит о том, как дорого их содержать, когда проект вырастает. Мы уже больше года работаем над бэкендом и инфраструктурой приложения CalZen. CalZen — это трекер калорий, который определяет состав и питательную ценность блюда по фотографии. Для обработки и распознавания мы используем OpenAI/Gemini. Когда у тебя миллионы запросов в неделю, каждый потраченный токен бьет по карману. Поэтому мы провели серьезную работу над оптимизацией и хотим поделиться тем, что сэкономило нам бюджет. Что мы сделали? Мы разбили задачу на 5 направлений и получили совокупный эффект, который позволил нам снизить расходы в разы. ▪️ Контроль лимитов (экономия ~20%) Мы ввели жесткие лимиты на сканирования для разных категорий пользователей и настроили систему их трекинга. ▪️ Настройка параметров модели (экономия ~30%) Иногда модель тратит кучу токенов просто потому, что ей не сказали «хватит». Мы убрали лишнее из промта и выставили адекватные лимиты на максимальную длину ответа. Модель стала отвечать короче и четче. ▪️ Бизнес-логика (экономия ~10%) Мы пересмотрели сценарии: не всегда нужно звать тяжелую модель, если задачу может решить легковесный алгоритм. Например, некоторые проверки и препроцессинг данных мы вынесли до обращения к AI. ▪️ Размер токенов (экономия ~30%) Здесь мы поработали над входными данными. Картинки сжимаются до оптимального размера (чтобы модель не теряла качество, но и не обрабатывала мегапиксели), а текстовые описания чистятся от мусора. Меньше входных токенов — меньше цена. ▪️ Кэширование промтов (экономия ~10%) Если 1000 человек фотографируют яблоко, зачем 1000 раз объяснять модели, что такое яблоко? Мы закешировали повторяющиеся запросы. Это дало небольшой, но стабильный плюс к общей экономии. Мы сделали систему эффективнее. Меньше затрат на инфраструктуру — больше ресурсов на развитие фич. 📌 У вас есть мобильное приложение, и вы хотите сократить расходы на AI? Приходите на звонок-знакомство с командой along.ae, и мы рассчитаем для вас стоимость услуги. Выбрать время