Tokentap: MitM-прокси для мониторинга токенов и запросов к LLM — установка и использование Tokentap — это инструмент для контроля токенов и безопасности запросов к крупным языковым моделям. Он позволяет мониторить расходы, инспектировать промпты и маршрутизировать запросы, применяясь в разработке и эксплуатации LLM-приложений. Для работы требуется настройка прокси-сервера и учет совместимости с API различных моделей. Читать статью → Подписаться на канал