🤦‍♂️ Обоссаные LLM-шлюзы: Как я чуть не проебал прод в субботу вечером Привет, подписечник! Новая true story с пылу-жару, прямо с прода 😐 Картина маслом: шестидневная рабочая неделя, рабочая суббота, на часах 17:00. В воздухе уже пахнет трёхдневными выходными. Планы просты — доделать пару задач, закоммитить и пойти в бар отдыхать. Ничто не предвещало беды... как вдруг — алерт! 🚨 Один мой ИИ-агент начал сходить с ума: 👉 Аномально высокое время ответа (под 60 секунд) 👉 Всплеск 5xx ошибок 👉 Fallback-модель не помогает и тоже падает Ну пиздец, что случилось-то? Быстрое расследование вывело меня на корень проблемы — LLM-шлюз, который я использовал для агрегации провайдеров. И вот тут начинается 🤬 Вот как работают эти агрегаторы и почему они тебя хотят посадить на бутылку: 1️⃣ Они воруют закупают пачки API-ключей у разных провайдеров (OpenAI, Anthropic и т.д.). 2️⃣ Ты покупаешь у них один универсальный ключ, с доступом ко всем моделям 3️⃣ При каждом твоём запросе шлюз делает ротацию: подставляет в запрос к провайдеру какой-то ключ из своей кучи. Результат на лицо: на моём аккаунте у агрегатора баланс положительный, а в логи летят ошибки «Insufficient funds», «Cloudflare ban» или «Rate limit exceeded». Какого хуя?? 😭 Карочи, из-за кривой ротации и ненадёжных прокси какого-то подрядчика, мой AI прод лег за час до конца рабочего дня 💀💀💀 Решение было экстренным — хардкод на ущербный Gigachat. Который стоит в x10 раз дороже! 😱 Но зато его удержат славянские скрепы и родная русская матушка-земля ❤️ Его ключ не забанит случайный аноним из общего пула. Посмотрим, как система продержится выходные. Но урок усвоен... 💡 Вот теперь доверяй критичный прод сторонним агрегаторам с их уебищной магией. Их экономия в пару центов не стоит ваших нервов и репутации. В среду буду думать, что с этим делать в долгосроке 🤷‍♂️