Вчера приключился первый инцидент на сервере ИИ-ассистентов Каждый день я отслеживаю потребляемые ресурсы, периодически перезагружаю сервер. Но до сих пор пристально смотрел на ОЗУ и добавлял при необходимости - на нижнем графике изменение RAM за июнь Но тут неожиданно порвалось в другом месте - в физической памяти. Дело в том, что на текущий момент 175 пользователей запустили 87 AI-ассистентов (динамика на верхнем графике) - это именно активные работающие сейчас запуски. Каждый ассистент - это отдельный контейнер докера, который генерит кучу логов. Ну и вот эти логи привели к тому, что место на ВМ просто закончилось. И конечно, все это обнаружилось в субботу вечером прямо во время семейного ужина. Пришлось экстренно идти расширять место под ассистентов и устранять последствия. Вспомнились даже факапы в бытность работы в Яндексе. (Особенно, если кто-нибудь нарушит святое правило не катить релизы в пятницу вечером) Сейчас все работает штатно. Хотя впереди еще оптимизация ротации логов, чтобы избежать повторения. Глядя на график роста запусков, ресурсов и расход ИИ-токенов понимаю, что пора бы уже выделить неделю и подключить платные тарифы 🤔 А глядя на произошедшее думаю, хорошо, что этих тарифов еще не было... С другой стороны, не так давно читал, что подобные события и являются признаками роста. Напомню, речь про этот сервис, который запускал на Радаре - https://bot.qubs.dev Тем временем, основная работа сейчас у меня - это разработка платформы-конструктора автоматизаций qubs.dev. Там двигаюсь по плану, который показывал выше в канале.