Я хочу поговорить о моей любимой Плотве. Хочу внести немного прозрачности в то, что происходит “за кулисами”. Все довольно сложно, и я не хочу чтобы вы в один день увидели, что Плотва мертва. Поэтому взглянем на цифры и факты: Сейчас экономика проекта держится на донатах и VIP-подписках, но к сожалению, математика пока-что работает против нас. ❗️ Вот статистика за последние месяцы: ➡️ Декабрь: VIP-подписки принесли ~$103 (до вычета комиссий). Счет за токены LLM — $217.14. ➡️ Январь: Подписки принесли ~$85. Счет за токены — $278. ➡️ Февраль (прогноз): Прогнозируемые траты на токены — $461. Предыдущие два месяца дефицит удалось сократить почти до нуля благодаря щедрым донатам всего одного человека. Но даже так все работает в минус и я доплачиваю из личных средств. Очевидно, что такая модель нежизнеспособна. ❗️ Почему растут расходы? Возможно, вы замечаете, что со временем Плотва становится умнее, адекватнее, интереснее и глубже в диалогах. К сожалению, это не бесплатно. У Плотвы есть еще куда расти в части качества ответов, но это запросто может привести к умножению счета в разы, потому-что у Плотвы много друзей (>20000 активных пользователей в месяц). Я пытаюсь находить точки максимальной эффективности и оптимизировать все, что только возможно, и при этом обеспечить максимальное качество общения из имеющихся возможностей. С течением времени, ростом количества людей и активности, бот вынужден обрабатывать всё больше данных: историю диалога, описание изображений, которые Плотва “видит” в диалоге, и набор другой метаинформации. Каждый такой запрос стоит денег. Качество ответов — прямо коррелирует с ценой. ❗️ Точка стагнации Сейчас проект попал в своеобразную ловушку. 😭 Я не могу масштабировать Плотву. Реклама и приток новых пользователей приведут к взрывному росту счетов за API, которые текущая монетизация не покрывает. 😭 Я не могу полностью перейти на локальные модели (пока). Мое текущее железо занято моделями для рисования и распознавания картинок, транскрипцией, и другими процессами. Если я захочу запустить какую либо LLM локально — для нее просто нет ресурсов, мне придется отключить корневую фичу — бесплатное рисование картинок. При этом все-равно драматично снизится качество диалогов. Если финансовая ситуация заставит, мне придется пойти по этому пути. Но это крайняя мера. ❗️ Идеальный сценарий: избавление от таксометра Решением проблемы мог бы стать апгрейд локального сервера. Это позволило бы разместить мощную LLM у себя, убрав зависимость от внешних провайдеров и платных токенов, и при этом сохранить генерацию картинок и открыть возможности для масштабирования. Оптимальный выбор здесь в моменте — Nvidia DGX Spark (или вендорский аналог). Специфика работы LLM с большими контекстами такова, что компромиссы вроде Mac Studio или мини-ПК на Ryzen AI MAX+ здесь не справляются. Нужно именно решение от Nvidia, а это никогда не дешево. Цена вопроса — в районе $4000 плюс налог и наценка продавцов. Следующий вариант идеален для Плотвы - RTX 6000 Pro - стоит больше 10 тысяч евро в моем регионе. Мечтать не вредно. Если среди читателей есть добрый самаритянин, готовый проспонсировать этот плотвяной ковчег — очень жду тебя в личке. ❗️ Предложение для AI-лабораторий Если этот текст читают сотрудники ML-лабораторий и/или компаний, разрабатывающих генеративные модели: У Плотвы есть живая аудитория. У вас есть продукт. Мы можем помочь друг другу. Например, организовав тестирование ваших моделей (текстовых или графических, Vision, OCR, ASR, TTS, все можно приспособить) и сбора предпочтений от пользователей в обмен на ваш инференс. Пишите. ❗️ Что можно сделать сейчас? Я очень НЕ хочу закрывать проект. Плотва мне дорога, и я вижу, что она нравится вам. Поэтому я робко прошу всех, кто может себе это позволить: оформите VIP-подписку. Это лучший взаимовыгодный способ поддержать проект, чтобы Плотва не превратилась из любимого проекта в проблемную обузу. Спасибо, что остаетесь с Плотвой.