🏭 Купил еще 2 видеокарты: - Gigebyte RTX 3090 Gaming OC 24gb (первый скрин) - Tesla V100 16gb в кастомном корпусе (четвертый скрин) 💶 Карта от Gigabyte оказалась примерно аналогичной по производительности для инференса что и Asus Rog Strix, но более компактная и менее прожорливая, апгрейд CPU покажет более точные результаты. Пока картой доволен, если предположения подтвердятся то карта от Gigabyte будет самым рациональным вариантом для домашнего инференса: тихая и экономная, хотя в этом рейтинге она занимает аж 6 место, в отличии от первенства Asus Rog Strix. 🕹 Tesla V100 16gb по габаритам меньше, но тяжелее на 100г, сверху есть цифровой датчик температуры, а при нагрузке турбина начинает сильно гудеть. В инференсе конечно же эта карта проигрывает RTX 3090 примерно на 10%. Взял потому что мне было интересно что эта за штука такая, теперь буду на ней запускать маленькие модели на другом сервере. 🦄 Кстати, удалось запустить gpt-oss-120b на 2 RTX 3090 + Tesla V100 16gb, только с маленьким контекстом в 4096 (может и больше получится, не проверял), а в полном контексте 128к загрузка модели на видеокарты фэйлится - видеопамяти не хватает, можно попробовать что-то оставлять на CPU. 🚚 Минимально укомплектовал свой стенд для работы с ИИ (второй скрин): 3 RTX 3090 на которых крутится инференс для gpt-oss-120b со скоростью ~100т/с. Для полного питания всех карт не хватает PCIE проводов, поэтому каждая карта может работать максимум на 250ватт, иначе полный отвал карты с дальнейшей ручной перезагрузкой. Энергопотребление ограничил так (с автоматизацией через systemd): nvidia-smi -pl 250 🎢 На одном из фото видно где я вставил в стенд все видеокарты что у меня есть (кроме CMP 40HX) и запитал блоком питания True Miner на 1800ватт, все завелось и работало нормально, но шум от БП мешает. Дальше для апгрейда: ✔️ CPU, потому что двухядерный Celeron здесь явно узкое место, нужно подобрать что-то из Intel Core 11 поколения ✔️ блок питания, пока присмотрел Azerty 1200w, есть позитивный опыт эксплуатации ✔️ возможно потребуются угловые PCIE коннекторы типа таких 🚀 Первоначальная загрузка модели на видеокарты занимала ~4 минуты, точнее запуск сервера llamacpp. Подключил NVMe диск через PCIE-переходник (m2-слот отказался работать на плате) удалось ускорить запуск сервера до ~2 минут 30 секунд. Очень надеюсь что замена CPU сократит это время еще больше и увеличит скорость инференса. 🙈 Tesla P40 высвободилась, теперь ей и Tesla V100 16gb (итого 40гб видеопамяти) (последний скрин) нужно будет найти применение 👀