💡 Калькулятор стоимости работы и дообучения LLM Бесплатный инструмент, который помогает понять, какой GPU нужен под развертывания, работы и дообучения конкретной LLM. 1️⃣Выбираете параметры инференса: LLM модель, видеокарту, формат и степень квантования, а также другие параметры инференса . 2️⃣ Получаете сводную оценку: сколько будет потребление видеопамяти, ориентировочные метрики производительности, энергопотребление и прогнозируемую пропускную способность. Дополнительно есть расчёт метрик TTFT (time to first token) и TPS (tokens per second), что позволяет оценить скорость генерации ответа моделью. ⚙️ Параметры расчета дообучения учитывают: конфигурацию датасета (количество сэмплов, среднее токенов на сэмпл, эпохи), метод обучения (Full, LoRa,QLoRa), использование оптимизаторов и других настроек обучения. В итоге можно посчитать, сколько будет длиться обучение, хватит ли видеопамяти и какой будет расход электричества. Стоит отметить, что полученная оценка лишь приблизительная, очень многое может зависеть от дополнительных факторов (версии программного обеспечения, аппаратного обеспечения и дополнительных нюансов настройки дообучения) ➡️Попробовать можно здесь Еще больше об ИИ и науке читайте в DSCS.pro