По следам подбора инфраструктуры для LLM Привет! Спасибо что послушали доклад❤️ С источниками, которые я использовал для подготовки материала, вы можете ознакомится в этом посте. Также я выложил в опенсорс целую лабораторию по подбору инфраструктуры LLM. Вы сами сможете подобрать себе нужную GPU и конфигурацию инференса за пару тестов (например у моих друзей - в облаке Selectel) Недавно кстати наткнулся на новый интересный проект от k8s-sigs inference-perf. Будет интересно посравнивать с genai. Кто уже добрался обязательно делитесь в комментариях) Также бонусом выкладываю картинки, которые не попали в презентацию, но также дополняли мою историю! А я пошел пить медовуху, всем skal!