#RAG Мне нравится рассматривать RAG как воронку продаж. Воронка продаж — это маркетинговая модель, которая описывает путь потенциального клиента от первого контакта с продуктом до совершения покупки. Почему именно воронка? Потому что RAG "сужается" по мере своего продвижения словно воронка продаж. Рассмотрим на примере... Допустим у нас есть 100 тестовых вопросов, которые мы пропускаем через RAG: 1. На первом шаге ретривер возвращает 300 чанков (на каждый вопрос). Но, т.к. ретривер у нас не идеальный, он вернет правильные чанки только для 90 вопросов из 100. 2. Дальше в дело вступает реранкер. Он переранжирует 300 чанков и передает дальше только 15 из них. Реранкер у нас тоже не идеальный и из 90 вопросов правильные чанки останутся только для 80. 3. Чанки поступают на обработку в LLM. Ну и конечно же LLM тоже может глючить. Из 80 вопросов она правильно отвечает только на 70. В итоге имеем классическую воронку продаж: 100 -> 90 -> 80 -> 70 Какой из этого можно сделать вывод: - Какой бы умной не была LLM, она ничего не сможет ответить если ретривер не передаст ей правильные чанки. Поэтому нельзя улучшить RAG-систему улучшая только одну ее чаcть. - Тестировать нужно каждую часть RAG-пайплайна по отдельности. Здесь мы рассмотрели не самый сложный пайплайн RAG'а. На практике он может состоять как из меньшего, так и из большего числа шагов и компонентов.