Эмбеддинги и чанки: как они уживаются внутри технологии RAG У каждого свой #словарикпродакта, в мой сегодня попали эмбеддинги и чанки, как новый уровень погружения в технологию RAG. Пробежимся по уровням абстракции на кошках: 1) еще раз, что такое RAG 2) зачем нужны векторы - эмбеддинги 3) как называются фрагменты информации - чанки Побежали! 1) а что такое RAG? - вы спрашиваете чат‑бота: сколько живут кошки? - получаете ответ не из обшей памяти модели про всех-всех кошек мира, а из данных по домовым книгам кошек Москвы. Это и есть RAG (Retrieval‑Augmented Generation). Разберём, как это работает. RAG — это технология, которая «подключает» языковую модель (LLM) к внешним знаниям. относительно LLM знания внешние, а относительно нас - внутренние Она состоит из двух этапов: 1. Поиск (Retrieval): находит релевантные фрагменты в базе данных 2. Генерация (Generation): формирует ответ на основе найденного контекста 2) ключевой механизм: эмбеддинги Эмбеддинг — числовой вектор, который переводит текст в «язык чисел», сохраняя смысл. Близкие по значению объекты получают похожие векторы. Пример (упрощённо): «годы жизни кошек» → [0,8; 0,2; 0,9] «даты кошачьих бракосочетаний» → [0,7; 0,3; 0,85] «магазины для питомцев» → [0,1; 0,9; 0,2] Видно, что векторы г«годы жизни кошек» и «даты кошачьих бракосочетаний» близки - так как они оба в книге ЗАГСа для кошек, а вектор «магазины для питомцев» сильно отличается. Именно так система «понимает» смысловые связи. 3) почему важны чанки? RAG работает не с целыми документами и не с отдельными словами, а с чанками — логически завершёнными фрагментами текста (абзацами, параграфами). Зачем это нужно? - Смысловая целостность: чанк хранит контекст (например, раздел про уход за кошками) - Точность поиска: система находит именно те блоки знаний, которые нужны для ответа - Эффективность: баланс между детализацией и скоростью поиска Как это работает в пайплайне RAG 0. Индексация (этап подготовки, он идет до обращения к системе за ответом): - Документы разбиваются на чанки - Каждый чанк преобразуется в эмбеддинг с помощью нейросети - Векторы сохраняются в векторной базе данных 1. Поиск: - Запрос пользователя тоже становится эмбеддингом - Система ищет чанки с наиболее близкими векторами (по косинусному сходству - это спойлер на еще один уровень погружения, привет Евклиду) - Возвращает топ релевантных фрагментов 2. Генерация: - Найденные чанки + запрос передаются в LLM - Модель формирует ответ, опираясь на извлечённый контекст Хозяйке на заметку: RAG решает ключевые проблемы LLM: - Устаревшие знания: использует актуальные документы - «Галлюцинации»: опирается на проверенные факты - Ограниченность контекста: расширяет знания модели за счёт внешних источников Я когда-нибудь пойму что такое RAG и перестану про него писать Что по вашему мнению круче?:) ❤️ собрать из базы больше чанков 😈 сделать больше разрядность эмбеддингов @product_lev #AI #RAG #эмбеддинги #NLP #pm