Время собирать инструменты: три github-репозитория для разных этапов работы с RAG. В новой серии публикаций я буду делиться разными инструментами с GitHub, которые помогут решить конкретные инженерные задачи. Ведь все уже давно написано до нас - стоит только поискать. Сегодня - три подхода к построению RAG-систем, от прототипа до прода. FlashRAG (github.com/RUC-NLPIR/FlashRAG) Специализированный тулкит для исследований. Решает проблему воспроизводимости результатов в области RAG. Чем он может быть полезен? Позволит очень быстро собрать конвейер для проверки гипотезы, минимизируя "оверхед" и сторонние зависимости. Neurite (github.com/satellitecomponent/Neurite) Фреймворк для превращения идеи в прототип. Создан с упором на удобство разработки и скорость итераций. Его ключевая фишка - встроенные механизмы кэширования и оптимизации, а также интуитивный API для построения сложных цепочек вызовов. По сути, он берет на себя рутину (например, кэширование эмбеддингов или управление состоянием цепочки), позволяя сосредоточиться на логике. Он для тех, кому нужно быстро "склеить" несколько моделей и сервисов в единый пайплайн, который уже можно показать заказчику или использовать как основу для дальнейшей разработки. cocoindex (github.com/cocoindex-io/cocoindex) ETL-фреймворк, заточенный под индексацию данных для AI-задач. Его главная фишка - поддержка инкрементальных обновлений в реальном времени, что избавляет от полных переиндексаций. Он полезен тем, что позволяет гибко, как из кубиков Lego, настраивать пайплайн обработки сырых данных в готовый векторный индекс. Можно кастомизировать этапы чанкинга, очистки, генерации эмбеддингов. Какие не слишком широко распространенные репозитории пригождались тебе? Делись в комментариях! #разработка #ai #llm #GitHub