💭 Всем привет и с наступившим Новым годом! 🎄🎉🎁 🎄🎄🎄🎄🎄🎄🎄🎄🎄🎄 Пусть разбираться с “новым” будет в удовольствие, а ощущение, что вы в контексте, не покидает никогда 🥳🥳🥳 🎄🎄🎄🎄🎄🎄🎄🎄🎄🎄 А сегодня – продолжаем тему “потерянного в середине” (Lost in the Middle). Я наконец-то выложил вторую, более прикладную часть статьи "Антипаттерн LLM-приложений: когда модель игнорирует контекст" на Хабр – про заявленное и эффективное контекстное окно. Что такое “эффективное окно”? 🤷‍♂️ Это размер промпта, в котором модель ещё способна с приемлемым качеством извлекать и связывать семантически/ассоциативно связанную информацию без заметной деградации. И вот тут начинается самое интересное: для сложных ассоциативных задач (а RAG почти всегда такой) эффективное окно в разы, а иногда в десятки раз меньше, чем заявленное в спецификациях. В конце статьи я собрал архитектурные приёмы, которые помогают проектировать LLM-системы так, чтобы длинный контекст работал на вас, а не снижал качество. 🚀 =================== Отдельное спасибо всем, кто уже прочитал и поставил апвоут 🙏 Это приятно и мотивирует 🤗 Статья на Хабре. А тем, кто ещё не читал — добро пожаловать 🙋‍♂️ ================= Короткие выдержки и ключевые мысли из второй части закину в следующих постах. 🔥💟