На днях набрела на несколько любопытных статей (2023-2025 г.), в которых описывается феномен "деградации контекста" (context rot). Смысл такой: если вы отдали кучу денег за возможность скармливать LLM кучу токенов, то ваши деньги, скорее всего, ушли на ветер. Почему? Во-первых, информация из середины длинного контекста усваивается значительно хуже, чем из начала или конца. Во-вторых, даже если модель смогла извлечь релевантную информацию, способность ее обработать тем ниже, чем больше "окно". Наконец, если релевантная информация сильно "разбавлена" (потеряна как иголка в стоге сена), то модели с трудом выделяют ее из общей массы, и качество ответа падает. О том, что с этим делать гуманитарию, который разучился читать, мы с @curiousonya скоро расскажем, stay tuned 💅 Свой вариант в комментариях? #llm