Что такое Contextual Retrieval и как добавление контекста к каждому фрагменту снижает долю неудачных поисков?

Contextual Retrieval («поиск с контекстом») — приём Anthropic (сентябрь 2024): к каждому фрагменту дешёвая LLM (Claude Haiku 4.5, GPT-5.4 nano) дописывает 50-100 токенов контекста («этот фрагмент обсуждает X в документе про Y, раздел Z»), и дальше эмбеддинги и BM25 строятся по связке контекст + фрагмент, а не по голому фрагменту. По статье: доля неудачных поисков падает на 35% только за счёт контекстных эмбеддингов и на 49% в связке с BM25 и переранжированием. Кэширование промпта обязательно — иначе генерация контекста для каждого фрагмента выйдет слишком дорого.