Переранжирование в поисковом конвейере: где ставить reranker и сколько он стоит?

Reranker ставят между быстрым отбором кандидатов и генерацией: векторный поиск даёт 50-200 кандидатов, cross-encoder оценивает каждую пару «запрос — фрагмент» и оставляет лучшие 5-10. Он точнее векторного поиска, потому что видит запрос и документ вместе, но и дороже: стоимость линейна по числу кандидатов. Настройка сводится к выбору размера входа: 100 кандидатов дают заметный прирост качества, 500 — почти нет, а платить приходится впятеро больше.