Как оценивать качество отбора кандидатов отдельно от ранжирования?

Считать полноту при фиксированном размере списка: доля объектов, с которыми пользователь фактически взаимодействовал в тестовом окне, попавших в кандидаты. Ранжировщик при этом не участвует вовсе. Дополнительно смотрят полноту относительно точного перебора (это отделяет ошибку индекса от ошибки модели) и покрытие каталога кандидатами — чтобы поймать вырождение, когда отбор всем возвращает одно и то же. Главная ловушка — считать полноту только по показанному: тогда она измеряет согласие нового отбора со старым, а не с интересами пользователя.