Как оценить рекомендательную систему офлайн, если логи собраны прошлой моделью?

Прямое сравнение по логам нечестно: в них есть отклики только на то, что показала старая политика. Три рабочих подхода — реплей (считаем метрику только на совпавших показах, что резко режет выборку), взвешивание по обратной вероятности показа (даёт несмещённую оценку, но взрывается по дисперсии) и прямой метод — модель, предсказывающая отклик на непоказанное. На практике комбинируют последние два и всё равно подтверждают результат экспериментом.