Почему RMSE на оценках — плохая метрика для ленты рекомендаций?

RMSE меряет, насколько точно предсказана оценка, а лента показывает верхние K объектов. Ошибка на четвёрке, предсказанной как 3.5, влияет на RMSE так же, как ошибка на объекте, который вообще не должен был попасть в топ, — хотя пользователь увидит только второе. Кроме того, RMSE считается по объектам с оценками, то есть по тем, которые пользователь уже нашёл и оценил сам; каталог, который он не видел, в метрику не входит. Знаменитый пример: победитель Netflix Prize улучшил RMSE на 10%, но в прод не поехал — выигрыш не конвертировался в поведение.