Почему в предсказании CTR калибровка важнее порядка и как её проверяют?

Потому что предсказанная вероятность используется не только для сортировки: она умножается на ставку в аукционе, участвует в расчёте ожидаемой выручки и в порогах отсечения. Модель, идеально упорядочивающая объекты, но систематически завышающая вероятности вдвое, даст верный порядок и неверные деньги. Проверяют калибровку графиком надёжности: объекты бьются на корзины по предсказанной вероятности, и в каждой сравнивается средняя предсказанная с фактической долей кликов. Численно — ожидаемая ошибка калибровки и логарифмическая функция потерь. Ранжирующие метрики калибровку не видят вовсе.