Офлайн-метрика выросла, а онлайн-эффекта нет: где обычно рвётся связь между оценкой и продом?

Пять типовых разрывов: выборка (офлайн считается на логах старой модели, которая сама решала, что показать), метрика (AUC растёт, а решения на рабочем пороге не меняются), срез (среднее выросло за счёт сегмента, который приносит мало денег), позиция (офлайн не учитывает, что клики зависят от места показа) и система (модель хороша, но её эффект съедают правила, кэш или деградация). Проверяют это до эксперимента, а не после.