Как перевести business goal в ML task и выбрать success metric — почему offline и online метрики расходятся?

Business goal («поднять revenue») — не ML task: его надо свести к предсказанию конкретной величины с чётким input/output. Дальше нужны две метрики: offline (holdout, для model selection — AUC-ROC, nDCG@k, RMSE) и online (A/B, для решения о rollout — conversion, retention, revenue). Они расходятся систематически: offline-выборка собрана старой моделью, в ней position bias и exposure bias, а живой пользователь реагирует на выдачу.