Как перевести бизнес-цель в ML-задачу и выбрать метрику успеха — и почему офлайн- и онлайн-метрики расходятся?

Бизнес-цель («поднять выручку») сама по себе не является ML-задачей: её надо свести к предсказанию конкретной величины с понятными входом и выходом. Дальше нужны две метрики, а не одна: офлайн (по отложенной выборке, для отбора моделей — AUC-ROC, nDCG@k, RMSE) и онлайн (в бою, для решения о выкатке — конверсия, удержание, выручка). Они расходятся систематически: офлайн-выборка собрана старой моделью, в ней есть смещение позиции и показа, а живой пользователь реагирует на выдачу.