Какие метрики держать на мониторинге рекомендательной системы в проде?

Четыре слоя. Техника: задержка по перцентилям на каждом этаже, доля ошибок и таймаутов источников, доля деградаций. Данные: свежесть признаков и индекса, доля пропусков, расхождение распределений с обучающей выборкой. Модель: распределение предсказанных баллов, калибровка, доля пустых и коротких выдач. Продукт: CTR и конверсия, покрытие каталога, доля популярного в показах, жалобы и скрытия. Ключевое правило: продуктовые метрики шумны и реагируют медленно, поэтому оповещения строят на технических и на метриках данных, а продуктовые смотрят как контекст.