Как устроен конвейер обучения и выкатки модели рекомендаций от события до трафика?

Пять стадий. Сбор: события из клиента идут в потоковую шину, оттуда в озеро данных и в онлайн-признаки. Сборка выборки: соединение показов, кликов и признаков со срезом на момент показа, разбиение по времени с паузой на задержку выкатки. Обучение: модель плюс калибратор на отдельной выборке. Ворота: офлайн-метрика не хуже предыдущей, калибровка в допуске, распределение баллов без резкого сдвига, пересечение выдач с текущей версией в разумных пределах. Выкатка: теневой режим, затем A/B на доле трафика, затем полный трафик, с возможностью отката за минуты.