Как делать A/B-тесты моделей и canary deployment?

Canary deployment — выкатываем новую модель на малую долю трафика (1–10%) и сравниваем латенси / ошибки / бизнес-метрики со старой версией. Если плохо — мгновенный rollback. A/B-тест — сплит трафика по стабильному ключу (user_id) на варианты A и B на дни/недели для статистически значимого сравнения бизнес-метрик. Shadow mode — отдельный режим, когда новая модель получает копию трафика и логирует предсказания, но не влияет на ответ пользователю. Все три — часть прогрессивного rollout.