Конвейер дообучения своей модели: как собрать данные из прода и не выкатить регрессию?

Данные для дообучения берутся из прода, но не как есть: подходят подтверждённые операторами ответы, исправления пользователей и примеры, прошедшие проверку качества. Обязательна чистка от персональных данных и дедупликация. Дальше — обучение на небольшом объёме (тысячи примеров дают больше, чем сотни тысяч грязных), приёмка на замороженном оценочном наборе и выкатка через теневой режим. Главный риск — модель улучшается на новом и деградирует на старом.