Обновление весов модели на своём инференсе: как выкатить новую версию без простоя и с возможностью отката?

Модель — это десятки гигабайт весов и минуты на загрузку, поэтому обычная перекатка контейнеров даёт заметный провал в доступности. Рабочая схема — «синий-зелёный»: поднимаем узлы с новой версией рядом, прогреваем их (загрузка весов, компиляция графа, несколько прогонов), переводим долю трафика, наблюдаем метрики качества и задержки, затем переключаем полностью. Старые узлы держим до конца окна отката.