Как проектировать деградацию LLM-сервиса: провайдер недоступен, лимит исчерпан, модель отказала?

Отказы у LLM-слоя бывают четырёх разных видов, и ответ на каждый свой: временная ошибка провайдера (повтор с ростом паузы), исчерпание лимита (очередь и приоритеты, а не повтор — повтор только усугубит), отказ модели по политике (переход на другую модель или честное сообщение пользователю), деградация качества и задержки (переключение на запасной путь по таймауту). Общий принцип: ответ без модели лучше отсутствия ответа, и запасной путь проектируется вместе с основным.