Деградация AI-функции: что делать, когда модель недоступна или слишком дорога
AI-функция отказывает иначе, чем обычный сервис: провайдер может ответить ошибкой, ответить медленно, ответить плохо или ответить дорого — и на каждый случай нужен свой план. Рабочая схема состоит из четырёх ступеней. Повтор с ограничением по бюджету времени — для случайных ошибок и лимитов. Фолбэк на другую модель: меньшая своя или альтернативный провайдер; качество ниже, но функция жива. Деградация без модели: показать результат правил, кэшированный ответ, поиск без генеративного слоя — часто это лучше, чем ошибка. Отказ с понятным сообщением и очередью: если функция асинхронная, задача принимается и выполняется позже. Управляет переключением бюджет: суточный лимит расходов, при исчерпании которого трафик уходит на дешёвую модель, и предохранитель по доле ошибок и по задержке. Обязательное дополнение — видимость: пользователь и дежурный должны понимать, что система работает в упрощённом режиме.