Перейти к содержимому
4 / 20

Роутинг между моделями и каскады: как отправлять простое в дешёвую модель, а сложное — в дорогую?

Есть два разных приёма, которые часто путают. Роутинг решает до вызова, какой модели отдать запрос — по классификатору сложности или по теме. Каскад сначала вызывает дешёвую модель и после ответа решает, эскалировать ли на дорогую — по уверенности или по проверке. Роутинг дешевле по задержке (один вызов), каскад точнее (решение принимается по фактическому ответу, а не по догадке). Оба дают экономию потому, что распределение запросов по сложности перекошено: большинство простые.