Префиксный кэш и переиспользование KV: как не платить дважды за один и тот же контекст?

Если у тысячи запросов одинаковое начало — системная подсказка, инструкция, документ, история диалога, — разбирать его каждый раз заново не нужно: посчитанные ключи и значения внимания для этого префикса можно сохранить и переиспользовать. Экономятся вычисления стадии разбора и, как следствие, время до первого токена. У провайдеров тот же механизм продаётся как кэш подсказки и снижает цену входных токенов кратно. Главное правило проектирования: стабильное — в начало промпта, изменчивое — в конец, иначе кэш не сработает ни разу.