Распределённый KV-кэш и маршрутизация по префиксу: как заставить кэш работать в кластере из десятков узлов?

Префиксный кэш живёт в памяти конкретного узла, поэтому обычный балансировщик его убивает: следующий запрос того же пользователя попадает на другой узел и считает всё заново. Лечится маршрутизацией с учётом префикса — запросы с общим началом (системный промпт, документ, история диалога) направляются на один узел. Дополнительно кэш выносят на общий слой: вытесненные блоки складываются в память или на диск и подтягиваются вместо пересчёта.