Семантический кэш ответов LLM: когда он помогает, когда вредит и как измерить ложные попадания?

Семантический кэш отдаёт готовый ответ, когда новый вопрос близок по смыслу к ранее заданному — в отличие от обычного кэша, который требует точного совпадения строки. Выигрыш большой (ответ за миллисекунды и бесплатно), но и риск особый: ложное попадание — когда «похожий» вопрос на самом деле другой, и пользователь получает уверенный неверный ответ. Поэтому семантический кэш применим не везде и требует отдельной метрики точности, а не только доли попаданий.