Что такое сжатие промпта (LLMLingua, AutoCompressor) и как ужать контекст в 5-20 раз без потери качества?

Сжатие промпта (prompt compression) — выбрасывание лишних токенов из контекста (фрагменты RAG, документы, системный промпт) с сохранением смысла. Подходы: выжимка ключевого (LLMLingua-2 оценивает важность слов небольшой моделью), пересказ (маленькая модель переписывает короче), обучаемые «мягкие» промпты (AutoCompressor) и удаление смысловых дублей. Цель — снизить стоимость и задержку в 5-20 раз и помочь модели «найти иголку в стоге» на длинном контексте. Не путать с пересказом диалога.