Перейти к содержимому
19 / 21

Как пересказывать длинный диалог на ходу и по уровням, чтобы не упереться в предел контекста модели?

Пересказ на ходу (rolling summarization) = держим N последних реплик + один пересказ всего, что было раньше; по уровням (hierarchical) = пересказы пересказов (исходное → пересказ каждых 10 → пересказ пересказов). Запускаем, когда контекст заполнен примерно на 75%, сжимаем дешёвой моделью (Claude Haiku 4.5, GPT-5.4 nano), бережём конкретные факты (числа, имена, принятые решения), при необходимости сочетаем с векторным хранилищем.

Как пересказывать длинный диалог на ходу и по уровням, чтобы не упереться в предел контекста модели? | JScriptiser