Что такое «контекстное окно» и почему модель «забывает» то, что обсуждали в начале долгого чата?

Контекстное окно — это рабочий стол модели: сколько токенов она может одновременно «держать перед глазами». У GPT-4o это 128k токенов, у Claude — до 200k. Всё, что не помещается на этот «стол», модель не видит — поэтому в длинных чатах ранние сообщения как бы «забываются». На самом деле модель просто перестаёт их получать на вход.