Что такое модели пространства состояний (S4, Mamba, Jamba) и могут ли они заменить трансформер на длинном контексте?

Модели пространства состояний (SSM) — альтернатива вниманию трансформера с линейной сложностью O(N) для длинного контекста. S4 (Gu 2021) представил их как свёртку плюс линейную рекуррентность; Mamba (Gu & Dao 2023) добавил избирательное состояние, зависящее от входа, — линейный инференс с качеством, близким к трансформеру на коротком контексте. Jamba (AI21 2024) — гибрид: на один слой внимания семь слоёв Mamba плюс смесь экспертов, контекст 256K. Модели пространства состояний выигрывают в пропускной способности на длинных последовательностях (>32K), но проигрывают на задачах с тяжёлым рассуждением. Чистая Mamba в проде пока редкость — побеждает гибрид.