Что такое state-space models (S4, Mamba, Jamba): альтернатива Transformer для long-context?

State-space models (SSM) — альтернатива Transformer attention с O(N) сложностью для long-context. S4 (Gu 2021) ввёл structured SSM как свёртку + linear recurrence; Mamba (Gu & Dao 2023) добавил selective input-dependent state — линейный inference с качеством, близким к Transformer на short ctx. Jamba (AI21 2024) — hybrid: 1:7 attention:Mamba + MoE, 256K context. SSM выигрывают на long sequences (>32K) по throughput, проигрывают на reasoning-heavy задачах. Pure Mamba пока редкость в production; hybrid побеждает.