Зачем нужен positional encoding и чем sinusoidal отличается от learned и RoPE?

Self-attention permutation-invariant: без позиционной информации [«я ел рыбу»] и [«рыбу я ел»] дают одинаковые токены. Sinusoidal — фиксированные sin/cos разной частоты, добавляются к эмбеддингам, обобщаются на длины >train. Learned — обучаемая таблица, простая, но не работает за пределами train length. RoPE — поворот Q/K в комплексном представлении, относительный, и масштабируется на длинный контекст.