Что такое seq2seq и архитектура «кодировщик-декодер» (encoder-decoder) в обработке языка?

Seq2seq — задача отображения входной последовательности в выходную (перевод, summarization, диалог). Encoder-decoder — архитектурный паттерн: encoder сжимает вход в скрытое представление (контекст), decoder генерирует выход токен за токеном, опираясь на контекст и уже сгенерированные токены. Cross-attention в decoder связывает каждый шаг генерации с релевантной частью входа.