Что такое seq2seq и архитектура encoder-decoder в NLP?

Seq2seq — задача отображения входной последовательности в выходную (перевод, summarization, диалог). Encoder-decoder — архитектурный паттерн: encoder сжимает вход в скрытое представление (контекст), decoder генерирует выход токен за токеном, опираясь на контекст и уже сгенерированные токены. Cross-attention в decoder связывает каждый шаг генерации с релевантной частью входа.