Что такое T5 и BART, чем они отличаются от BERT/GPT и когда выбирать seq2seq предобученную модель?

T5 (Text-to-Text Transfer Transformer) и BART — encoder-decoder transformer'ы, предобученные на denoising задачах. T5 формулирует любую NLP-задачу как text-to-text. BART — комбинация BERT-style encoder и GPT-style decoder, предобученная на восстановлении испорченного текста. Бери seq2seq, когда вход и выход — разные тексты: перевод, суммаризация, парафраз, restructuring.