Что такое foundation models и чем они отличаются от task-specific моделей?

Foundation model — большая модель, обученная self-supervised на огромном корпусе общих данных и пригодная для адаптации под множество задач (через fine-tuning, prompting, RAG). Task-specific модель тренируется с нуля под одну задачу. Foundation models дороги в pretraining, но дешёвы в адаптации; task-specific — наоборот.