Что такое transfer learning, и в чём разница между feature extraction и full fine-tuning?

Transfer learning — переиспользование весов модели, обученной на большом датасете, для новой задачи. Feature extraction замораживает backbone и обучает только новую голову — быстро, мало данных, мало overfitting. Full fine-tuning размораживает все или часть слоёв и доучивает их с маленьким learning rate — выше потенциал точности, но требует больше данных и риск катастрофического забывания.