Чем отличаются full fine-tuning, prompt-tuning и LoRA / PEFT — какие компромиссы?

Full fine-tuning — обновляем все веса модели, лучшее качество, но дорого по памяти и хранению. Prompt-tuning — учим только мягкие prompt-эмбеддинги (тысячи параметров), модель заморожена. LoRA — добавляем низкоранговые матрицы к weight-матрицам attention, обучаем только их (~1% параметров). PEFT-подходы экономят память в десятки раз и позволяют держать тысячи адаптеров для одной базовой модели.