LoRA et QLoRA
Adapter à petit budget par matrices de rang faible.
Petit delta appris
Poids gelés W, on apprend A·B de rang r petit : W + alpha/r * A·B. Quelques millions de paramètres au lieu de milliards. QLoRA ajoute la quantification 4-bit du backbone (poids compressés sur 4 bits, décompressés à la volée ; la mixed precision FP16/BF16 est détaillée au Ch33 mia-distributed-mixed) : fine-tune 7B sur GPU modeste.
target_modules=["q_proj","v_proj"] = les projections requête/valeur de l'attention (Ch25 mia-attention) auxquelles on applique le delta. La librairie peft fournit LoraConfig + get_peft_model : installée et versionnée en local, comme tout outil de ce cursus.
# peft : r=8, alpha=16, dropout=0.05, target_modules=["q_proj","v_proj"]
Réglage
r et alpha sur validation, lr plus grand qu'en full fine-tune, early stop obligatoire. Prompt soigné = consigne textuelle travaillée sans entraînement (zéro/few-shot), baseline obligatoire avant tout LoRA (définie à la leçon mia-pretraining-finetune). Si LoRA ne bat pas le prompt soigné, gardez le prompt : moins cher et réversible.