Le weight decay pénalise les poids de grande valeur en les réduisant légèrement à chaque mise à jour, ce qui équivaut à une régularisation L2. Il limite la complexité du réseau et le surapprentissage. Il se règle dans l'optimiseur ; avec Adam, la variante AdamW le découple correctement du gradient.
Exemple
torch.optim.AdamW(modele.parameters(), lr=1e-3, weight_decay=1e-2)