La régularisation ajoute à la fonction de perte une pénalité sur la taille des coefficients, afin de limiter la complexité du modèle et le surapprentissage. L'intensité se règle par un hyperparamètre (alpha pour Ridge et Lasso). Les variables doivent généralement être standardisées avant.