La normalisation dans les réseaux stabilise les activations. BatchNorm normalise chaque canal sur le lot en cours (comportement différent à l'entraînement et à l'évaluation), LayerNorm normalise sur les caractéristiques de chaque exemple, indépendamment du lot, et domine dans les transformers. Elle accélère et stabilise l'entraînement.
Exemple
nn.BatchNorm1d(64)
nn.LayerNorm(64)