Le mécanisme d'attention permet à un modèle de pondérer l'importance des autres éléments de la séquence pour calculer la représentation d'un élément. Chaque token produit une requête, une clé et une valeur ; les poids viennent de la similarité requête-clé après softmax. L'auto-attention relie directement des positions éloignées.