Le transformer est une architecture de réseau de neurones fondée sur l'attention, qui traite tous les tokens d'une séquence en parallèle, sans récurrence. Elle empile des blocs combinant auto-attention, réseaux feed-forward, normalisation et connexions résiduelles. C'est la base de la plupart des modèles de langage actuels.