Le gradient est le vecteur des dérivées partielles de la perte par rapport aux paramètres du modèle. Il indique dans quelle direction la perte augmente le plus vite ; on déplace donc les paramètres en sens opposé. Son amplitude et le taux d'apprentissage déterminent la taille du pas.