L'accord juge-humain mesure à quel point les notes d'un modèle juge concordent avec celles de personnes sur les mêmes cas, par un taux d'accord ou un coefficient comme le kappa de Cohen. Un accord élevé justifie de s'appuyer sur le juge ; sinon la grille ou le juge sont à revoir.
Exemple
Le juge et l'humain donnent la même note sur 85 cas sur 100 : accord brut de 85 %.