Évaluer et superviser un système d'IA en production
Évaluer et superviser un système d'IA est un cours de niveau avancé de 5 leçons (environ 1 h 40), avec 15 exercices et 15 questions de quiz. Prérequis : Intégrer un LLM dans une application. Les exercices s'exécutent dans le navigateur, sans installation.
- IA générative
- Avancé
- 5 leçons
- 1 h 40
- 15 exercices
- Exercices exécutés dans le navigateur
Le cours en bref
Un système d'IA ne se valide pas sur quelques essais. Ce cours vous apprend à construire un jeu de test, à utiliser et calibrer un modèle juge, à mesurer qualité, coût et latence, à détecter la dérive et à exploiter les retours utilisateurs, puis à réunir le tout dans un tableau de suivi avec des alertes. Les exercices se font en Python, avec un modèle et un juge simulés localement.
Ce que tu sauras faire
- Constituer un jeu de test représentatif et l'utiliser comme test de non-régression
- Évaluer des réponses libres avec un modèle juge et mesurer son accord avec des humains
- Calculer des percentiles de latence et un coût par requête à partir des journaux
- Choisir une configuration selon des seuils de qualité, de latence et de coût
- Détecter une dérive des entrées et une baisse de satisfaction
- Construire un tableau de suivi avec pandas et des règles d'alerte actionnables
Programme des 5 leçons
- Constituer un jeu de test représentatif pour un système d'IA
- Écrire des vérifications automatiques : correspondance normalisée et règles
- Utiliser le jeu de test comme test de non-régression avant chaque changement
Jeu de test de référenceMétriques automatiquesNon-régression
- 02
Évaluation par un modèle juge
- Concevoir une grille d'évaluation exploitable par un modèle juge
- Lire et valider de façon robuste la sortie d'un juge
- Mesurer l'accord entre le juge et des annotations humaines
- 03
Mesurer qualité, coût et latence
- Journaliser les mesures utiles de chaque appel de modèle
- Calculer des percentiles de latence et un coût par requête
- Choisir une configuration selon des seuils de qualité, de latence et de coût
Latence et percentilesCoût par requêteArbitrage qualité, coût, latence
- 04
Dérive et retours utilisateurs
- Distinguer dérive des entrées et dégradation de la qualité
- Calculer un indice de stabilité (PSI) entre deux périodes
- Exploiter les retours utilisateurs pour détecter une baisse de satisfaction
- 05
Construire un tableau de suivi
- Agréger des journaux d'appels en indicateurs quotidiens avec pandas
- Définir des règles d'alerte avec seuils et niveaux de gravité
- Organiser un tableau de suivi utile à l'équipe et aux décideurs
Projet final
Dossier d'évaluation et tableau de suivi d'un assistant
Pour un assistant de service client fictif (modèle simulé), constituez un jeu de test d'au moins 30 cas répartis par catégorie, évaluez deux versions du prompt avec des vérifications automatiques et un juge simulé calibré sur des annotations humaines, puis générez un mois de journaux synthétiques. À partir de ces journaux, produisez un tableau de suivi quotidien, des règles d'alerte et une analyse de dérive entre la première et la dernière semaine.
Livrables
- Le jeu de test versionné (JSON ou CSV) avec catégories et critères
- Le script d'évaluation comparant les deux versions, score global et par catégorie
- Le calcul d'accord juge-humain (taux d'accord et kappa) et la grille du juge
- Le tableau de suivi quotidien (pandas) et les règles d'alerte avec leurs seuils justifiés
- Une note de deux pages : version recommandée, risques, indicateurs à surveiller
Critères d'évaluation
- Le jeu de test couvre cas fréquents, limites, hors périmètre et manipulation
- Les résultats sont reproductibles et les sorties invalides du juge sont comptées
- La latence est résumée par percentiles et les coûts utilisent une grille datée en unités fictives
- La dérive est mesurée avec une méthode expliquée et des seuils présentés comme des conventions
- Les alertes sont peu nombreuses, graduées et chacune associée à une action
Questions fréquentes
Faut-il accès à un modèle payant pour les exercices ?
Non. Le modèle évalué et le modèle juge sont simulés par des fonctions Python : les exercices sont déterministes et s'exécutent sans réseau ni clé d'API.
Un modèle juge peut-il remplacer l'évaluation humaine ?
Il la complète. Le cours montre comment mesurer son accord avec des annotations humaines avant de lui faire confiance, et comment corriger ses biais connus.
Le cours donne-t-il les tarifs des fournisseurs ?
Non. Les tarifs changent souvent ; le cours utilise des unités fictives et montre comment stocker une grille tarifaire datée pour calculer les coûts réels de votre système.
Quels prérequis faut-il ?
Savoir intégrer un modèle de langage dans une application (cours AI2) et connaître les bases de Python ; quelques notions de pandas sont utiles pour la dernière leçon.
Ce cours, raconté pour ton métier
Dis ce que tu veux savoir faire : « Évaluer et superviser un système d'IA » prend sa place dans ton parcours, avec des exemples de ton secteur. Les notions restent celles du cours.