Évaluation et validation des modèles de machine learning
Évaluation et validation des modèles est un cours de niveau intermédiaire de 5 leçons (environ 2 h 55), avec 12 exercices et 15 questions de quiz. Prérequis : Apprentissage supervisé : régression et classification. Les exercices s'exécutent dans le navigateur, sans installation.
- Data science
- Intermédiaire
- 5 leçons
- 2 h 55
- 12 exercices
- Exercices exécutés dans le navigateur
Le cours en bref
Ce cours apprend à mesurer la performance réelle d'un modèle de machine learning et à éviter les pièges d'évaluation. Vous choisissez des métriques adaptées au coût des erreurs, réglez un seuil de décision, construisez des stratégies de validation croisée fidèles à la production, optimisez des hyperparamètres avec scikit-learn et diagnostiquez biais, variance et fuites de données.
Ce que tu sauras faire
- Choisir et calculer des métriques de classification adaptées au contexte (précision, rappel, F1, AUC, AP)
- Régler un seuil de décision sans utiliser le jeu de test
- Construire une validation croisée adaptée aux groupes et au temps
- Optimiser des hyperparamètres avec GridSearchCV et RandomizedSearchCV et rapporter une performance honnête
- Diagnostiquer biais et variance avec les courbes de validation et d'apprentissage
- Détecter et corriger les fuites de données
Programme des 5 leçons
- Lire une matrice de confusion
- Calculer précision, rappel et F1 et savoir lequel privilégier
- Reconnaître le piège de l'accuracy sur des classes déséquilibrées
- 02
Courbes ROC et précision-rappel, choix du seuil
- Évaluer un classifieur indépendamment du seuil avec ROC AUC et average precision
- Lire une courbe ROC et une courbe précision-rappel
- Choisir un seuil de décision sans utiliser le jeu de test
- 03
Stratégies de validation croisée
- Choisir un découpage adapté : KFold, StratifiedKFold, GroupKFold, TimeSeriesSplit
- Évaluer plusieurs métriques à la fois avec cross_validate
- Interpréter moyenne, écart-type et écart train/validation
Validation croiséeValidation par groupes et temporellecross_validate
- 04
Recherche d'hyperparamètres : GridSearchCV et RandomizedSearchCV
- Régler les hyperparamètres d'un pipeline avec GridSearchCV
- Explorer un grand espace avec RandomizedSearchCV et des distributions
- Évaluer honnêtement un modèle réglé (test final ou validation imbriquée)
Réglage d'hyperparamètresGridSearchCVValidation croisée imbriquée
- 05
Diagnostiquer un modèle : courbes et fuites de données
- Lire une courbe de validation et une courbe d'apprentissage
- Distinguer biais élevé et variance élevée et choisir le bon remède
- Repérer et corriger les principales fuites de données
Compromis biais-varianceCourbes de validation et d'apprentissageFuite de données
Projet final
Audit d'évaluation d'un modèle de détection de fraude
Générez avec make_classification un jeu de transactions déséquilibré (environ 3 % de fraudes) avec un identifiant client (plusieurs transactions par client). Construisez une démarche d'évaluation complète : baseline, choix argumenté de la métrique principale, validation croisée respectant les clients, recherche d'hyperparamètres pour au moins deux familles de modèles, réglage du seuil selon un coût métier (par exemple 5 € par contrôle inutile, 300 € par fraude manquée), diagnostic par courbes et vérification de l'absence de fuite. Rapportez la performance finale sur un test isolé par clients.
Livrables
- Un notebook ou script reproductible couvrant toute la démarche
- Les courbes ROC et précision-rappel du modèle retenu et une courbe d'apprentissage
- Un tableau comparatif des modèles réglés (moyenne et écart-type de validation croisée)
- Une note justifiant la métrique, le découpage, le seuil choisi et le coût attendu
Critères d'évaluation
- Métrique principale cohérente avec le coût métier et comparaison à une baseline
- Découpage respectant les groupes et test utilisé une seule fois
- Recherche d'hyperparamètres correcte (pipeline, noms etape__parametre, performance non biaisée)
- Seuil choisi hors test et justifié par le coût
- Diagnostic biais/variance et absence de fuite démontrée
Questions fréquentes
Pourquoi l'accuracy ne suffit-elle pas pour évaluer un modèle ?
Sur des classes déséquilibrées, un modèle qui prédit toujours la classe majoritaire obtient une accuracy élevée sans rien détecter. Précision, rappel, F1, balanced accuracy et courbes précision-rappel décrivent chaque type d'erreur.
Quelle différence entre jeu de validation et jeu de test ?
Le jeu de validation, ou la validation croisée sur l'entraînement, sert à choisir le modèle, les hyperparamètres et le seuil. Le jeu de test reste intact jusqu'à la fin et ne sert qu'une fois, pour estimer honnêtement la performance du modèle retenu.
Qu'est-ce qu'une fuite de données ?
C'est l'utilisation, pendant l'entraînement ou l'évaluation, d'une information indisponible en production : prétraitement ajusté sur toutes les données, variable postérieure à l'événement, doublons entre train et test. Elle produit des scores trop beaux pour être vrais.
GridSearchCV ou RandomizedSearchCV ?
GridSearchCV teste toutes les combinaisons d'une petite grille. RandomizedSearchCV tire un nombre fixé de combinaisons dans des distributions : il est plus efficace quand l'espace est grand ou continu.
Ce cours, raconté pour ton métier
Dis ce que tu veux savoir faire : « Évaluation et validation des modèles » prend sa place dans ton parcours, avec des exemples de ton secteur. Les notions restent celles du cours.