Nettoyage et préparation des données avec Python et pandas
Nettoyage et préparation des données est un cours de niveau intermédiaire de 5 leçons (environ 3 h 05), avec 15 exercices et 15 questions de quiz. Prérequis : Analyse de données avec pandas et NumPy. Les exercices s'exécutent dans le navigateur, sans installation.
- Python
- Intermédiaire
- 5 leçons
- 3 h 05
- 15 exercices
- Exercices exécutés dans le navigateur
Le cours en bref
Ce cours vous apprend à transformer des données brutes et imparfaites en un jeu de données fiable, prêt pour l'analyse ou la modélisation. Vous diagnostiquez la qualité, traitez les manquants, corrigez types et formats français, éliminez doublons et incohérences, puis automatisez le tout dans un pipeline validé. Les exemples reprennent des exports réalistes : CRM, commandes, RH, capteurs.
Ce que tu sauras faire
- Établir un rapport de qualité d'un jeu de données (manquants, doublons, types, valeurs impossibles)
- Choisir et appliquer une stratégie adaptée aux valeurs manquantes, y compris par groupe
- Convertir des nombres et des dates aux formats français de façon robuste et contrôlée
- Harmoniser des valeurs textuelles et supprimer les doublons en conservant la bonne version
- Détecter et traiter les valeurs aberrantes avec l'IQR et des règles métier
- Construire un pipeline de nettoyage reproductible avec pipe et des assertions de validation
Programme des 5 leçons
- Mesurer les valeurs manquantes, les doublons et les valeurs distinctes
- Repérer les types incorrects et les valeurs suspectes
- Produire un rapport de qualité synthétique avant tout nettoyage
Diagnostic de qualitéDétection des manquantsDétection des doublons
- 02
Traiter les valeurs manquantes
- Déclarer les codes de valeurs manquantes à la lecture ou après coup
- Choisir entre supprimer et imputer selon le contexte
- Imputer par une constante, une statistique, une statistique par groupe ou une interpolation
- 03
Corriger les types et les formats
- Convertir des textes en nombres de façon robuste avec to_numeric
- Convertir des dates aux formats variés avec to_datetime
- Choisir des types adaptés : entiers nullables, booléens, catégories
- 04
Doublons, incohérences et valeurs aberrantes
- Harmoniser des valeurs textuelles écrites de plusieurs façons
- Supprimer les doublons en choisissant la ligne à conserver
- Détecter et traiter les valeurs aberrantes avec la règle de l'écart interquartile
Harmonisation du texteSuppression des doublonsValeurs aberrantes
- 05
Restructurer les données et automatiser le nettoyage
- Passer d'un format large à un format long et inversement
- Renommer et réorganiser les colonnes proprement
- Assembler un pipeline de nettoyage reproductible et validé par des assertions
Projet final
Pipeline de nettoyage d'un export CRM multi-sources
Une PME fusionne les fichiers clients de son CRM, de sa boutique en ligne et d'un salon professionnel (données fournies en texte CSV dans le code, aux formats français). Construisez un pipeline pandas qui produit une table clients unique et fiable : rapport de qualité initial, déclaration des codes de manquants, conversion des montants et des dates, harmonisation des villes et e-mails, dédoublonnage en gardant la fiche la plus récente et la plus complète, traitement justifié des valeurs aberrantes, puis validation finale par assertions.
Livrables
- Un script ou notebook organisé en fonctions enchaînées avec pipe
- Le rapport de qualité avant et après nettoyage, avec le nombre de lignes modifiées ou supprimées à chaque étape
- Une fonction de validation finale (unicité de l'e-mail, plages de valeurs, absence de manquants sur les champs obligatoires)
- Un court document listant chaque décision de nettoyage et sa justification
Critères d'évaluation
- Le pipeline s'exécute de bout en bout et peut être rejoué sans modification sur un nouvel export
- Les conversions de types sont contrôlées (nombre d'échecs mesuré)
- Les doublons sont détectés après harmonisation et la ligne conservée est justifiée
- Les traitements des manquants et des valeurs aberrantes sont adaptés et documentés
- Les données brutes ne sont jamais modifiées et la validation finale passe
Questions fréquentes
Pourquoi le nettoyage des données est-il si important ?
Une analyse ou un modèle ne vaut que par la qualité des données qui l'alimentent. Doublons, valeurs manquantes mal traitées ou dates mal lues produisent des chiffres faux sans aucun message d'erreur. Le nettoyage rend les résultats fiables et justifiables.
Faut-il supprimer ou remplacer les valeurs manquantes ?
Cela dépend du contexte : on supprime une ligne si la valeur manquante la rend inutilisable et que peu de lignes sont concernées, on impute (médiane, médiane par groupe, interpolation) si la ligne reste utile. Le cours donne des repères et insiste sur la documentation de chaque choix.
Le cours traite-t-il des formats de fichiers français ?
Oui : séparateur point-virgule, virgule décimale, symbole euro, espaces insécables dans les milliers et dates au format jour/mois/année sont traités explicitement.
Quel niveau faut-il pour suivre ce cours ?
Il faut savoir manipuler un DataFrame pandas : lecture, sélection, filtres, groupby. Ces notions sont couvertes par le cours Analyse de données avec pandas et NumPy (PY3).
Ce cours, raconté pour ton métier
Dis ce que tu veux savoir faire : « Nettoyage et préparation des données » prend sa place dans ton parcours, avec des exemples de ton secteur. Les notions restent celles du cours.