Leçon 4 sur 5
Importer, nettoyer et fusionner des jeux de données
Je sais importer un fichier CSV ou Excel avec les bons paramètres, diagnostiquer et corriger les défauts d'un jeu de données, puis le fusionner ou l'empiler avec d'autres tables sans perdre ni dupliquer de lignes.
- 1 h 30
- 6 exercices corrigés
- QCM de 7 questions
À la fin de la leçon, vous saurez :
- Importer un fichier avec read_csv ou read_excel en réglant séparateur, décimales, valeurs manquantes et dates
- Diagnostiquer un jeu de données (types, valeurs manquantes, doublons, valeurs aberrantes)
- Nettoyer textes, nombres et dates, et traiter les valeurs manquantes de façon justifiée
- Fusionner deux tables avec merge en choisissant le type de jointure et en contrôlant les clés
- Empiler des tables de même structure avec concat
Avant de commencer : Leçon 3 (DataFrame, loc, groupby) ; cours de bases de données (jointures SQL).
1Je découvre
Fin mars, Mariama reçoit par WhatsApp le fichier des ventes du dépôt de Kankan, saisi à la main dans un tableur puis exporté en CSV. Elle l'ouvre avec pandas et rien ne marche : les prix sont lus comme du texte, le total des sacs est faux, « Kankan » apparaît sous deux orthographes, une ligne est répétée et une vente affiche… –5 sacs.
Elle doit aussi rapprocher ces ventes d'un second fichier, la liste des dépôts avec leur zone et leur capacité de stockage. Or un dépôt figure dans un fichier et pas dans l'autre.
Les praticiens le disent souvent : la préparation des données occupe une grande part du temps d'un projet d'analyse. Une analyse brillante sur des données mal nettoyées donne des conclusions fausses.
Comment importer, nettoyer et fusionner des jeux de données réels pour obtenir une table fiable, prête pour l'analyse ?
La suite se lit avec votre compte Kharandi Université
La première leçon de chaque cours est libre. Kharandi Université est une inscription à part de l’école : avec votre compte étudiant, vous lisez toutes les leçons en entier, avec les exercices corrigés et les QCM, et les 7 premiers jours sont offerts.
Voir toutes les leçons de Programmation Python pour la science des données
Signaler une erreur dans cette leçon
Toutes les leçons de Programmation Python pour la science des données