Leçon 3 sur 5
Hadoop et le modèle MapReduce
Je sais expliquer comment HDFS découpe et réplique les fichiers, dérouler à la main un traitement MapReduce (map, tri et regroupement, reduce) et écrire un mapper et un reducer simples en Python.
- 1 h 30
- 6 exercices corrigés
- QCM de 7 questions
À la fin de la leçon, vous saurez :
- Décrire l'architecture de HDFS (NameNode, DataNodes, blocs, réplication)
- Calculer le nombre de blocs et l'espace occupé par un fichier
- Dérouler les phases map, shuffle et reduce sur un petit jeu de données
- Écrire un mapper et un reducer en Python pour Hadoop Streaming
- Expliquer le rôle du combineur, de la localité des données et de YARN
Avant de commencer : Leçon 2 (bases NoSQL et stockage distribué) ; Programmation en Python.
1Je découvre
Chaque nuit, les serveurs de NafaPay, notre opérateur fictif de paiement mobile, produisent des fichiers de journal : une ligne par transaction, avec la date, le code de l'agent, la préfecture et le montant. Après dix ans, on parle de dizaines de téraoctets.
La direction commerciale pose une question simple : « Quel est le montant total des retraits par préfecture, mois par mois, depuis le début ? » Sur un seul serveur, le script Python qui lit les fichiers ligne par ligne tourne pendant des jours, et recommence à zéro à chaque coupure de courant au siège.
L'équipe données dispose maintenant d'une grappe de vingt machines ordinaires. Il faut répartir les fichiers sur ces machines, faire travailler les vingt en même temps et survivre à la panne de l'une d'elles au milieu du calcul.
Comment stocker un très gros fichier sur plusieurs machines et y appliquer un calcul en parallèle qui résiste aux pannes ?
La suite se lit avec votre compte Kharandi Université
La première leçon de chaque cours est libre. Kharandi Université est une inscription à part de l’école : avec votre compte étudiant, vous lisez toutes les leçons en entier, avec les exercices corrigés et les QCM, et les 7 premiers jours sont offerts.
Voir toutes les leçons de Données massives et ingénierie des données
Signaler une erreur dans cette leçon
Toutes les leçons de Données massives et ingénierie des données