Aller au contenu
Données massives et ingénierie des données · L3

Leçon 4 sur 5

Traitement distribué avec Spark

Je sais écrire un traitement distribué en PySpark avec les RDD et les DataFrames, distinguer transformations et actions, prévoir les échanges de données (shuffle) et estimer le parallélisme d'un calcul.

  • 1 h 30
  • 6 exercices corrigés
  • QCM de 7 questions

À la fin de la leçon, vous saurez :

  • Expliquer l'architecture d'une application Spark (pilote, exécuteurs, partitions, tâches)
  • Distinguer transformations et actions et expliquer l'évaluation paresseuse
  • Reconnaître les dépendances étroites et larges et leur effet sur les étapes
  • Écrire un traitement avec l'API DataFrame et avec Spark SQL
  • Calculer le nombre de partitions et de vagues de tâches d'un traitement

Avant de commencer : Leçon 3 (Hadoop et MapReduce) ; Programmation en Python ; SQL.

1Je découvre

Le calcul du total des retraits par préfecture fonctionne enfin sur la grappe de NafaPay, notre opérateur fictif de paiement mobile. Mais le service antifraude veut maintenant entraîner un modèle qui parcourt vingt fois les mêmes données, et le service marketing veut des indicateurs combinant transactions, agents et clients, avec des jointures.

En MapReduce, chaque passage relit les données sur disque et réécrit ses résultats : la préparation du modèle prend une nuit entière. Une stagiaire de l'université de Kankan propose d'utiliser Apache Spark, qui garde les données en mémoire entre les étapes et accepte des requêtes SQL.

L'équipe veut comprendre ce que Spark fait vraiment, pour ne pas écrire sans le savoir un programme qui déplace des téraoctets sur le réseau.

Comment Spark répartit-il un traitement sur une grappe, et comment écrire un programme distribué efficace ?

La suite se lit avec votre compte Kharandi Université

La première leçon de chaque cours est libre. Kharandi Université est une inscription à part de l’école : avec votre compte étudiant, vous lisez toutes les leçons en entier, avec les exercices corrigés et les QCM, et les 7 premiers jours sont offerts.

Voir toutes les leçons de Données massives et ingénierie des données

Signaler une erreur dans cette leçon

Toutes les leçons de Données massives et ingénierie des données

Pose ta question à Karamö