Aller au contenu
Données massives et ingénierie des données · L3

Leçon 1 sur 5

Les caractéristiques des données massives

Je sais reconnaître une situation de données massives à partir de ses caractéristiques (volume, vitesse, variété, véracité, valeur), estimer un volume de stockage et expliquer pourquoi il faut passer à une architecture distribuée.

  • 1 h 15
  • 6 exercices corrigés
  • QCM de 7 questions

À la fin de la leçon, vous saurez :

  • Définir les données massives et décrire les « 5 V »
  • Distinguer données structurées, semi-structurées et non structurées
  • Estimer un volume de données et un temps de lecture à partir d'hypothèses chiffrées
  • Comparer mise à l'échelle verticale et horizontale
  • Situer lac de données, entrepôt de données et chaîne de traitement

Avant de commencer : Bases de données relationnelles (SQL), Programmation en Python, Systèmes d'exploitation et réseaux.

1Je découvre

NafaPay est une entreprise fictive de paiement mobile installée à Kaloum. Elle compte des agents dans toutes les régions : un vendeur de crédit au grand marché de Kankan, une boutique de transfert à Labé, un point de retrait près de la gare routière de N'Zérékoré. Supposons qu'elle traite environ 3 millions de transactions par jour.

À ses débuts, une seule base PostgreSQL sur un serveur du siège suffisait. Aujourd'hui, la direction veut beaucoup plus : garder dix ans d'historique, détecter les fraudes pendant la transaction, analyser les messages vocaux du service client, croiser les données avec la météo pour prévoir les pics de retraits pendant la récolte du café en Guinée forestière. Les requêtes du soir durent toute la nuit, le disque est plein tous les trois mois et la moindre panne du serveur arrête tout.

L'équipe données de NafaPay, que nous suivrons pendant tout le cours, doit d'abord poser le bon diagnostic.

À partir de quand parle-t-on de « données massives », et pourquoi les outils classiques ne suffisent-ils plus ?

2Je comprends

1. Définir les données massives

On parle de données massives (en anglais big data) quand le volume, la vitesse d'arrivée ou la diversité des données dépassent les capacités d'un système classique centralisé (un serveur, un SGBD relationnel) à les stocker, les traiter et les analyser dans des délais et à un coût acceptables.

La définition est donc relative : ce n'est pas un seuil fixe en téraoctets, c'est le moment où il faut changer d'architecture. Quelques centaines de gigaoctets peuvent suffire si l'on exige une réponse en quelques secondes ; plusieurs téraoctets restent « classiques » s'ils sont rarement interrogés.

Rappel des unités (système international, en puissances de 10) :

UnitéValeurOrdre de grandeur
kilooctet (Ko)103 octetsun court message texte
mégaoctet (Mo)106 octetsune photo de téléphone
gigaoctet (Go)109 octetsun film compressé
téraoctet (To)1012 octetsun disque dur grand public
pétaoctet (Po)1015 octetsl'entrepôt d'une très grande entreprise

Les systèmes d'exploitation utilisent souvent les unités binaires : 1 Kio = 210 = 1 024 octets, 1 Gio = 230 octets. L'écart entre Go et Gio est d'environ 7 % ; précisez toujours l'unité utilisée.

2. Les « 5 V »

On décrit habituellement les données massives par cinq caractéristiques :

VSignificationChez NafaPay
Volumequantité de données à conserverhistorique de dix ans de transactions et de journaux techniques
Vélocitévitesse de production et délai de traitement attendudétecter la fraude en moins d'une seconde
Variétédiversité des formats et des sourcestables SQL, fichiers JSON des applications, audio du centre d'appels, images de pièces d'identité
Véracitéqualité, fiabilité, incertitudenuméros saisis deux fois, montants négatifs, horloges des terminaux décalées
Valeurutilité réelle pour une décisionréduire la fraude, placer des agents là où la demande existe

Les trois premiers V (volume, vélocité, variété) décrivent la difficulté technique ; les deux derniers rappellent qu'une donnée abondante mais fausse ou inutile ne sert à rien. Certains auteurs ajoutent d'autres V (variabilité, visualisation) : retenez surtout l'idée, pas la liste.

3. Structure des données

TypeDescriptionExemplesStockage typique
Structuréesschéma fixe, colonnes typéestable des transactionsSGBD relationnel, fichiers Parquet
Semi-structuréesstructure présente mais souple, champs optionnels ou imbriquésJSON, XML, journaux d'applicationbases documents, lac de données
Non structuréespas de schéma exploitable directementtexte libre, audio, images, vidéosstockage objet, système de fichiers distribué

Exemple d'événement semi-structuré envoyé par l'application mobile :

{"id": "T-88412", "type": "retrait", "montant": 250000,
 "agent": {"code": "KNK-017", "ville": "Kankan"},
 "terminal": {"os": "Android", "version": "4.2"}}

Un autre événement peut contenir un champ "commentaire" absent ici : c'est cette souplesse qui empêche de tout ranger dans une table unique au schéma figé. On parle de schéma à l'écriture (schema-on-write, le SGBD vérifie le schéma lors de l'insertion) et de schéma à la lecture (schema-on-read, on stocke brut et on interprète au moment de l'analyse).

4. Estimer un volume et un temps de traitement

Avant tout choix technique, on estime les ordres de grandeur. Le volume annuel brut se calcule par :

V = n × t × j

où n est le nombre d'enregistrements par jour, t la taille moyenne d'un enregistrement et j le nombre de jours.

Exemple

Hypothèses : 3 millions de transactions par jour, 400 octets par transaction,

365 jours, chaque donnée copiée 3 fois pour résister aux pannes.

Étape 1 – Volume par jour : 3 000 000 × 400 = 1 200 000 000 octets = 1,2 Go.

Étape 2 – Volume par an : 1,2 Go × 365 = 438 Go.

Étape 3 – Avec 3 copies : 438 × 3 = 1 314 Go, soit environ 1,3 To par an.

Étape 4 – Sur dix ans : environ 13 To, sans compter les journaux,

l'audio ni les index.

Conclusion : un seul serveur pourrait stocker les transactions,

mais pas l'ensemble des sources ni avec un temps d'analyse correct.

Le temps de lecture est souvent le vrai goulot d'étranglement. Si un disque lit à un débit d, lire un volume V prend T = V / d.

Exemple

Lire 10 To avec un disque à 150 Mo/s :

T = 10 × 10^12 / (150 × 10^6) ≈ 66 667 s ≈ 18,5 heures.

Si les 10 To sont répartis sur 100 disques lus en parallèle :

T ≈ 66 667 / 100 ≈ 667 s, soit environ 11 minutes.

C'est l'argument central des données massives : on ne rend pas un disque plus rapide, on lit sur beaucoup de disques à la fois, et l'on envoie le calcul là où se trouvent les données plutôt que de faire voyager les données.

Méthode

  1. Lister les sources et, pour chacune, le nombre d'enregistrements par jour.
  2. Estimer la taille moyenne d'un enregistrement (en octets).
  3. Calculer le volume par jour, puis par an, puis sur la durée de conservation.
  4. Multiplier par le facteur de réplication et ajouter une marge (index, croissance).
  5. Calculer le temps de lecture complet T = V / d avec un disque, puis avec k disques.
  6. Comparer au délai exigé par le métier pour décider si une architecture distribuée est nécessaire.

5. Monter en puissance : vertical ou horizontal

CritèreMise à l'échelle verticale (scale up)Mise à l'échelle horizontale (scale out)
Principeun serveur plus puissant (plus de RAM, de cœurs, de disques)plus de serveurs ordinaires travaillant ensemble (une grappe, cluster)
Limiteplafond matériel, coût qui croît très vitequasi illimitée, coût proportionnel au nombre de nœuds
Pannesle serveur est un point unique de défaillanceune panne de nœud est normale et doit être tolérée
Complexitéfaible : on garde ses outilsforte : répartition, réplication, coordination

Dans une grappe de 100 machines, des pannes arrivent régulièrement : un disque, une alimentation, un câble. Les systèmes distribués partent donc d'un principe : la panne est la règle, pas l'exception. Ils répliquent les données et relancent automatiquement les calculs perdus.

Les coupures d'électricité et les liaisons réseau parfois instables, fréquentes dans plusieurs régions, renforcent l'intérêt de cette tolérance aux pannes, mais aussi du stockage en nuage ou dans un centre de données bien alimenté.

6. Le paysage d'une architecture de données

 Sources            Ingestion         Stockage            Traitement        Usage
 --------           ---------         --------            ----------        -----
 transactions  -->  lots (batch) -->  lac de données -->  Spark, SQL   -->  tableaux de bord
 applis mobiles --> flux (stream) --> (fichiers bruts)    MapReduce         modèles d'IA
 centre d'appels                      entrepôt (tables)                     API, rapports
  • Le lac de données (data lake) stocke les données brutes, de tous formats, à faible coût, avec un schéma à la lecture.
  • L'entrepôt de données (data warehouse) stocke des données nettoyées et modélisées (tables de faits et de dimensions) pour l'analyse décisionnelle, avec un schéma à l'écriture.
  • Beaucoup d'organisations combinent les deux : un lac pour tout garder, un entrepôt pour les indicateurs officiels.

Les leçons suivantes détaillent chaque brique : le stockage NoSQL et distribué (leçon 2), Hadoop et MapReduce (leçon 3), Spark (leçon 4), puis les chaînes de traitement et la mise en production des modèles (leçon 5).

Enfin, des données massives sur des personnes (numéros de téléphone, localisations, transactions) sont des données personnelles : leur collecte et leur conservation doivent respecter la réglementation guinéenne applicable et le principe de minimisation (ne garder que ce qui est utile, le temps nécessaire).

3Je retiens

Je retiens

Les données massives commencent quand un système centralisé ne suffit plus.

5 V : volume, vélocité, variété, véracité, valeur.

Données structurées, semi-structurées (JSON, journaux) ou non structurées (texte, audio, image).

Volume = enregistrements par jour × taille × jours × réplication.

Temps de lecture T = V / d : on gagne en lisant sur k disques en parallèle.

Scale up = un serveur plus gros ; scale out = plus de serveurs en grappe.

En grappe, la panne est normale : on réplique et on relance.

Lac = données brutes, schéma à la lecture ; entrepôt = données modélisées.

4Erreurs fréquentes

  • Croire qu'il existe un seuil universel (par exemple 1 To) au-delà duquel on fait du big data.
  • Confondre Go (10^9 octets) et Gio (2^30 octets) dans un calcul de capacité.
  • Oublier le facteur de réplication et la croissance dans l'estimation du stockage.
  • Penser qu'il suffit d'acheter un serveur plus gros : la limite et le point unique de défaillance demeurent.
  • Négliger la véracité : des données massives mais erronées produisent des décisions massivement fausses.

5Je m’exerce

1Exercice 1

(Questions de cours) a) Pourquoi la définition des données massives est-elle relative ? b) Citez les 5 V et donnez pour chacun un exemple tiré d'un hôpital régional de Labé. c) Quelle est la différence entre schéma à l'écriture et schéma à la lecture ?

Voir le corrigéCacher le corrigé

a) Elle dépend de ce que l'on attend du système : on parle de données massives quand le volume, la vitesse ou la variété dépassent ce qu'un système centralisé peut traiter dans les délais et le budget exigés. b) Volume : dix ans de dossiers patients et d'imagerie ; vélocité : signaux des moniteurs en continu ; variété : radios, comptes rendus en texte, tables de rendez-vous ; véracité : âges mal saisis, doublons de dossiers ; valeur : prévoir l'affluence pour organiser les gardes. c) Avec le schéma à l'écriture, la structure est imposée et contrôlée lors de l'insertion (SGBD relationnel) ; avec le schéma à la lecture, on stocke les données brutes et on leur applique une structure seulement au moment de l'analyse (lac de données).

2Exercice 2

Classez chaque donnée en structurée, semi-structurée ou non structurée : a) la table des agents de NafaPay ; b) les photos de cartes d'identité ; c) un fichier de journal au format JSON ; d) les enregistrements audio du centre d'appels ; e) un fichier CSV des soldes ; f) les courriels des clients.

Voir le corrigéCacher le corrigé

a) structurée ; b) non structurée ; c) semi-structurée ; d) non structurée ; e) structurée ; f) non structurée pour le corps du message, mais les en-têtes (expéditeur, date, objet) sont semi-structurés.

3Exercice 3

Une coopérative agricole de Faranah installe 2 000 capteurs d'humidité. Chaque capteur envoie une mesure de 200 octets toutes les 5 minutes. a) Combien de mesures par jour au total ? b) Quel volume brut par jour, puis par an (365 jours) ? c) Quel volume sur 5 ans avec 3 copies ?

Voir le corrigéCacher le corrigé

a) Une mesure toutes les 5 minutes donne 24 × 60 / 5 = 288 mesures par capteur et par jour, soit 2 000 × 288 = 576 000 mesures par jour.

b) 576 000 × 200 = 115 200 000 octets, soit 115,2 Mo par jour ; par an : 115,2 × 365 = 42 048 Mo, soit environ 42 Go.

c) 42,048 × 5 × 3 ≈ 630,7 Go, soit environ 0,63 To. Le volume reste modeste : ici, c'est surtout la vélocité (flux continu) qui compte.

4Exercice 4

Un disque lit à 200 Mo/s. a) Combien de temps faut-il pour lire 4 To sur un seul disque ? b) Combien de disques faut-il au minimum pour que la lecture prenne au plus 10 minutes ?

Voir le corrigéCacher le corrigé

a) T = 4 × 1012 / (200 × 106) = 20 000 s, soit environ 5 h 33 min.

b) 10 minutes = 600 s. Il faut k tel que 20 000 / k ≤ 600, donc k ≥ 33,3 : au moins 34 disques lus en parallèle (en supposant un partage parfait des données).

5Exercice 5

Comparez, en un tableau de trois critères, la mise à l'échelle verticale et horizontale pour NafaPay, puis indiquez laquelle vous recommandez et pourquoi.

Voir le corrigéCacher le corrigé
CritèreVerticaleHorizontale
Coût de croissancede plus en plus cher, avec un plafondprogressif, nœud par nœud
Tolérance aux pannesserveur unique, point unique de défaillanceréplication, un nœud peut tomber
Complexitéfaibleélevée (outils distribués, compétences)

Recommandation : horizontale, car NafaPay doit conserver dix ans d'historique, absorber des pics et ne jamais s'arrêter ; la complexité supplémentaire est le prix de la disponibilité. On peut garder un serveur relationnel solide pour les opérations courantes et ajouter une grappe pour l'historique et l'analyse.

6Exercice 6

(Type examen) Une société minière de Boké veut centraliser : (1) les relevés de 500 camions, chacun envoyant une position GPS de 100 octets chaque seconde, 24 heures sur 24 ; (2) les rapports d'incident rédigés en texte libre ; (3) la base SQL de la paie.

a) Pour chaque source, indiquez son type de structure et le V le plus marquant.

b) Calculez le volume brut journalier des positions GPS.

c) Calculez le volume annuel (365 jours) avec un facteur de réplication de 3.

d) Proposez une architecture (lac, entrepôt ou les deux) et justifiez en trois phrases.

Voir le corrigéCacher le corrigé

a) Positions GPS : structurées (ou semi-structurées si envoyées en JSON), V marquant : vélocité. Rapports d'incident : non structurés, V marquant : variété (et véracité, car le texte est libre). Paie : structurée, V marquant : véracité (exactitude indispensable), volume faible.

b) 500 × 86 400 = 43 200 000 positions par jour ; 43 200 000 × 100 = 4,32 × 109 octets, soit 4,32 Go par jour.

c) 4,32 × 365 = 1 576,8 Go par an ; avec 3 copies : 4 730,4 Go, soit environ 4,7 To par an.

d) Les deux. Un lac de données reçoit les positions brutes et les rapports en texte, à faible coût et sans schéma imposé. Un entrepôt contient les indicateurs nettoyés (distance parcourue, incidents par site, coûts) et la paie, pour les tableaux de bord de direction. Une chaîne de traitement alimente l'entrepôt à partir du lac chaque jour.

Cherchez d’abord seul, sur votre cahier, puis ouvrez le corrigé pour comparer.

6Je vérifie

Choisissez une réponse pour chaque question : la correction s’affiche aussitôt.

1Quel V correspond à la vitesse à laquelle les données arrivent et doivent être traitées ?
Voir la réponse

Réponse B : Vélocité. La vélocité concerne le rythme de production et le délai de traitement attendu.

2Un journal d'application au format JSON est une donnée :
Voir la réponse

Réponse B : semi-structurée. Il a une structure (clés, valeurs) mais souple : champs optionnels et imbriqués.

3Combien de temps faut-il pour lire 6 To à 150 Mo/s sur un seul disque ?
Voir la réponse

Réponse B : environ 11 heures. 6 × 10^12 / 1,5 × 10^8 = 40 000 s, soit environ 11,1 heures.

4La mise à l'échelle horizontale consiste à :
Voir la réponse

Réponse B : ajouter des machines qui travaillent ensemble. Scale out : on agrandit la grappe en ajoutant des nœuds.

5Pourquoi réplique-t-on les données dans une grappe ?
Voir la réponse

Réponse B : pour survivre à la panne d'un nœud. La panne est normale en grappe ; les copies permettent de continuer sans perte.

6Le lac de données se caractérise par :
Voir la réponse

Réponse A : un stockage brut, multi-formats, avec schéma à la lecture. L'entrepôt, lui, stocke des données modélisées avec schéma à l'écriture.

71 Gio vaut :
Voir la réponse

Réponse B : 2^30 octets. Le préfixe binaire « gibi » vaut 2^30 = 1 073 741 824 octets.

Karamö, votre enseignant

Il a lu cette leçon. Posez-lui votre question : il vous répond ici.

Connectez-vous pour poser vos questions à Karamö.

Vous avez fini la leçon ?

Avec un compte Kharandi gratuit, vous cochez les leçons terminées et vous suivez votre progression, cours par cours.

Karamö
Un point pas clair ? Dites à Karamö ce qui vous bloque dans cette leçon : il vous l’explique autrement, pas à pas, sans faire le travail à votre place. Demander à Karamö
Signaler une erreur dans cette leçon

Toutes les leçons de Données massives et ingénierie des données

Pose ta question à Karamö