Aller au contenu
Apprentissage automatique · L3

Leçon 1 sur 5

Cadre de l'apprentissage : données, modèle, erreur et généralisation

Je sais formaliser un problème d'apprentissage supervisé (données, modèle, fonction de perte), mesurer l'erreur d'un modèle et expliquer pourquoi on cherche à bien généraliser plutôt qu'à coller aux données d'entraînement.

  • 1 h 30
  • 6 exercices corrigés
  • QCM de 7 questions

À la fin de la leçon, vous saurez :

  • Distinguer apprentissage supervisé, non supervisé et par renforcement, régression et classification
  • Formaliser un problème avec des exemples, des variables, une étiquette et une classe de modèles
  • Calculer une perte quadratique, une perte logistique et un risque empirique
  • Expliquer la descente de gradient et réaliser une itération à la main
  • Relier sous-apprentissage, sur-apprentissage, compromis biais-variance et découpage entraînement/test

Avant de commencer : Probabilités et statistiques (L2), algèbre linéaire (vecteurs, produit scalaire), programmation Python.

1Je découvre

« Kankan Microcrédit » (une institution de microfinance fictive) prête de petites sommes à des commerçantes du grand marché de Kankan, à des transporteurs de motos-taxis et à des producteurs d'anacarde. Depuis dix ans, chaque dossier est archivé : âge de l'activité, montant demandé, revenu mensuel déclaré, présence d'un garant, historique d'épargne… et, surtout, le résultat final : le prêt a-t-il été remboursé à temps ou non ?

Aujourd'hui, les agents de crédit décident « au jugé ». Certains sont très prudents et refusent de bons dossiers ; d'autres accordent des prêts qui ne seront jamais remboursés. La directrice, Mme Condé, se demande si l'on peut apprendre à partir des milliers de dossiers passés une règle qui aide les agents à évaluer un nouveau dossier, sans remplacer leur jugement.

Un stagiaire propose d'écrire un programme qui retrouve parfaitement le résultat de tous les anciens dossiers. Mme Condé hésite : « Ce qui m'intéresse, ce sont les dossiers de demain, pas ceux d'hier. »

Comment formaliser ce problème, mesurer l'erreur d'un modèle et s'assurer qu'il fonctionnera sur des dossiers qu'il n'a jamais vus ?

2Je comprends

1. Qu'est-ce qu'apprendre à partir de données ?

L'apprentissage automatique (machine learning) consiste à construire, à partir d'exemples, une fonction capable de faire des prédictions sur de nouveaux cas, sans programmer la règle à la main. Selon la définition classique de T. Mitchell, un programme apprend d'une expérience E pour une tâche T et une mesure de performance P si sa performance sur T, mesurée par P, s'améliore avec E.

On distingue trois grandes familles :

FamilleDonnées disponiblesObjectifExemple à Kankan Microcrédit
Superviséexemples (xi, yi) avec une étiquette yiprédire y pour un nouveau xprédire si un prêt sera remboursé
Non superviséexemples xi sans étiquettedécouvrir une structure (groupes, axes)regrouper les clientes en profils (leçon 5)
Par renforcementun agent reçoit des récompenses en agissantapprendre une stratégiemoins utilisé en crédit ; robotique, jeux

En apprentissage supervisé, on distingue deux tâches selon la nature de l'étiquette :

  • régression : y est un nombre réel (montant remboursé, rendement d'une parcelle en tonnes par hectare) ;
  • classification : y prend un nombre fini de valeurs ou classes (remboursé / défaut ; maladie A, B ou C).

2. Le vocabulaire : données, variables, modèle

Les données forment un tableau : chaque ligne est un exemple (un dossier de prêt), chaque colonne une variable (ou caractéristique, feature). On note :

  • n le nombre d'exemples et d le nombre de variables ;
  • xi = (xi1, …, xid) ∈ ℝd le vecteur des variables de l'exemple i ;
  • yi son étiquette (la « vérité » observée) ;
  • X la matrice n × d et y le vecteur des étiquettes.
DossierAncienneté (ans)Revenu (millions GNF/mois)GarantÉpargne préalableRemboursé ?
143,5ouioui1
211,2nonnon0
376,0ouinon1

Les variables qualitatives (garant oui/non, secteur d'activité) doivent être encodées en nombres, par exemple par un codage one-hot : une colonne 0/1 par modalité.

Un modèle est une fonction f_θ : ℝd → Y qui dépend de paramètres θ appris sur les données. L'ensemble des fonctions possibles s'appelle la classe d'hypothèses H. Exemples :

  • régression linéaire : f_θ(x) = w^top x + b, avec θ = (w, b) ;
  • régression logistique : f_θ(x) = σ(w^top x + b) avec σ(z) = 11 + e-z, qui donne une probabilité entre 0 et 1.

On distingue les paramètres (appris : w, b) et les hyperparamètres (choisis avant l'apprentissage : degré d'un polynôme, nombre de voisins, profondeur d'un arbre…).

3. Mesurer l'erreur : perte et risque

Une fonction de perte ℓ(y, y) mesure le coût de prédire y quand la vérité est y.

PerteFormuleUsage
Quadratique(y - y)2régression
Absolue| y - y |régression robuste aux valeurs extrêmes
0-11 si y ≠ y, 0 sinonclassification (taux d'erreur)
Logistique (entropie croisée)-[y ln p + (1-y)ln(1-p)]classification probabiliste, p = P(y=1)

Le risque empirique est la perte moyenne sur les n exemples d'entraînement :

Rn(f) = 1nΣi=1n ℓ(yi, f(xi))

Le vrai objectif est le risque (ou erreur de généralisation) R(f) = mathbbE[ℓ(Y, f(X))], l'erreur moyenne sur toute la population des futurs dossiers. On ne peut pas le calculer : on ne connaît pas la loi de (X, Y). Le principe de minimisation du risque empirique consiste à choisir f ∈ H qui minimise Rn, en espérant que Rn soit proche de R.

Exemple

Régression : Mme Condé veut prédire le chiffre d'affaires mensuel y (millions GNF) d'une boutique

à partir de son ancienneté x (années). Cinq boutiques :

x = 1, 2, 3, 4, 5 y = 2, 3, 5, 4, 6

Étape 1 — moyennes : x̄ = 3 ; ȳ = 4.

Étape 2 — pente des moindres carrés :

a = Σ(xi − x̄)(yi − ȳ) / Σ(xi − x̄)²

numérateur : (−2)(−2) + (−1)(−1) + 0×1 + 1×0 + 2×2 = 9

dénominateur : 4 + 1 + 0 + 1 + 4 = 10 donc a = 0,9

Étape 3 — ordonnée à l'origine : b = ȳ − a x̄ = 4 − 2,7 = 1,3.

Étape 4 — prédictions ŷ = 0,9x + 1,3 : 2,2 ; 3,1 ; 4,0 ; 4,9 ; 5,8.

Étape 5 — résidus y − ŷ : −0,2 ; −0,1 ; 1,0 ; −0,9 ; 0,2.

Carrés : 0,04 + 0,01 + 1,00 + 0,81 + 0,04 = 1,90.

Risque empirique (erreur quadratique moyenne) : 1,90 / 5 = 0,38.

Exemple

Classification : un modèle logistique donne la probabilité p de remboursement pour quatre dossiers.

Dossier 1 : y = 1, p = 0,8 → perte −ln(0,8) = 0,223

Dossier 2 : y = 0, p = 0,3 → perte −ln(1 − 0,3) = −ln(0,7) = 0,357

Dossier 3 : y = 0, p = 0,6 → perte −ln(0,4) = 0,916

Dossier 4 : y = 1, p = 0,9 → perte −ln(0,9) = 0,105

Perte logistique moyenne : (0,223 + 0,357 + 0,916 + 0,105) / 4 ≈ 0,400.

Le dossier 3 pèse le plus : le modèle était assez confiant (0,6) et s'est trompé.

Avec un seuil de 0,5, le taux d'erreur 0-1 vaut 1/4 = 0,25.

4. Apprendre : la descente de gradient

Pour la régression linéaire, la solution des moindres carrés a une forme fermée : w = (X^top X)-1 X^top y (si X^top X est inversible). Pour la plupart des modèles (régression logistique, réseaux de neurones), il n'y en a pas : on minimise Rn(θ) par descente de gradient.

Méthode

  1. Initialiser les paramètres θ (par exemple à 0 ou au hasard).
  2. Calculer le gradient ∇R_n(θ) : la direction dans laquelle la perte augmente le plus vite.
  3. Faire un pas dans la direction opposée : θ ← θ − η ∇R_n(θ), où η > 0 est le taux d'apprentissage.
  4. Répéter les étapes 2 et 3 jusqu'à ce que la perte ne diminue presque plus (ou un nombre fixé d'itérations).
  5. Vérifier la courbe de la perte : si elle augmente ou oscille, diminuer η ; si elle baisse trop lentement, l'augmenter.

Variante courante : la descente de gradient stochastique (SGD), qui calcule le gradient sur un petit lot (mini-batch) d'exemples à chaque pas ; elle est beaucoup plus rapide sur de gros volumes.

Exemple

Modèle sans constante f(x) = w x, perte quadratique moyenne, données (1 ; 2) et (2 ; 4), η = 0,1.

R(w) = ½ [(w×1 − 2)² + (w×2 − 4)²] R'(w) = (1/n) Σ 2 xi (w xi − yi) = Σ xi (w xi − yi) ici (n = 2)

Itération 1 : w = 0 → R'(0) = 1×(−2) + 2×(−4) = −10 → w = 0 − 0,1×(−10) = 1.

Itération 2 : w = 1 → R'(1) = 1×(−1) + 2×(−2) = −5 → w = 1 + 0,5 = 1,5.

Itération 3 : w = 1,5 → R'(1,5) = −0,5 − 2 = −2,5 → w = 1,75.

L'écart à la solution w* = 2 est divisé par 2 à chaque pas : la méthode converge.

5. Généraliser : sur-apprentissage, sous-apprentissage et compromis biais-variance

Le stagiaire de Mme Condé propose un modèle qui « retient par cœur » les dossiers : son erreur d'entraînement est nulle. Mais sur de nouveaux dossiers, il se trompe beaucoup. C'est le sur-apprentissage (overfitting) : le modèle a appris le bruit propre à l'échantillon, pas la régularité.

SituationErreur d'entraînementErreur sur données nouvellesCause typique
Sous-apprentissageélevéeélevéemodèle trop simple (droite pour un phénomène courbe)
Bon ajustementfaiblefaible, proche de l'entraînementcomplexité adaptée
Sur-apprentissagetrès faibleélevéemodèle trop complexe, trop peu de données

Pour la perte quadratique, l'erreur attendue en un point se décompose ainsi :

mathbbE[(y - f(x))2] = Biais2 + Variance + σ2

  • le biais mesure l'écart moyen entre le modèle et la vraie fonction (fort pour un modèle trop simple) ;
  • la variance mesure la sensibilité du modèle à l'échantillon d'entraînement (forte pour un modèle trop complexe) ;
  • σ2 est le bruit irréductible : aucun modèle ne peut le supprimer.
complexité du modèle :   faible ------------> moyenne ------------> forte
erreur d'entraînement :  élevée               faible                quasi nulle
erreur sur données       élevée               faible (minimum)      élevée
nouvelles :
diagnostic :             sous-apprentissage   bon compromis         sur-apprentissage
                         (biais fort)                               (variance forte)

Leviers contre le sur-apprentissage : plus de données ; un modèle plus simple ; la régularisation, qui pénalise les grands paramètres (Ridge : Rn(w) + λ ‖ w ‖22 ; Lasso : Rn(w) + λ ‖ w ‖1, qui met certains poids exactement à zéro) ; l'arrêt précoce de la descente de gradient.

6. Le protocole : séparer entraînement et test

Pour estimer honnêtement le risque, on réserve une partie des données que le modèle ne voit jamais pendant l'apprentissage.

Méthode

  1. Mélanger les données, puis les découper : par exemple 70 % entraînement, 15 % validation, 15 % test.
  2. Entraîner les modèles candidats sur l'ensemble d'entraînement.
  3. Choisir les hyperparamètres d'après l'erreur sur l'ensemble de validation (ou par validation croisée, leçon 4).
  4. Évaluer UNE SEULE FOIS le modèle final sur l'ensemble de test : c'est l'estimation du risque.
  5. Ne jamais revenir modifier le modèle après avoir vu le score de test, sinon le test devient une validation.

En Python, avec la bibliothèque scikit-learn :

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, stratify=y, random_state=42)
modele = LogisticRegression(max_iter=1000)
modele.fit(X_train, y_train)            # apprentissage des paramètres
print(modele.score(X_train, y_train))   # exactitude sur l'entraînement
print(modele.score(X_test, y_test))     # estimation de la généralisation

L'option stratify=y conserve la même proportion de défauts dans les deux ensembles. Attention aussi au temps : si l'on prédit des dossiers futurs, il est plus réaliste d'entraîner sur les années anciennes et de tester sur les plus récentes. Enfin, un modèle de crédit touche des personnes : il faut vérifier qu'il ne pénalise pas injustement un groupe (femmes, une préfecture, une ethnie) et protéger les données personnelles des clientes. Le modèle aide l'agent ; il ne décide pas seul.

3Je retiens

Je retiens

Supervisé : on apprend f à partir de couples (x, y) ; régression si y est réel, classification si y est une classe.

Paramètres appris sur les données ; hyperparamètres choisis avant l'apprentissage.

Une perte ℓ mesure l'erreur sur un exemple ; le risque empirique est la perte moyenne sur l'entraînement.

Le vrai but est le risque sur des données nouvelles : la généralisation.

Descente de gradient : θ ← θ − η ∇R_n(θ), répétée jusqu'à stabilisation.

Trop simple : sous-apprentissage (biais) ; trop complexe : sur-apprentissage (variance).

On évalue le modèle final une seule fois sur un ensemble de test jamais vu.

4Erreurs fréquentes

  • Juger un modèle sur son erreur d'entraînement : une erreur nulle signale souvent un sur-apprentissage.
  • Confondre régression (y réel) et régression logistique, qui est un modèle de classification.
  • Régler les hyperparamètres sur l'ensemble de test : l'estimation finale devient trop optimiste.
  • Choisir un taux d'apprentissage η trop grand : la perte oscille ou diverge.
  • Oublier d'encoder les variables qualitatives ou de vérifier que les classes sont représentées dans chaque ensemble.

5Je m’exerce

1Exercice 1

(Questions de cours)

a) Différenciez apprentissage supervisé et non supervisé, puis régression et classification.

b) Quelle différence faites-vous entre un paramètre et un hyperparamètre ? Donnez un exemple de chaque.

c) Pourquoi le risque empirique n'est-il pas le vrai objectif de l'apprentissage ?

Voir le corrigéCacher le corrigé

a) En supervisé, chaque exemple porte une étiquette y et l'on apprend à la prédire ; en non supervisé, il n'y a pas d'étiquette et l'on cherche une structure (groupes, axes principaux). En régression, y est un réel ; en classification, y appartient à un ensemble fini de classes.

b) Un paramètre est appris à partir des données (les poids w d'une régression) ; un hyperparamètre est fixé avant l'apprentissage et règle le modèle ou l'algorithme (le taux d'apprentissage η, le coefficient de régularisation λ, le nombre de voisins k).

c) Le risque empirique mesure l'erreur sur les exemples déjà vus. Le but est de bien prédire de nouveaux exemples : c'est le risque R(f), qu'on ne peut qu'estimer, par exemple sur un ensemble de test. Un modèle peut avoir un risque empirique nul et un risque élevé (sur-apprentissage).

2Exercice 2

Pour chaque problème, dites s'il s'agit de régression, de classification ou d'apprentissage non supervisé.

a) Prédire le rendement en riz (tonnes par hectare) d'une parcelle de Faranah à partir de la pluie et des engrais.

b) Détecter si une transaction de mobile money est frauduleuse.

c) Regrouper les clients d'un supermarché de Conakry selon leurs habitudes d'achat, sans catégories définies à l'avance.

d) Reconnaître la langue (pular, malinké, soussou, français) d'un message vocal.

Voir le corrigéCacher le corrigé

a) Régression (rendement réel). b) Classification binaire (fraude / non-fraude). c) Non supervisé (partitionnement ou clustering). d) Classification à quatre classes.

3Exercice 3

Un modèle prédit les prix (millions GNF) de quatre motos-taxis d'occasion à Kindia. Valeurs réelles : 8, 10, 12, 6. Prédictions : 9, 10, 10, 7.

a) Calculez l'erreur quadratique moyenne et l'erreur absolue moyenne.

b) Laquelle de ces deux mesures est la plus sensible à la grosse erreur sur la troisième moto ? Pourquoi ?

Voir le corrigéCacher le corrigé

a) Erreurs y - y : -1, 0, 2, -1. Carrés : 1 + 0 + 4 + 1 = 6, donc EQM = 6/4 = 1,5. Valeurs absolues : 1 + 0 + 2 + 1 = 4, donc EAM = 4/4 = 1 (million GNF).

b) L'EQM : l'erreur de 2 compte pour 4 sur 6 dans la somme des carrés (deux tiers), contre 2 sur 4 dans la somme des valeurs absolues (la moitié). Le carré amplifie les grandes erreurs.

4Exercice 4

Un modèle logistique donne, pour trois dossiers, les probabilités de remboursement suivantes : dossier A (y=1, p=0,95), dossier B (y=0, p=0,2), dossier C (y=1, p=0,1).

a) Calculez la perte logistique de chaque dossier et la perte moyenne.

b) Commentez le dossier C.

Voir le corrigéCacher le corrigé

a) A : -ln(0,95) ≈ 0,051. B : -ln(1 - 0,2) = -ln(0,8) ≈ 0,223. C : -ln(0,1) ≈ 2,303. Moyenne : (0,051 + 0,223 + 2,303)/3 ≈ 0,859.

b) Le dossier C a été remboursé alors que le modèle lui donnait 10 % de chances : la perte logistique punit très fortement une erreur commise avec assurance. Ce seul dossier représente presque 90 % de la perte totale.

5Exercice 5

On minimise R(w) = (w - 3)2 par descente de gradient à partir de w0 = 0.

a) Calculez w1, w2, w3 avec η = 0,25.

b) Que se passe-t-il avec η = 1,5 ? Calculez w1 et w2.

Voir le corrigéCacher le corrigé

a) R'(w) = 2(w - 3). Avec η = 0,25 : wt+1 = wt - 0,5(wt - 3).

w1 = 0 - 0,5 × (-3) = 1,5 ; w2 = 1,5 + 0,75 = 2,25 ; w3 = 2,25 + 0,375 = 2,625. L'écart à 3 est divisé par 2 à chaque pas : convergence vers 3.

b) Avec η = 1,5 : wt+1 = wt - 3(wt - 3). w1 = 0 + 9 = 9 ; w2 = 9 - 18 = -9. L'écart à 3 passe de 3 à 6 puis à 12 : il est multiplié par -2 à chaque pas. La méthode diverge ; il faut réduire η.

6Exercice 6

(Type examen) Kankan Microcrédit dispose de 5 000 dossiers (2018-2025), dont 12 % de défauts. Trois modèles ont été testés :

ModèleErreur d'entraînementErreur de validation
M1 : régression logistique à 3 variables0,210,22
M2 : régression logistique à 25 variables, régularisée0,130,15
M3 : modèle très complexe, non régularisé0,010,24

a) Diagnostiquez chaque modèle (sous-apprentissage, bon ajustement, sur-apprentissage).

b) Quel modèle retenez-vous ? Comment obtenez-vous l'estimation finale de son erreur ?

c) Proposez un découpage des données adapté au fait que l'on veut prédire les dossiers futurs.

d) Citez deux précautions éthiques avant de mettre ce modèle en service.

Voir le corrigéCacher le corrigé

a) M1 : erreurs élevées et proches → sous-apprentissage (modèle trop simple, biais fort). M2 : erreurs faibles et proches → bon ajustement. M3 : erreur d'entraînement quasi nulle mais erreur de validation élevée → sur-apprentissage (variance forte).

b) On retient M2. On l'évalue une seule fois sur un ensemble de test mis de côté dès le départ, jamais utilisé pour choisir entre M1, M2 et M3 ; ce score est l'estimation de l'erreur de généralisation. Avec 12 % de défauts, on complétera par des métriques adaptées aux classes déséquilibrées (rappel, précision, leçon 4) : un modèle qui prédit toujours « remboursé » aurait déjà une erreur de 0,12.

c) Découpage temporel : entraînement sur 2018-2023, validation sur 2024, test sur 2025. On imite ainsi la situation réelle (apprendre sur le passé, prédire l'avenir) et l'on évite que des informations « futures » servent à l'apprentissage.

d) Par exemple : vérifier que les taux d'erreur ne sont pas très différents entre femmes et hommes ou entre préfectures (équité) ; protéger et anonymiser les données personnelles ; garder la décision finale à l'agent de crédit et pouvoir expliquer un refus à la cliente.

Cherchez d’abord seul, sur votre cahier, puis ouvrez le corrigé pour comparer.

6Je vérifie

Choisissez une réponse pour chaque question : la correction s’affiche aussitôt.

1Prédire le montant d'une facture d'électricité à partir de la consommation est un problème de :
Voir la réponse

Réponse A : régression. L'étiquette est un nombre réel : c'est une régression.

2Le risque empirique est :
Voir la réponse

Réponse B : la perte moyenne sur les exemples d'entraînement. Rn(f) = 1nΣ ℓ(yi, f(xi)), calculé sur les données d'apprentissage.

3Un modèle a 1 % d'erreur en entraînement et 30 % en test. Il est probablement en :
Voir la réponse

Réponse B : sur-apprentissage. Le grand écart entre entraînement et test signale une forte variance.

4Dans la descente de gradient, la mise à jour s'écrit :
Voir la réponse

Réponse B : θ ← θ - η ∇ Rn(θ). On avance dans la direction opposée au gradient pour faire baisser la perte.

5Lequel est un hyperparamètre ?
Voir la réponse

Réponse B : le coefficient de régularisation λ. λ est fixé avant l'apprentissage ; w et b sont appris.

6Un modèle trop simple souffre surtout :
Voir la réponse

Réponse A : d'un biais élevé. Il ne peut pas représenter la vraie relation : biais fort, sous-apprentissage.

7Pourquoi ne règle-t-on pas les hyperparamètres sur l'ensemble de test ?
Voir la réponse

Réponse B : parce que l'erreur de test deviendrait une estimation trop optimiste. Le test doit rester « jamais vu » pour estimer honnêtement la généralisation.

Karamö, votre enseignant

Il a lu cette leçon. Posez-lui votre question : il vous répond ici.

Connectez-vous pour poser vos questions à Karamö.

Vous avez fini la leçon ?

Avec un compte Kharandi gratuit, vous cochez les leçons terminées et vous suivez votre progression, cours par cours.

Karamö
Un point pas clair ? Dites à Karamö ce qui vous bloque dans cette leçon : il vous l’explique autrement, pas à pas, sans faire le travail à votre place. Demander à Karamö
Signaler une erreur dans cette leçon

Toutes les leçons de Apprentissage automatique

Pose ta question à Karamö