Leçon 1 sur 5
Cadre de l'apprentissage : données, modèle, erreur et généralisation
Je sais formaliser un problème d'apprentissage supervisé (données, modèle, fonction de perte), mesurer l'erreur d'un modèle et expliquer pourquoi on cherche à bien généraliser plutôt qu'à coller aux données d'entraînement.
- 1 h 30
- 6 exercices corrigés
- QCM de 7 questions
À la fin de la leçon, vous saurez :
- Distinguer apprentissage supervisé, non supervisé et par renforcement, régression et classification
- Formaliser un problème avec des exemples, des variables, une étiquette et une classe de modèles
- Calculer une perte quadratique, une perte logistique et un risque empirique
- Expliquer la descente de gradient et réaliser une itération à la main
- Relier sous-apprentissage, sur-apprentissage, compromis biais-variance et découpage entraînement/test
Avant de commencer : Probabilités et statistiques (L2), algèbre linéaire (vecteurs, produit scalaire), programmation Python.
1Je découvre
« Kankan Microcrédit » (une institution de microfinance fictive) prête de petites sommes à des commerçantes du grand marché de Kankan, à des transporteurs de motos-taxis et à des producteurs d'anacarde. Depuis dix ans, chaque dossier est archivé : âge de l'activité, montant demandé, revenu mensuel déclaré, présence d'un garant, historique d'épargne… et, surtout, le résultat final : le prêt a-t-il été remboursé à temps ou non ?
Aujourd'hui, les agents de crédit décident « au jugé ». Certains sont très prudents et refusent de bons dossiers ; d'autres accordent des prêts qui ne seront jamais remboursés. La directrice, Mme Condé, se demande si l'on peut apprendre à partir des milliers de dossiers passés une règle qui aide les agents à évaluer un nouveau dossier, sans remplacer leur jugement.
Un stagiaire propose d'écrire un programme qui retrouve parfaitement le résultat de tous les anciens dossiers. Mme Condé hésite : « Ce qui m'intéresse, ce sont les dossiers de demain, pas ceux d'hier. »
Comment formaliser ce problème, mesurer l'erreur d'un modèle et s'assurer qu'il fonctionnera sur des dossiers qu'il n'a jamais vus ?
2Je comprends
1. Qu'est-ce qu'apprendre à partir de données ?
L'apprentissage automatique (machine learning) consiste à construire, à partir d'exemples, une fonction capable de faire des prédictions sur de nouveaux cas, sans programmer la règle à la main. Selon la définition classique de T. Mitchell, un programme apprend d'une expérience E pour une tâche T et une mesure de performance P si sa performance sur T, mesurée par P, s'améliore avec E.
On distingue trois grandes familles :
| Famille | Données disponibles | Objectif | Exemple à Kankan Microcrédit |
|---|---|---|---|
| Supervisé | exemples (xi, yi) avec une étiquette yi | prédire y pour un nouveau x | prédire si un prêt sera remboursé |
| Non supervisé | exemples xi sans étiquette | découvrir une structure (groupes, axes) | regrouper les clientes en profils (leçon 5) |
| Par renforcement | un agent reçoit des récompenses en agissant | apprendre une stratégie | moins utilisé en crédit ; robotique, jeux |
En apprentissage supervisé, on distingue deux tâches selon la nature de l'étiquette :
- régression : y est un nombre réel (montant remboursé, rendement d'une parcelle en tonnes par hectare) ;
- classification : y prend un nombre fini de valeurs ou classes (remboursé / défaut ; maladie A, B ou C).
2. Le vocabulaire : données, variables, modèle
Les données forment un tableau : chaque ligne est un exemple (un dossier de prêt), chaque colonne une variable (ou caractéristique, feature). On note :
- n le nombre d'exemples et d le nombre de variables ;
- xi = (xi1, …, xid) ∈ ℝd le vecteur des variables de l'exemple i ;
- yi son étiquette (la « vérité » observée) ;
- X la matrice n × d et y le vecteur des étiquettes.
| Dossier | Ancienneté (ans) | Revenu (millions GNF/mois) | Garant | Épargne préalable | Remboursé ? |
|---|---|---|---|---|---|
| 1 | 4 | 3,5 | oui | oui | 1 |
| 2 | 1 | 1,2 | non | non | 0 |
| 3 | 7 | 6,0 | oui | non | 1 |
Les variables qualitatives (garant oui/non, secteur d'activité) doivent être encodées en nombres, par exemple par un codage one-hot : une colonne 0/1 par modalité.
Un modèle est une fonction f_θ : ℝd → Y qui dépend de paramètres θ appris sur les données. L'ensemble des fonctions possibles s'appelle la classe d'hypothèses H. Exemples :
- régression linéaire : f_θ(x) = w^top x + b, avec θ = (w, b) ;
- régression logistique : f_θ(x) = σ(w^top x + b) avec σ(z) = 11 + e-z, qui donne une probabilité entre 0 et 1.
On distingue les paramètres (appris : w, b) et les hyperparamètres (choisis avant l'apprentissage : degré d'un polynôme, nombre de voisins, profondeur d'un arbre…).
3. Mesurer l'erreur : perte et risque
Une fonction de perte ℓ(y, y) mesure le coût de prédire y quand la vérité est y.
| Perte | Formule | Usage |
|---|---|---|
| Quadratique | (y - y)2 | régression |
| Absolue | | y - y | | régression robuste aux valeurs extrêmes |
| 0-1 | 1 si y ≠ y, 0 sinon | classification (taux d'erreur) |
| Logistique (entropie croisée) | -[y ln p + (1-y)ln(1-p)] | classification probabiliste, p = P(y=1) |
Le risque empirique est la perte moyenne sur les n exemples d'entraînement :
Rn(f) = 1nΣi=1n ℓ(yi, f(xi))
Le vrai objectif est le risque (ou erreur de généralisation) R(f) = mathbbE[ℓ(Y, f(X))], l'erreur moyenne sur toute la population des futurs dossiers. On ne peut pas le calculer : on ne connaît pas la loi de (X, Y). Le principe de minimisation du risque empirique consiste à choisir f ∈ H qui minimise Rn, en espérant que Rn soit proche de R.
Exemple
Régression : Mme Condé veut prédire le chiffre d'affaires mensuel y (millions GNF) d'une boutique
à partir de son ancienneté x (années). Cinq boutiques :
x = 1, 2, 3, 4, 5 y = 2, 3, 5, 4, 6
Étape 1 — moyennes : x̄ = 3 ; ȳ = 4.
Étape 2 — pente des moindres carrés :
a = Σ(xi − x̄)(yi − ȳ) / Σ(xi − x̄)²
numérateur : (−2)(−2) + (−1)(−1) + 0×1 + 1×0 + 2×2 = 9
dénominateur : 4 + 1 + 0 + 1 + 4 = 10 donc a = 0,9
Étape 3 — ordonnée à l'origine : b = ȳ − a x̄ = 4 − 2,7 = 1,3.
Étape 4 — prédictions ŷ = 0,9x + 1,3 : 2,2 ; 3,1 ; 4,0 ; 4,9 ; 5,8.
Étape 5 — résidus y − ŷ : −0,2 ; −0,1 ; 1,0 ; −0,9 ; 0,2.
Carrés : 0,04 + 0,01 + 1,00 + 0,81 + 0,04 = 1,90.
Risque empirique (erreur quadratique moyenne) : 1,90 / 5 = 0,38.
Exemple
Classification : un modèle logistique donne la probabilité p de remboursement pour quatre dossiers.
Dossier 1 : y = 1, p = 0,8 → perte −ln(0,8) = 0,223
Dossier 2 : y = 0, p = 0,3 → perte −ln(1 − 0,3) = −ln(0,7) = 0,357
Dossier 3 : y = 0, p = 0,6 → perte −ln(0,4) = 0,916
Dossier 4 : y = 1, p = 0,9 → perte −ln(0,9) = 0,105
Perte logistique moyenne : (0,223 + 0,357 + 0,916 + 0,105) / 4 ≈ 0,400.
Le dossier 3 pèse le plus : le modèle était assez confiant (0,6) et s'est trompé.
Avec un seuil de 0,5, le taux d'erreur 0-1 vaut 1/4 = 0,25.
4. Apprendre : la descente de gradient
Pour la régression linéaire, la solution des moindres carrés a une forme fermée : w = (X^top X)-1 X^top y (si X^top X est inversible). Pour la plupart des modèles (régression logistique, réseaux de neurones), il n'y en a pas : on minimise Rn(θ) par descente de gradient.
Méthode
- Initialiser les paramètres θ (par exemple à 0 ou au hasard).
- Calculer le gradient ∇R_n(θ) : la direction dans laquelle la perte augmente le plus vite.
- Faire un pas dans la direction opposée : θ ← θ − η ∇R_n(θ), où η > 0 est le taux d'apprentissage.
- Répéter les étapes 2 et 3 jusqu'à ce que la perte ne diminue presque plus (ou un nombre fixé d'itérations).
- Vérifier la courbe de la perte : si elle augmente ou oscille, diminuer η ; si elle baisse trop lentement, l'augmenter.
Variante courante : la descente de gradient stochastique (SGD), qui calcule le gradient sur un petit lot (mini-batch) d'exemples à chaque pas ; elle est beaucoup plus rapide sur de gros volumes.
Exemple
Modèle sans constante f(x) = w x, perte quadratique moyenne, données (1 ; 2) et (2 ; 4), η = 0,1.
R(w) = ½ [(w×1 − 2)² + (w×2 − 4)²] R'(w) = (1/n) Σ 2 xi (w xi − yi) = Σ xi (w xi − yi) ici (n = 2)
Itération 1 : w = 0 → R'(0) = 1×(−2) + 2×(−4) = −10 → w = 0 − 0,1×(−10) = 1.
Itération 2 : w = 1 → R'(1) = 1×(−1) + 2×(−2) = −5 → w = 1 + 0,5 = 1,5.
Itération 3 : w = 1,5 → R'(1,5) = −0,5 − 2 = −2,5 → w = 1,75.
L'écart à la solution w* = 2 est divisé par 2 à chaque pas : la méthode converge.
5. Généraliser : sur-apprentissage, sous-apprentissage et compromis biais-variance
Le stagiaire de Mme Condé propose un modèle qui « retient par cœur » les dossiers : son erreur d'entraînement est nulle. Mais sur de nouveaux dossiers, il se trompe beaucoup. C'est le sur-apprentissage (overfitting) : le modèle a appris le bruit propre à l'échantillon, pas la régularité.
| Situation | Erreur d'entraînement | Erreur sur données nouvelles | Cause typique |
|---|---|---|---|
| Sous-apprentissage | élevée | élevée | modèle trop simple (droite pour un phénomène courbe) |
| Bon ajustement | faible | faible, proche de l'entraînement | complexité adaptée |
| Sur-apprentissage | très faible | élevée | modèle trop complexe, trop peu de données |
Pour la perte quadratique, l'erreur attendue en un point se décompose ainsi :
mathbbE[(y - f(x))2] = Biais2 + Variance + σ2
- le biais mesure l'écart moyen entre le modèle et la vraie fonction (fort pour un modèle trop simple) ;
- la variance mesure la sensibilité du modèle à l'échantillon d'entraînement (forte pour un modèle trop complexe) ;
- σ2 est le bruit irréductible : aucun modèle ne peut le supprimer.
complexité du modèle : faible ------------> moyenne ------------> forte
erreur d'entraînement : élevée faible quasi nulle
erreur sur données élevée faible (minimum) élevée
nouvelles :
diagnostic : sous-apprentissage bon compromis sur-apprentissage
(biais fort) (variance forte)Leviers contre le sur-apprentissage : plus de données ; un modèle plus simple ; la régularisation, qui pénalise les grands paramètres (Ridge : Rn(w) + λ ‖ w ‖22 ; Lasso : Rn(w) + λ ‖ w ‖1, qui met certains poids exactement à zéro) ; l'arrêt précoce de la descente de gradient.
6. Le protocole : séparer entraînement et test
Pour estimer honnêtement le risque, on réserve une partie des données que le modèle ne voit jamais pendant l'apprentissage.
Méthode
- Mélanger les données, puis les découper : par exemple 70 % entraînement, 15 % validation, 15 % test.
- Entraîner les modèles candidats sur l'ensemble d'entraînement.
- Choisir les hyperparamètres d'après l'erreur sur l'ensemble de validation (ou par validation croisée, leçon 4).
- Évaluer UNE SEULE FOIS le modèle final sur l'ensemble de test : c'est l'estimation du risque.
- Ne jamais revenir modifier le modèle après avoir vu le score de test, sinon le test devient une validation.
En Python, avec la bibliothèque scikit-learn :
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, stratify=y, random_state=42)
modele = LogisticRegression(max_iter=1000)
modele.fit(X_train, y_train) # apprentissage des paramètres
print(modele.score(X_train, y_train)) # exactitude sur l'entraînement
print(modele.score(X_test, y_test)) # estimation de la généralisationL'option stratify=y conserve la même proportion de défauts dans les deux ensembles. Attention aussi au temps : si l'on prédit des dossiers futurs, il est plus réaliste d'entraîner sur les années anciennes et de tester sur les plus récentes. Enfin, un modèle de crédit touche des personnes : il faut vérifier qu'il ne pénalise pas injustement un groupe (femmes, une préfecture, une ethnie) et protéger les données personnelles des clientes. Le modèle aide l'agent ; il ne décide pas seul.
3Je retiens
Je retiens
Supervisé : on apprend f à partir de couples (x, y) ; régression si y est réel, classification si y est une classe.
Paramètres appris sur les données ; hyperparamètres choisis avant l'apprentissage.
Une perte ℓ mesure l'erreur sur un exemple ; le risque empirique est la perte moyenne sur l'entraînement.
Le vrai but est le risque sur des données nouvelles : la généralisation.
Descente de gradient : θ ← θ − η ∇R_n(θ), répétée jusqu'à stabilisation.
Trop simple : sous-apprentissage (biais) ; trop complexe : sur-apprentissage (variance).
On évalue le modèle final une seule fois sur un ensemble de test jamais vu.
4Erreurs fréquentes
- Juger un modèle sur son erreur d'entraînement : une erreur nulle signale souvent un sur-apprentissage.
- Confondre régression (y réel) et régression logistique, qui est un modèle de classification.
- Régler les hyperparamètres sur l'ensemble de test : l'estimation finale devient trop optimiste.
- Choisir un taux d'apprentissage η trop grand : la perte oscille ou diverge.
- Oublier d'encoder les variables qualitatives ou de vérifier que les classes sont représentées dans chaque ensemble.
5Je m’exerce
1Exercice 1
(Questions de cours)
a) Différenciez apprentissage supervisé et non supervisé, puis régression et classification.
b) Quelle différence faites-vous entre un paramètre et un hyperparamètre ? Donnez un exemple de chaque.
c) Pourquoi le risque empirique n'est-il pas le vrai objectif de l'apprentissage ?
Voir le corrigéCacher le corrigé
a) En supervisé, chaque exemple porte une étiquette y et l'on apprend à la prédire ; en non supervisé, il n'y a pas d'étiquette et l'on cherche une structure (groupes, axes principaux). En régression, y est un réel ; en classification, y appartient à un ensemble fini de classes.
b) Un paramètre est appris à partir des données (les poids w d'une régression) ; un hyperparamètre est fixé avant l'apprentissage et règle le modèle ou l'algorithme (le taux d'apprentissage η, le coefficient de régularisation λ, le nombre de voisins k).
c) Le risque empirique mesure l'erreur sur les exemples déjà vus. Le but est de bien prédire de nouveaux exemples : c'est le risque R(f), qu'on ne peut qu'estimer, par exemple sur un ensemble de test. Un modèle peut avoir un risque empirique nul et un risque élevé (sur-apprentissage).
2Exercice 2
Pour chaque problème, dites s'il s'agit de régression, de classification ou d'apprentissage non supervisé.
a) Prédire le rendement en riz (tonnes par hectare) d'une parcelle de Faranah à partir de la pluie et des engrais.
b) Détecter si une transaction de mobile money est frauduleuse.
c) Regrouper les clients d'un supermarché de Conakry selon leurs habitudes d'achat, sans catégories définies à l'avance.
d) Reconnaître la langue (pular, malinké, soussou, français) d'un message vocal.
Voir le corrigéCacher le corrigé
a) Régression (rendement réel). b) Classification binaire (fraude / non-fraude). c) Non supervisé (partitionnement ou clustering). d) Classification à quatre classes.
3Exercice 3
Un modèle prédit les prix (millions GNF) de quatre motos-taxis d'occasion à Kindia. Valeurs réelles : 8, 10, 12, 6. Prédictions : 9, 10, 10, 7.
a) Calculez l'erreur quadratique moyenne et l'erreur absolue moyenne.
b) Laquelle de ces deux mesures est la plus sensible à la grosse erreur sur la troisième moto ? Pourquoi ?
Voir le corrigéCacher le corrigé
a) Erreurs y - y : -1, 0, 2, -1. Carrés : 1 + 0 + 4 + 1 = 6, donc EQM = 6/4 = 1,5. Valeurs absolues : 1 + 0 + 2 + 1 = 4, donc EAM = 4/4 = 1 (million GNF).
b) L'EQM : l'erreur de 2 compte pour 4 sur 6 dans la somme des carrés (deux tiers), contre 2 sur 4 dans la somme des valeurs absolues (la moitié). Le carré amplifie les grandes erreurs.
4Exercice 4
Un modèle logistique donne, pour trois dossiers, les probabilités de remboursement suivantes : dossier A (y=1, p=0,95), dossier B (y=0, p=0,2), dossier C (y=1, p=0,1).
a) Calculez la perte logistique de chaque dossier et la perte moyenne.
b) Commentez le dossier C.
Voir le corrigéCacher le corrigé
a) A : -ln(0,95) ≈ 0,051. B : -ln(1 - 0,2) = -ln(0,8) ≈ 0,223. C : -ln(0,1) ≈ 2,303. Moyenne : (0,051 + 0,223 + 2,303)/3 ≈ 0,859.
b) Le dossier C a été remboursé alors que le modèle lui donnait 10 % de chances : la perte logistique punit très fortement une erreur commise avec assurance. Ce seul dossier représente presque 90 % de la perte totale.
5Exercice 5
On minimise R(w) = (w - 3)2 par descente de gradient à partir de w0 = 0.
a) Calculez w1, w2, w3 avec η = 0,25.
b) Que se passe-t-il avec η = 1,5 ? Calculez w1 et w2.
Voir le corrigéCacher le corrigé
a) R'(w) = 2(w - 3). Avec η = 0,25 : wt+1 = wt - 0,5(wt - 3).
w1 = 0 - 0,5 × (-3) = 1,5 ; w2 = 1,5 + 0,75 = 2,25 ; w3 = 2,25 + 0,375 = 2,625. L'écart à 3 est divisé par 2 à chaque pas : convergence vers 3.
b) Avec η = 1,5 : wt+1 = wt - 3(wt - 3). w1 = 0 + 9 = 9 ; w2 = 9 - 18 = -9. L'écart à 3 passe de 3 à 6 puis à 12 : il est multiplié par -2 à chaque pas. La méthode diverge ; il faut réduire η.
6Exercice 6
(Type examen) Kankan Microcrédit dispose de 5 000 dossiers (2018-2025), dont 12 % de défauts. Trois modèles ont été testés :
| Modèle | Erreur d'entraînement | Erreur de validation |
|---|---|---|
| M1 : régression logistique à 3 variables | 0,21 | 0,22 |
| M2 : régression logistique à 25 variables, régularisée | 0,13 | 0,15 |
| M3 : modèle très complexe, non régularisé | 0,01 | 0,24 |
a) Diagnostiquez chaque modèle (sous-apprentissage, bon ajustement, sur-apprentissage).
b) Quel modèle retenez-vous ? Comment obtenez-vous l'estimation finale de son erreur ?
c) Proposez un découpage des données adapté au fait que l'on veut prédire les dossiers futurs.
d) Citez deux précautions éthiques avant de mettre ce modèle en service.
Voir le corrigéCacher le corrigé
a) M1 : erreurs élevées et proches → sous-apprentissage (modèle trop simple, biais fort). M2 : erreurs faibles et proches → bon ajustement. M3 : erreur d'entraînement quasi nulle mais erreur de validation élevée → sur-apprentissage (variance forte).
b) On retient M2. On l'évalue une seule fois sur un ensemble de test mis de côté dès le départ, jamais utilisé pour choisir entre M1, M2 et M3 ; ce score est l'estimation de l'erreur de généralisation. Avec 12 % de défauts, on complétera par des métriques adaptées aux classes déséquilibrées (rappel, précision, leçon 4) : un modèle qui prédit toujours « remboursé » aurait déjà une erreur de 0,12.
c) Découpage temporel : entraînement sur 2018-2023, validation sur 2024, test sur 2025. On imite ainsi la situation réelle (apprendre sur le passé, prédire l'avenir) et l'on évite que des informations « futures » servent à l'apprentissage.
d) Par exemple : vérifier que les taux d'erreur ne sont pas très différents entre femmes et hommes ou entre préfectures (équité) ; protéger et anonymiser les données personnelles ; garder la décision finale à l'agent de crédit et pouvoir expliquer un refus à la cliente.
Cherchez d’abord seul, sur votre cahier, puis ouvrez le corrigé pour comparer.
6Je vérifie
Choisissez une réponse pour chaque question : la correction s’affiche aussitôt.
Karamö, votre enseignant
Il a lu cette leçon. Posez-lui votre question : il vous répond ici.
Connectez-vous pour poser vos questions à Karamö.
Avec un compte Kharandi gratuit, vous cochez les leçons terminées et vous suivez votre progression, cours par cours.