Aller au contenu
Apprentissage automatique · L3

Leçon 4 sur 5

Validation croisée, métriques et sur-apprentissage

Je sais évaluer honnêtement un modèle : choisir la métrique adaptée au problème, estimer la performance par validation croisée, régler les hyperparamètres sans tricher et détecter le sur-apprentissage et les fuites de données.

  • 1 h 30
  • 6 exercices corrigés
  • QCM de 7 questions

À la fin de la leçon, vous saurez :

  • Construire une matrice de confusion et calculer exactitude, précision, rappel, spécificité et F1
  • Interpréter une courbe ROC, l'AUC et l'effet du seuil de décision
  • Calculer les métriques de régression MAE, RMSE et R²
  • Mettre en œuvre une validation croisée à k plis et une recherche d'hyperparamètres
  • Reconnaître le sur-apprentissage et les fuites de données à l'aide des courbes d'apprentissage

Avant de commencer : Leçons 1 à 3 (cadre de l'apprentissage, k-NN, arbres, forêts, SVM, boosting).

1Je découvre

M. Bangoura présente fièrement à Mme Condé le nouveau modèle de Kankan Microcrédit : « 90 % de bonnes prédictions sur les dossiers de test ! » La directrice demande à voir le détail. Sur 1 000 dossiers de test, 100 se sont soldés par un défaut. Or le modèle a prédit « remboursé » pour… les 1 000 dossiers. Il ne détecte aucun défaut, et pourtant son exactitude vaut bien 900/1000 = 90 %.

Quelques jours plus tard, un deuxième modèle affiche 99 % d'exactitude. Trop beau pour être vrai : en regardant les variables, on découvre la colonne « nombre de relances après échéance », qui n'existe qu'après le défaut. Le modèle « triche » en lisant l'avenir.

Comment mesurer la qualité d'un modèle avec des chiffres qui ont un sens, et comment l'évaluer sans se tromper soi-même ?

La suite se lit avec votre compte Kharandi Université

La première leçon de chaque cours est libre. Kharandi Université est une inscription à part de l’école : avec votre compte étudiant, vous lisez toutes les leçons en entier, avec les exercices corrigés et les QCM, et les 7 premiers jours sont offerts.

Voir toutes les leçons de Apprentissage automatique

Signaler une erreur dans cette leçon

Toutes les leçons de Apprentissage automatique

Pose ta question à Karamö