Leçon 4 sur 5
Validation croisée, métriques et sur-apprentissage
Je sais évaluer honnêtement un modèle : choisir la métrique adaptée au problème, estimer la performance par validation croisée, régler les hyperparamètres sans tricher et détecter le sur-apprentissage et les fuites de données.
- 1 h 30
- 6 exercices corrigés
- QCM de 7 questions
À la fin de la leçon, vous saurez :
- Construire une matrice de confusion et calculer exactitude, précision, rappel, spécificité et F1
- Interpréter une courbe ROC, l'AUC et l'effet du seuil de décision
- Calculer les métriques de régression MAE, RMSE et R²
- Mettre en œuvre une validation croisée à k plis et une recherche d'hyperparamètres
- Reconnaître le sur-apprentissage et les fuites de données à l'aide des courbes d'apprentissage
Avant de commencer : Leçons 1 à 3 (cadre de l'apprentissage, k-NN, arbres, forêts, SVM, boosting).
1Je découvre
M. Bangoura présente fièrement à Mme Condé le nouveau modèle de Kankan Microcrédit : « 90 % de bonnes prédictions sur les dossiers de test ! » La directrice demande à voir le détail. Sur 1 000 dossiers de test, 100 se sont soldés par un défaut. Or le modèle a prédit « remboursé » pour… les 1 000 dossiers. Il ne détecte aucun défaut, et pourtant son exactitude vaut bien 900/1000 = 90 %.
Quelques jours plus tard, un deuxième modèle affiche 99 % d'exactitude. Trop beau pour être vrai : en regardant les variables, on découvre la colonne « nombre de relances après échéance », qui n'existe qu'après le défaut. Le modèle « triche » en lisant l'avenir.
Comment mesurer la qualité d'un modèle avec des chiffres qui ont un sens, et comment l'évaluer sans se tromper soi-même ?
La suite se lit avec votre compte Kharandi Université
La première leçon de chaque cours est libre. Kharandi Université est une inscription à part de l’école : avec votre compte étudiant, vous lisez toutes les leçons en entier, avec les exercices corrigés et les QCM, et les 7 premiers jours sont offerts.