Leçon 3 sur 5
Régularisation, initialisation et entraînement avec PyTorch
Je sais diagnostiquer le surapprentissage, le combattre (pénalité L2, dropout, arrêt précoce), initialiser et normaliser un réseau, et écrire une boucle d'entraînement complète avec PyTorch.
- 1 h 30
- 6 exercices corrigés
- QCM de 7 questions
À la fin de la leçon, vous saurez :
- Découper les données en entraînement, validation et test et lire les courbes d'apprentissage
- Appliquer la pénalité L2 (weight decay), le dropout et l'arrêt précoce
- Justifier l'initialisation de Xavier ou de He et le rôle de la normalisation par lots
- Écrire en PyTorch un modèle, une boucle d'entraînement et une évaluation correctes
- Repérer les erreurs classiques d'une boucle d'entraînement
Avant de commencer : Leçons 1 et 2 (réseau multicouche, rétropropagation, optimiseurs) ; Python et NumPy.
1Je découvre
Fanta lance l'entraînement de son réseau sur les dossiers de la microfinance de Kankan. Après 200 époques, la précision sur les dossiers d'entraînement atteint 99 %. Elle présente fièrement le résultat à son responsable, Ibrahima, qui lui demande : « Et sur les dossiers que le modèle n'a jamais vus ? » Sur ces dossiers-là, la précision tombe à 71 %, moins bien que la régression logistique de départ.
Le réseau a appris par cœur les 8 400 dossiers d'entraînement, avec leurs particularités et leurs erreurs de saisie, au lieu d'apprendre les régularités utiles. De plus, Fanta a écrit son code d'entraînement « à la main » avec NumPy : il est long, lent et difficile à relire. L'équipe de Djoliba IA décide de passer à PyTorch.
Comment obtenir un réseau qui généralise bien aux nouveaux dossiers, et comment organiser proprement son entraînement avec PyTorch ?
La suite se lit avec votre compte Kharandi Université
La première leçon de chaque cours est libre. Kharandi Université est une inscription à part de l’école : avec votre compte étudiant, vous lisez toutes les leçons en entier, avec les exercices corrigés et les QCM, et les 7 premiers jours sont offerts.