Aller au contenu
Apprentissage profond · L3

Leçon 3 sur 5

Régularisation, initialisation et entraînement avec PyTorch

Je sais diagnostiquer le surapprentissage, le combattre (pénalité L2, dropout, arrêt précoce), initialiser et normaliser un réseau, et écrire une boucle d'entraînement complète avec PyTorch.

  • 1 h 30
  • 6 exercices corrigés
  • QCM de 7 questions

À la fin de la leçon, vous saurez :

  • Découper les données en entraînement, validation et test et lire les courbes d'apprentissage
  • Appliquer la pénalité L2 (weight decay), le dropout et l'arrêt précoce
  • Justifier l'initialisation de Xavier ou de He et le rôle de la normalisation par lots
  • Écrire en PyTorch un modèle, une boucle d'entraînement et une évaluation correctes
  • Repérer les erreurs classiques d'une boucle d'entraînement

Avant de commencer : Leçons 1 et 2 (réseau multicouche, rétropropagation, optimiseurs) ; Python et NumPy.

1Je découvre

Fanta lance l'entraînement de son réseau sur les dossiers de la microfinance de Kankan. Après 200 époques, la précision sur les dossiers d'entraînement atteint 99 %. Elle présente fièrement le résultat à son responsable, Ibrahima, qui lui demande : « Et sur les dossiers que le modèle n'a jamais vus ? » Sur ces dossiers-là, la précision tombe à 71 %, moins bien que la régression logistique de départ.

Le réseau a appris par cœur les 8 400 dossiers d'entraînement, avec leurs particularités et leurs erreurs de saisie, au lieu d'apprendre les régularités utiles. De plus, Fanta a écrit son code d'entraînement « à la main » avec NumPy : il est long, lent et difficile à relire. L'équipe de Djoliba IA décide de passer à PyTorch.

Comment obtenir un réseau qui généralise bien aux nouveaux dossiers, et comment organiser proprement son entraînement avec PyTorch ?

La suite se lit avec votre compte Kharandi Université

La première leçon de chaque cours est libre. Kharandi Université est une inscription à part de l’école : avec votre compte étudiant, vous lisez toutes les leçons en entier, avec les exercices corrigés et les QCM, et les 7 premiers jours sont offerts.

Voir toutes les leçons de Apprentissage profond

Signaler une erreur dans cette leçon

Toutes les leçons de Apprentissage profond

Pose ta question à Karamö