Leçon 2 sur 5
Rétropropagation du gradient et optimiseurs
Je sais choisir une fonction de perte, calculer à la main les gradients d'un petit réseau par rétropropagation et expliquer comment SGD, le momentum et Adam mettent à jour les poids.
- 1 h 30
- 6 exercices corrigés
- QCM de 7 questions
À la fin de la leçon, vous saurez :
- Choisir la fonction de perte adaptée à la tâche (erreur quadratique, entropie croisée binaire ou multiclasse)
- Appliquer la règle de dérivation en chaîne sur un graphe de calcul
- Dérouler la rétropropagation sur un réseau à une couche cachée et mettre à jour ses poids
- Comparer descente de gradient complète, stochastique et par mini-lots
- Expliquer le rôle du pas d'apprentissage, du momentum et d'Adam
Avant de commencer : Leçon 1 (neurone, activations, propagation avant) ; dérivées et dérivées partielles.
1Je découvre
Le réseau de Fanta pour la microfinance de Kankan est prêt : 30 variables en entrée, deux couches cachées, une sortie. Mais ses 4 163 poids ont été tirés au hasard : pour l'instant, le modèle répond n'importe quoi. Fanta dispose de 12 000 dossiers de crédit passés, dont on connaît l'issue (remboursé à temps ou non).
Il faut donc ajuster les poids pour que les prédictions collent aux issues réelles. Ajuster 4 163 nombres « à la main » est impossible ; essayer toutes les combinaisons aussi. Il faut une méthode qui indique, pour chaque poids, dans quel sens le modifier et de combien, et qui le fasse efficacement même quand le réseau compte des millions de paramètres.
Comment calculer efficacement l'effet de chaque poids sur l'erreur du réseau, et comment s'en servir pour faire baisser cette erreur ?
La suite se lit avec votre compte Kharandi Université
La première leçon de chaque cours est libre. Kharandi Université est une inscription à part de l’école : avec votre compte étudiant, vous lisez toutes les leçons en entier, avec les exercices corrigés et les QCM, et les 7 premiers jours sont offerts.