Aller au contenu
Apprentissage profond · L3

Leçon 5 sur 5

Transformeurs et modèles de langage

Je sais expliquer et calculer le mécanisme d'attention, décrire l'architecture d'un transformeur et le fonctionnement d'un modèle de langage, et choisir une façon de l'utiliser en connaissant ses limites.

  • 1 h 30
  • 6 exercices corrigés
  • QCM de 8 questions

À la fin de la leçon, vous saurez :

  • Découper un texte en jetons et le représenter par des plongements avec un encodage de position
  • Calculer une attention par produit scalaire normalisé, avec ou sans masque causal
  • Décrire un bloc de transformeur et compter ses paramètres
  • Expliquer l'entraînement d'un modèle de langage (prédiction du jeton suivant, perplexité, température)
  • Choisir entre encodeur, décodeur, affinage et requêtes guidées, et identifier les limites (hallucinations, biais, données personnelles)

Avant de commencer : Leçons 1 à 4, en particulier la softmax, l'entropie croisée et les réseaux récurrents.

1Je découvre

Depuis que la microfinance de Kankan a ouvert un numéro WhatsApp, elle reçoit chaque jour des centaines de messages : « Je veux savoir le reste de mon crédit », « Le marché est fermé cette semaine, je vais payer en retard », « Comment faire pour avoir un prêt pour mon atelier ? ». Les messages sont surtout en français, souvent abrégés, parfois mêlés de mots en maninka, en pular ou en soussou. Deux agents les trient à la main ; les réponses arrivent avec plusieurs jours de retard.

La direction demande à Djoliba IA un outil qui classe automatiquement chaque message (solde, retard de paiement, nouvelle demande, réclamation) et propose un brouillon de réponse que l'agent relit. Fanta pense d'abord à un LSTM (leçon 4), mais Ibrahima lui fait remarquer que les meilleurs systèmes de traitement du langage reposent aujourd'hui sur une autre architecture, le transformeur, qui est aussi au cœur des grands modèles de langage.

Comment un transformeur traite-t-il un texte grâce à l'attention, et comment utiliser un modèle de langage de façon fiable dans un service client ?

La suite se lit avec votre compte Kharandi Université

La première leçon de chaque cours est libre. Kharandi Université est une inscription à part de l’école : avec votre compte étudiant, vous lisez toutes les leçons en entier, avec les exercices corrigés et les QCM, et les 7 premiers jours sont offerts.

Voir toutes les leçons de Apprentissage profond

Signaler une erreur dans cette leçon

Toutes les leçons de Apprentissage profond

Pose ta question à Karamö