Aller au contenu
Traitement automatique des langues · L3

Leçon 3 sur 5

Plongements lexicaux (word embeddings)

Je sais expliquer comment on représente chaque mot par un vecteur dense appris sur un corpus (word2vec, GloVe, fastText), mesurer la proximité de deux mots et utiliser ces vecteurs pour classer des textes.

  • 1 h 30
  • 6 exercices corrigés
  • QCM de 7 questions

À la fin de la leçon, vous saurez :

  • Énoncer l'hypothèse distributionnelle et construire une matrice de cooccurrences pondérée par la PPMI
  • Calculer une similarité cosinus et résoudre une analogie par arithmétique de vecteurs
  • Décrire le modèle skip-gram de word2vec, l'échantillonnage négatif et le nombre de paramètres
  • Expliquer l'apport de fastText (sous-mots) et des plongements contextuels
  • Utiliser des plongements pour représenter un document et en connaître les biais

Avant de commencer : Leçons 1 et 2 (tokenisation, sac de mots, TF-IDF) ; apprentissage profond (descente de gradient, fonction sigmoïde).

1Je découvre

Le classifieur TF-IDF de Tinkisso Finance fonctionne bien, mais Fanta relève des erreurs troublantes. Le message « mon prêt n'est pas arrivé » est mal classé, alors que « mon crédit n'est pas arrivé » est bien reconnu comme réclamation : le mot « prêt » était rare dans les données d'entraînement. Pour le modèle, « prêt » et « crédit » sont deux colonnes sans aucun rapport, aussi éloignées que « crédit » et « merci ».

Pourtant, un agent de Kaloum sait que ces deux mots sont presque synonymes ici. Il le sait parce qu'il les a vus dans les mêmes phrases : « rembourser mon crédit », « rembourser mon prêt », « le taux du crédit », « le taux du prêt ».

Comment apprendre automatiquement, à partir d'un corpus, des vecteurs de mots tels que des mots de sens proche aient des vecteurs proches ?

La suite se lit avec votre compte Kharandi Université

La première leçon de chaque cours est libre. Kharandi Université est une inscription à part de l’école : avec votre compte étudiant, vous lisez toutes les leçons en entier, avec les exercices corrigés et les QCM, et les 7 premiers jours sont offerts.

Voir toutes les leçons de Traitement automatique des langues

Signaler une erreur dans cette leçon

Toutes les leçons de Traitement automatique des langues

Pose ta question à Karamö