Leçon 1 sur 5
Tokenisation, normalisation et corpus
Je sais constituer un corpus de textes, le normaliser proprement (Unicode, casse, nombres) et le découper en unités (mots, sous-mots) avant tout traitement automatique.
- 1 h 20
- 6 exercices corrigés
- QCM de 7 questions
À la fin de la leçon, vous saurez :
- Définir le traitement automatique des langues et décrire la chaîne de traitement d'un texte
- Constituer et décrire un corpus (documents, occurrences, vocabulaire, lois de Zipf et de Heaps)
- Normaliser un texte : Unicode NFC, casse, nombres, mots vides, racinisation et lemmatisation
- Tokeniser en mots avec une expression régulière et en sous-mots avec l'algorithme BPE
- Écrire en Python une fonction de prétraitement et en mesurer les effets
Avant de commencer : Programmation Python (chaînes, listes, dictionnaires) ; cours d'apprentissage automatique (leçons 1 et 2).
1Je découvre
Tinkisso Finance, une institution de microfinance de Conakry (fictive), reçoit chaque jour plusieurs centaines de messages de ses clients par SMS, WhatsApp et sur sa page Facebook : réclamations, demandes de solde, questions sur les crédits, remerciements. Les agents du service client de Kaloum lisent tout à la main et les réponses prennent parfois une semaine.
La direction confie le projet à Djoliba IA. Fanta, la data scientist, récupère un premier export de 12 000 messages. Elle découvre vite que la machine ne « lit » rien : pour elle, « Crédit », « credit », « crédit » et « CRÉDIT » sont quatre chaînes différentes ; « 500 000 GNF », « 500000gnf » et « 500.000 f » désignent la même somme ; certains clients écrivent en français, d'autres en pular, en maninka ou en soussou, souvent en mélangeant les langues dans la même phrase.
Avant de classer, de résumer ou de traduire, il faut donc transformer ce texte brut en une suite d'unités propres et comparables.
Comment constituer un corpus, le normaliser et le découper en unités exploitables par un programme ?
2Je comprends
1. Le traitement automatique des langues et sa chaîne de traitement
Le traitement automatique des langues (TAL, en anglais Natural Language Processing, NLP) regroupe les méthodes informatiques qui permettent d'analyser, de comprendre ou de produire du texte et de la parole en langue humaine. Il croise linguistique, statistique et apprentissage automatique.
Quelques tâches classiques :
| Tâche | Entrée | Sortie | Exemple chez Tinkisso Finance |
|---|---|---|---|
| Classification de textes | un message | une catégorie | réclamation, demande de solde, autre |
| Étiquetage de séquence | une phrase | une étiquette par mot | repérer montants, dates, numéros de compte |
| Traduction automatique | une phrase en langue A | une phrase en langue B | répondre en pular à une question posée en pular |
| Résumé automatique | un long texte | un texte court | résumer une semaine de réclamations |
| Agent conversationnel | une question | une réponse | assistant WhatsApp 24 h sur 24 |
Quelle que soit la tâche, le texte suit une chaîne de traitement (pipeline) :
texte brut → nettoyage → normalisation → tokenisation → représentation numérique → modèle → résultat
(SMS) (balises, (Unicode, (mots ou (leçons 2 et 3) (classifieur,
doublons) casse...) sous-mots) traducteur...)Cette leçon traite les trois premières étapes. Elles paraissent simples, mais une erreur à ce niveau se propage jusqu'au résultat final : un modèle excellent nourri d'un texte mal découpé donne de mauvais résultats.
2. Le corpus et ses mesures
Un corpus est un ensemble de textes rassemblés selon des critères explicites (source, période, langue, genre) pour être analysés. Chaque texte est un document (ici, un message). On distingue :
- les occurrences (tokens) : toutes les unités du texte, répétitions comprises ;
- les types (ou formes) : les unités distinctes ; leur ensemble forme le vocabulaire V.
Exemple
Phrase : « le client a payé le crédit et le client attend »
Étape 1 : occurrences = le, client, a, payé, le, crédit, et, le, client, attend → 10 occurrences.
Étape 2 : types distincts = le, client, a, payé, crédit, et, attend → 7 types.
Étape 3 : rapport types/occurrences = 7 / 10 = 0,7.
Plus le corpus grandit, plus ce rapport baisse : les mêmes mots reviennent sans cesse.
Loi de Zipf. Si l'on classe les mots par fréquence décroissante, la fréquence f du mot de rang r est à peu près inversement proportionnelle à ce rang : f(r) ≈ Cr. Si « le » (rang 1) apparaît 6 000 fois, le mot de rang 2 apparaît environ 3 000 fois et celui de rang 10 environ 600 fois. Conséquence pratique : quelques dizaines de mots très fréquents (articles, prépositions) font une grande part des occurrences, tandis qu'une grande partie du vocabulaire, souvent autour de la moitié, n'apparaît qu'une seule fois (hapax).
Loi de Heaps. La taille du vocabulaire croît moins vite que la taille du corpus : |V| ≈ K nβ, avec n le nombre d'occurrences et β généralement compris entre 0,4 et 0,6. Avec K = 30 et β = 0,5, un corpus d'un million d'occurrences a environ 30 × 1 000 0000,5 = 30 000 types. Le vocabulaire n'est donc jamais « fermé » : il y aura toujours des mots hors vocabulaire (noms propres, fautes, mots nouveaux).
Bonnes pratiques pour constituer un corpus :
| Question | Pourquoi c'est important |
|---|---|
| D'où viennent les textes ? Avec quel accord ? | droit d'auteur, consentement, données personnelles (numéros de téléphone, noms) |
| Le corpus est-il représentatif ? | un corpus de SMS de Conakry ne représente pas les clients de Kankan ou de N'Zérékoré |
| Quelle(s) langue(s) et quelle(s) écriture(s) ? | français, pular en alphabet latin ou adlam, maninka en latin ou N'Ko |
| Comment est-il documenté ? | une fiche décrit la source, la période, la taille, les filtres appliqués |
Les messages des clients contiennent des données personnelles : on les pseudonymise (remplacer noms et numéros par des balises comme <nom> ou <tel>) avant toute analyse, et on respecte la législation guinéenne sur la protection des données personnelles.
3. Normaliser le texte
La normalisation ramène à une même forme des écritures différentes d'une même unité.
a) Unicode. Un même caractère accentué peut être codé de deux façons : « é » en un seul point de code (U+00E9, forme composée NFC) ou en « e » suivi d'un accent combinant (U+0301, forme décomposée NFD). À l'écran, c'est identique ; pour Python, "é" == "é" peut être faux. On applique donc toujours unicodedata.normalize("NFC", texte) au début. C'est encore plus important pour le pular, qui utilise des lettres comme « ɓ » (U+0253), « ɗ », « ŋ », « ɲ » ou « ƴ », et pour les tons notés par des accents dans certaines orthographes du maninka et du soussou (leçon 5).
b) Casse. Mettre en minuscules (lower()) fusionne « Crédit » et « crédit ». Mais on perd parfois une information : « BAH » (nom propre) ou un message tout en majuscules qui exprime la colère.
c) Nombres, adresses, émoticônes. On remplace souvent les montants par une balise <num> et les numéros de téléphone par <tel> : le modèle apprend alors « un montant est mentionné » au lieu de mémoriser des milliers de nombres différents.
d) Mots vides. Les mots vides (stop words) sont les mots très fréquents et peu informatifs : le, la, de, et, à… On peut les retirer pour la recherche d'information. Attention : « pas » ou « ne » sont souvent dans les listes de mots vides, alors que « j'ai reçu » et « je n'ai pas reçu » ont des sens opposés.
e) Racinisation et lemmatisation. La racinisation (stemming) coupe les terminaisons par des règles : « payons », « payez », « payer » deviennent « pay ». La lemmatisation ramène chaque mot à sa forme de dictionnaire (lemme) grâce à un lexique et à l'analyse grammaticale : « payons » → « payer », « crédits » → « crédit », « reçu » → « recevoir ».
| Opération | Avantage | Limite |
|---|---|---|
| Minuscules | réduit le vocabulaire | perd noms propres et emphase |
| Retrait des mots vides | textes plus courts | peut supprimer la négation |
| Racinisation | rapide, sans dictionnaire | racines parfois artificielles (« pay ») |
| Lemmatisation | formes réelles et précises | demande des ressources linguistiques, rares pour les langues guinéennes |
Aucune normalisation n'est « la bonne » dans l'absolu : on la choisit selon la tâche et on mesure son effet sur le résultat.
4. Tokeniser en mots
La tokenisation découpe le texte en unités appelées tokens. Couper sur les espaces ne suffit pas : « compte ! » collerait la ponctuation au mot, et « n'ai » contient deux mots. On utilise une expression régulière :
import re, unicodedata
def normaliser(texte):
texte = unicodedata.normalize("NFC", texte)
texte = texte.lower()
texte = re.sub(r"\d+(?:[ .]\d{3})*", "<num>", texte) # 500 000 ou 500.000 → <num>
return texte
def tokeniser(texte):
return re.findall(r"<num>|\w+|[^\w\s]", texte)
msg = "Bonjour, je n'ai pas reçu mes 500 000 GNF sur mon compte !"
print(tokeniser(normaliser(msg)))
# ['bonjour', ',', 'je', 'n', "'", 'ai', 'pas', 'reçu', 'mes', '<num>', 'gnf', 'sur', 'mon', 'compte', '!']En Python 3, \w reconnaît les lettres Unicode : « reçu » ou « ɓe » restent entiers. Sans la normalisation des nombres, la même expression produit 16 tokens, car « 500 » et « 000 » sont séparés ; avec elle, on obtient 15 tokens.
Difficultés classiques : élisions (« l'argent », « aujourd'hui »), mots composés (« porte-monnaie »), sigles (« G.N.F. »), abréviations de SMS (« slt », « stp », « bjr »), adresses web, et alternance de langues dans une même phrase (« I ni ce, mon crédit n'est pas passé »).
5. Tokeniser en sous-mots : l'algorithme BPE
Un vocabulaire de mots entiers pose deux problèmes : il est énorme (loi de Heaps) et tout mot nouveau devient inconnu. Les modèles modernes découpent en sous-mots : les mots fréquents restent entiers, les mots rares sont coupés en morceaux connus. L'algorithme le plus utilisé est le BPE (Byte Pair Encoding), repris pour le TAL en 2016.
Méthode
Apprendre un vocabulaire BPE :
- Découper chaque mot du corpus en caractères (en notant sa fréquence).
- Compter toutes les paires de symboles adjacents, pondérées par la fréquence des mots.
- Fusionner la paire la plus fréquente en un nouveau symbole ; l'ajouter au vocabulaire.
- Recommencer les étapes 2 et 3 jusqu'au nombre de fusions choisi (souvent plusieurs milliers).
- Pour tokeniser un nouveau mot, appliquer les fusions apprises, dans le même ordre.
Exemple
Corpus : « paye » (4 fois), « payer » (3 fois), « payons » (2 fois).
Départ : p a y e (4) ; p a y e r (3) ; p a y o n s (2).
Fusion 1 : paires (p, a) = 4 + 3 + 2 = 9 et (a, y) = 9 ; à égalité, on prend la première : p + a → « pa ».
Fusion 2 : (pa, y) = 9 → « pay ». Mots : pay e ; pay e r ; pay o n s.
Fusion 3 : (pay, e) = 4 + 3 = 7 → « paye ». Mots : paye ; paye r ; pay o n s.
Fusion 4 : (paye, r) = 3 → « payer ». Mots : paye ; payer ; pay o n s.
Le mot nouveau « payez » sera découpé en « paye » + « z » : il n'est pas inconnu.
Variantes : WordPiece (utilisé par BERT) et Unigram (dans l'outil SentencePiece, qui travaille directement sur le texte brut, espaces compris, et convient bien aux langues peu dotées).
3Je retiens
Je retiens
Chaîne de traitement : nettoyage → normalisation → tokenisation → représentation → modèle.
Corpus : documents, occurrences (tokens) et types (vocabulaire).
Zipf : f(r) ≈ C / r ; Heaps : |V| ≈ K n^β, le vocabulaire ne se ferme jamais.
Toujours normaliser l'Unicode en NFC avant toute comparaison de chaînes.
Racinisation = règles de coupe ; lemmatisation = forme du dictionnaire.
Tokeniser avec une expression régulière, pas seulement sur les espaces.
BPE fusionne la paire de symboles la plus fréquente, encore et encore.
Pseudonymiser les données personnelles avant toute analyse.
4Erreurs fréquentes
- Comparer des chaînes sans normalisation Unicode : « é » NFC et « é » NFD sont différents.
- Retirer « ne » et « pas » comme mots vides et inverser le sens des messages.
- Confondre occurrences et types dans le calcul de la taille du vocabulaire.
- Appliquer au pular ou au maninka une liste de mots vides ou un raciniseur faits pour le français.
- Appliquer les fusions BPE dans un autre ordre que celui de l'apprentissage.
- Travailler sur des messages clients sans retirer noms et numéros de téléphone.
5Je m’exerce
1Exercice 1
(Questions de cours) a) Quelle différence faites-vous entre occurrence et type ? b) Pourquoi normalise-t-on l'Unicode en NFC ? c) Donnez une différence entre racinisation et lemmatisation.
Voir le corrigéCacher le corrigé
a) Une occurrence est chaque apparition d'une unité dans le texte, répétitions comprises ; un type est une unité distincte. « le client et le crédit » contient 5 occurrences et 4 types. b) Parce qu'un même caractère accentué peut être codé de plusieurs façons ; sans normalisation, deux mots identiques à l'écran sont considérés comme différents. c) La racinisation coupe les terminaisons par des règles et peut produire une racine qui n'est pas un mot (« pay ») ; la lemmatisation donne la forme du dictionnaire (« payer ») à l'aide d'un lexique.
2Exercice 2
Soit le message : « Mon crédit est payé mais mon compte dit crédit impayé ». Après mise en minuscules et tokenisation en mots (sans ponctuation), donnez : a) le nombre d'occurrences ; b) le nombre de types ; c) le rapport types/occurrences.
Voir le corrigéCacher le corrigé
Tokens : mon, crédit, est, payé, mais, mon, compte, dit, crédit, impayé.
a) 10 occurrences.
b) Types : mon, crédit, est, payé, mais, compte, dit, impayé → 8 types (« mon » et « crédit » apparaissent deux fois).
c) 8 / 10 = 0,8.
3Exercice 3
Dans un corpus de messages, le mot le plus fréquent apparaît 8 400 fois. a) Selon la loi de Zipf, combien de fois environ apparaissent les mots de rangs 2, 4 et 20 ? b) Avec la loi de Heaps (K = 25, β = 0,5), estimez la taille du vocabulaire pour 40 000 puis 160 000 occurrences. Que remarquez-vous ?
Voir le corrigéCacher le corrigé
a) f(r) ≈ 8 400 / r : rang 2 → 4 200 ; rang 4 → 2 100 ; rang 20 → 420.
b) 25 × √40 000 = 25 × 200 = 5 000 types ; 25 × √160 000 = 25 × 400 = 10 000 types. Le corpus est multiplié par 4, mais le vocabulaire seulement par 2 (40,5 = 2) : le vocabulaire croît bien moins vite que le corpus, sans jamais s'arrêter.
4Exercice 4
Appliquez trois fusions BPE au corpus : « solde » (5 fois), « soldes » (2 fois), « sol » (3 fois). En cas d'égalité, prenez la paire qui apparaît la première en lisant les mots de gauche à droite.
Voir le corrigéCacher le corrigé
Départ : s o l d e (5) ; s o l d e s (2) ; s o l (3).
Paires : (s, o) = 5 + 2 + 3 = 10 ; (o, l) = 10 ; (l, d) = 7 ; (d, e) = 7 ; (e, s) = 2.
Fusion 1 : égalité entre (s, o) et (o, l) ; (s, o) vient en premier → « so ». Mots : so l d e ; so l d e s ; so l.
Fusion 2 : (so, l) = 10 → « sol ». Mots : sol d e ; sol d e s ; sol.
Fusion 3 : (sol, d) = 7 et (d, e) = 7 ; (sol, d) vient en premier → « sold ». Mots : sold e ; sold e s ; sol.
Vocabulaire ajouté : so, sol, sold.
5Exercice 5
Écrivez une fonction Python pseudonymiser(texte) qui remplace par <tel> les numéros guinéens écrits sous la forme de 9 chiffres commençant par 6 (par exemple 622123456), éventuellement séparés par des espaces en groupes de 3 (622 12 34 56 n'est pas demandé).
Voir le corrigéCacher le corrigé
import re
def pseudonymiser(texte):
# 9 chiffres commençant par 6, collés ou en groupes de 3 séparés par un espace
return re.sub(r"\b6\d{2} ?\d{3} ?\d{3}\b", "<tel>", texte)
print(pseudonymiser("Appelez-moi au 622123456 ou au 664 555 777."))
# Appelez-moi au <tel> ou au <tel>.Le \b (frontière de mot) évite de remplacer le début d'un nombre plus long. On applique cette fonction avant la normalisation des nombres, sinon le numéro deviendrait <num>.
6Exercice 6
(Type examen) Tinkisso Finance vous transmet 12 000 messages bruts en français, pular et maninka. a) Proposez une chaîne de prétraitement complète, étape par étape, en justifiant chaque choix. b) Faut-il retirer les mots vides et raciniser pour un classifieur de réclamations ? Discutez. c) Pourquoi une tokenisation en sous-mots est-elle préférable à un vocabulaire de mots entiers pour ce corpus ? d) Quelles précautions juridiques et éthiques prenez-vous ?
Voir le corrigéCacher le corrigé
a) Chaîne proposée : 1) suppression des doublons et des messages vides ; 2) pseudonymisation (noms, numéros de téléphone, numéros de compte) ; 3) normalisation Unicode NFC, indispensable pour les lettres du pular et les accents ; 4) mise en minuscules ; 5) remplacement des montants par <num> ; 6) détection de la langue de chaque message pour suivre la répartition du corpus ; 7) tokenisation par expression régulière ou, mieux, en sous-mots appris sur ce corpus.
b) Pour détecter une réclamation, la négation est décisive (« je n'ai pas reçu ») : on ne retire pas « ne » et « pas ». La racinisation conçue pour le français ne s'applique pas au pular ni au maninka ; on peut la tester pour le français seul et garder la version qui donne le meilleur score sur un jeu de validation.
c) Le corpus contient des fautes, des abréviations, des mots de plusieurs langues et beaucoup de mots rares : un vocabulaire de mots entiers serait énorme et plein de mots inconnus. Les sous-mots (BPE ou Unigram) découpent tout mot nouveau en morceaux connus et partagent les racines communes.
d) Base légale et information des clients, pseudonymisation, accès restreint aux données, conservation limitée, respect de la législation guinéenne sur les données personnelles ; on documente le corpus dans une fiche descriptive.
Cherchez d’abord seul, sur votre cahier, puis ouvrez le corrigé pour comparer.
6Je vérifie
Choisissez une réponse pour chaque question : la correction s’affiche aussitôt.
Karamö, votre enseignant
Il a lu cette leçon. Posez-lui votre question : il vous répond ici.
Connectez-vous pour poser vos questions à Karamö.
Avec un compte Kharandi gratuit, vous cochez les leçons terminées et vous suivez votre progression, cours par cours.