Leçon 1 sur 5
Biais, équité et discrimination algorithmique
Je sais repérer d'où viennent les biais d'un modèle d'IA, mesurer l'équité de ses décisions entre groupes et proposer des mesures pour réduire une discrimination algorithmique.
- 1 h 20
- 6 exercices corrigés
- QCM de 7 questions
À la fin de la leçon, vous saurez :
- Identifier les sources de biais tout au long du cycle de vie d'un modèle
- Calculer les principaux indicateurs d'équité (parité démographique, ratio d'impact, égalité des chances)
- Interpréter les écarts entre groupes à partir de matrices de confusion
- Expliquer pourquoi tous les critères d'équité ne peuvent pas être satisfaits en même temps
- Proposer des mesures de correction avant, pendant et après l'entraînement
Avant de commencer : Apprentissage automatique supervisé (classification, matrice de confusion, précision et rappel).
1Je découvre
Dans un bureau de Kaloum, la jeune entreprise Sabou Data, fondée par trois diplômés en science des données, vient de livrer un modèle de notation de crédit à Kafo Crédit, une institution de microfinance présente à Conakry, Kankan, Labé et N'Zérékoré. Le modèle lit le dossier d'un demandeur (activité, revenus déclarés, historique de remboursement, ancienneté) et propose « accepter » ou « refuser » un prêt de fonds de roulement.
Trois mois plus tard, la responsable de l'agence de Kankan appelle Sabou Data. Les commerçantes du grand marché, qui remboursaient très bien leurs prêts quand les agents de crédit décidaient eux-mêmes, sont maintenant beaucoup plus souvent refusées que les hommes. Pourtant, la variable « sexe » ne figure pas dans le modèle : les développeurs l'ont volontairement retirée.
Mariama, la data scientist de l'équipe, reprend les données. Elle découvre que le modèle accorde beaucoup de poids au montant du compte bancaire et au titre foncier, deux éléments que les femmes de la clientèle possèdent moins souvent, alors qu'elles épargnent dans des tontines et remboursent régulièrement.
Comment un algorithme qui n'utilise pas le sexe peut-il discriminer les femmes, et comment mesurer puis corriger cette injustice ?
2Je comprends
1. Biais, équité, discrimination : de quoi parle-t-on ?
Le mot « biais » a plusieurs sens qu'il faut distinguer.
| Notion | Définition | Exemple |
|---|---|---|
| Biais statistique | Écart systématique entre une estimation et la valeur vraie | Un échantillon de clients tiré seulement à Conakry surestime le revenu moyen national |
| Biais algorithmique | Erreur systématique d'un système qui produit des résultats défavorables à certains groupes | Le modèle de Sabou Data refuse plus souvent les commerçantes |
| Discrimination | Traitement défavorable d'une personne en raison d'un critère protégé (sexe, origine, religion, handicap, âge…) | Refuser un prêt parce que la demandeuse est une femme |
| Équité (fairness) | Propriété d'un système dont les décisions ne désavantagent pas injustement un groupe | Taux d'acceptation comparables à risque de remboursement égal |
On distingue deux formes de discrimination :
- la discrimination directe : la décision utilise explicitement le critère protégé (« si femme, alors refuser ») ;
- la discrimination indirecte : une règle apparemment neutre désavantage en pratique un groupe protégé, sans justification proportionnée (« exiger un titre foncier » quand les femmes en possèdent rarement).
Les algorithmes produisent surtout de la discrimination indirecte. Supprimer la variable protégée ne suffit donc pas : d'autres variables, appelées variables mandataires (proxies), portent la même information. Le quartier de résidence, la langue d'usage, le type de téléphone ou le métier peuvent être fortement corrélés au sexe, à l'origine ethnique ou au revenu.
2. Les sources de biais dans le cycle de vie d'un modèle
Un biais peut entrer à chaque étape du projet, de la définition du problème au déploiement.
| Étape | Type de biais | Description | Cas de Kafo Crédit |
|---|---|---|---|
| Définition du problème | Biais de formulation | La cible choisie ne mesure pas ce qu'on veut vraiment | Prédire « a un compte bancaire bien rempli » au lieu de « remboursera » |
| Collecte | Biais de représentation | Certains groupes sont sous-représentés dans les données | Peu de dossiers de N'Zérékoré dans l'historique |
| Collecte | Biais historique | Les données reflètent des décisions passées injustes | Les femmes ont été moins souvent financées, donc ont moins d'historique |
| Étiquetage | Biais de mesure | La variable ou l'étiquette est mal mesurée selon les groupes | Revenus informels sous-déclarés |
| Modélisation | Biais d'agrégation | Un modèle unique ignore des comportements différents | Les cycles agricoles de Faranah ne ressemblent pas au commerce de Madina |
| Évaluation | Biais d'évaluation | On ne mesure que la performance globale | 92 % d'exactitude globale, mais beaucoup d'erreurs sur un groupe |
| Déploiement | Boucle de rétroaction | Les décisions du modèle produisent les données futures | Les refusées ne remboursent jamais rien, donc on ne saura jamais qu'elles étaient solvables |
La boucle de rétroaction est particulièrement dangereuse : un groupe refusé n'apparaît plus dans les données de remboursement, ce qui renforce le biais au prochain réentraînement.
Des cas connus illustrent ces mécanismes. Selon des informations de presse de 2018, une grande entreprise du numérique a abandonné un outil de tri de CV qui pénalisait les candidatures féminines, parce qu'il avait appris sur dix ans de recrutements majoritairement masculins. En 2016, une enquête journalistique sur un logiciel américain d'évaluation du risque de récidive (COMPAS) a montré des taux de faux positifs plus élevés pour les prévenus noirs, ce qui a lancé un large débat scientifique sur la définition même de l'équité.
3. Mesurer l'équité : les principaux indicateurs
On note Y la décision du modèle (Y=1 : accepter), Y la réalité (Y=1 : le client rembourse) et A l'attribut protégé (par exemple A=f pour les femmes, A=h pour les hommes).
a) La parité démographique exige que le taux de décisions favorables soit le même dans chaque groupe :
P(Y=1 | A=f) = P(Y=1 | A=h)
On mesure souvent l'écart par le ratio d'impact disparate :
RID = P(Y=1 | A=groupe défavorisé)P(Y=1 | A=groupe favorisé)
Aux États-Unis, une pratique administrative en matière d'emploi, dite « règle des quatre cinquièmes », considère un ratio inférieur à 0,8 comme un signal d'alerte. Ce seuil n'est pas une règle de droit guinéenne : c'est un repère pratique largement repris dans les outils d'audit.
b) L'égalité des chances (equal opportunity) exige que les personnes qui remboursent réellement aient la même chance d'être acceptées, quel que soit leur groupe : même taux de vrais positifs (rappel).
TVPg = P(Y=1 | Y=1, A=g) = VPVP+FN
c) L'égalité des cotes (equalized odds) exige en plus le même taux de faux positifs :
TFPg = P(Y=1 | Y=0, A=g) = FPFP+VN
d) La parité prédictive exige que, parmi les personnes acceptées, la proportion de bons payeurs (la précision) soit la même dans chaque groupe :
P(Y=1 | Y=1, A=g) = VPVP+FP
Exemple
Problème : Mariama audite le modèle sur 1 000 dossiers de l'année : 600 hommes et 400 femmes.
Hommes : 400 bons payeurs et 200 mauvais payeurs ; le modèle accepte 340 bons et 20 mauvais payeurs.
Femmes : 300 bonnes payeuses et 100 mauvaises payeuses ; le modèle accepte 150 bonnes et 10 mauvaises payeuses.
Étape 1 (taux d'acceptation) : hommes (340 + 20) / 600 = 0,60 ; femmes (150 + 10) / 400 = 0,40.
Étape 2 (ratio d'impact disparate) : 0,40 / 0,60 ≈ 0,67, inférieur au repère de 0,8 : alerte.
Étape 3 (taux de vrais positifs) : hommes 340 / 400 = 0,85 ; femmes 150 / 300 = 0,50.
Étape 4 (taux de faux positifs) : hommes 20 / 200 = 0,10 ; femmes 10 / 100 = 0,10.
Étape 5 (précision) : hommes 340 / 360 ≈ 0,94 ; femmes 150 / 160 ≈ 0,94.
Conclusion : le modèle se trompe aussi peu sur les deux groupes quand il accepte, mais il rejette la moitié des bonnes payeuses contre 15 % des bons payeurs. Les femmes remboursent même plus souvent (300 / 400 = 75 % contre 400 / 600 ≈ 67 %). L'égalité des chances est gravement violée.
4. Pourquoi on ne peut pas tout avoir
Plusieurs travaux de recherche publiés en 2016 et 2017 ont démontré un théorème d'impossibilité : lorsque les taux de base diffèrent entre groupes (ici 75 % de bonnes payeuses contre environ 67 % de bons payeurs), un classifieur imparfait ne peut pas satisfaire en même temps la parité prédictive (même précision) et l'égalité des cotes (mêmes TVP et TFP).
Il faut donc choisir un critère, et ce choix n'est pas technique mais politique et éthique :
| Critère | Ce qu'il protège | Quand le privilégier |
|---|---|---|
| Parité démographique | L'accès égal à la ressource | Corriger une exclusion historique (accès au crédit, aux bourses) |
| Égalité des chances | Les personnes méritantes de chaque groupe | Recrutement, crédit : ne pas rejeter les bons profils |
| Égalité des cotes | Les bons profils et les profils à risque | Décisions où les deux erreurs coûtent cher |
| Parité prédictive | La fiabilité d'une décision positive | Quand le décideur doit faire confiance au score |
Ce choix doit être documenté, discuté avec les parties prenantes (clients, agents de crédit, associations de commerçantes, direction) et justifié.
Il faut aussi distinguer l'équité de groupe (comparer des taux entre groupes) et l'équité individuelle : deux personnes semblables pour la tâche doivent recevoir des décisions semblables.
5. Corriger les biais : avant, pendant, après l'entraînement
Les techniques de correction se classent selon le moment où elles interviennent.
| Moment | Technique | Principe |
|---|---|---|
| Prétraitement | Rééchantillonnage, repondération | Donner plus de poids aux groupes sous-représentés |
| Prétraitement | Revoir les variables | Retirer ou transformer les mandataires injustifiés (titre foncier) ; ajouter des variables pertinentes (régularité en tontine, paiements par mobile money) |
| En cours d'entraînement | Contrainte d'équité | Ajouter à la fonction de perte une pénalité mesurant l'écart entre groupes |
| Post-traitement | Seuils par groupe | Ajuster le seuil de décision pour égaliser les TVP |
| Organisation | Contrôle humain | Faire revoir les refus limites par un agent de crédit |
Attention : utiliser un seuil différent selon le sexe est une forme de traitement différencié qui peut lui-même poser un problème juridique. On préfère souvent agir sur les données et les variables, et garder le post-traitement comme solution d'appoint, avec une justification écrite.
Méthode
- Définir avec les parties prenantes les groupes à protéger et le critère d'équité retenu.
- Collecter l'attribut protégé pour l'audit seulement, de façon sécurisée, même s'il n'entre pas dans le modèle.
- Calculer, par groupe, la matrice de confusion, le taux d'acceptation, le TVP, le TFP et la précision.
- Comparer les écarts aux seuils fixés (par exemple ratio d'impact supérieur à 0,8 et écart de TVP inférieur à 5 points).
- Rechercher les causes : représentation, mandataires, qualité des étiquettes.
- Appliquer une correction, réentraîner, puis recalculer tous les indicateurs (et la performance globale).
- Documenter le choix, puis surveiller les indicateurs après déploiement, à chaque réentraînement.
import pandas as pd
def audit(df, groupe):
lignes = []
for g, d in df.groupby(groupe):
vp = ((d.pred == 1) & (d.y == 1)).sum(); fp = ((d.pred == 1) & (d.y == 0)).sum()
fn = ((d.pred == 0) & (d.y == 1)).sum(); vn = ((d.pred == 0) & (d.y == 0)).sum()
lignes.append({"groupe": g, "acceptation": (vp + fp) / len(d),
"TVP": vp / (vp + fn), "TFP": fp / (fp + vn), "precision": vp / (vp + fp)})
return pd.DataFrame(lignes)3Je retiens
Je retiens
Retirer la variable protégée ne suffit pas : des variables mandataires portent la même information.
Un biais peut entrer à chaque étape : formulation, collecte, étiquetage, modèle, évaluation, déploiement.
Parité démographique : même taux de décisions favorables dans chaque groupe.
Ratio d'impact disparate : taux du groupe défavorisé divisé par celui du groupe favorisé (alerte sous 0,8).
Égalité des chances : même TVP ; égalité des cotes : mêmes TVP et TFP ; parité prédictive : même précision.
Si les taux de base diffèrent, on ne peut pas satisfaire tous les critères à la fois : il faut choisir et justifier.
On corrige avant (données), pendant (contrainte) ou après (seuils) l'entraînement, puis on surveille.
4Erreurs fréquentes
- Croire qu'un modèle est équitable parce qu'il n'utilise pas le sexe ou l'origine.
- Se contenter de l'exactitude globale sans calculer les indicateurs groupe par groupe.
- Présenter un seul critère d'équité comme « la » définition objective de l'équité.
- Supprimer l'attribut protégé des données d'audit : on ne peut plus mesurer la discrimination.
- Corriger une fois puis ne plus surveiller : la boucle de rétroaction recrée le biais.
5Je m’exerce
1Exercice 1
(Questions de cours) a) Distinguez discrimination directe et discrimination indirecte. b) Qu'est-ce qu'une variable mandataire ? Donnez deux exemples dans le contexte guinéen. c) Expliquez la boucle de rétroaction avec un exemple.
Voir le corrigéCacher le corrigé
a) La discrimination directe utilise explicitement un critère protégé pour défavoriser quelqu'un ; la discrimination indirecte résulte d'une règle apparemment neutre qui, en pratique, désavantage un groupe protégé sans justification proportionnée. b) Une variable mandataire est une variable corrélée à un attribut protégé, qui permet au modèle de le « retrouver » sans l'utiliser. Exemples : le quartier de résidence à Conakry (corrélé au revenu et parfois à l'origine), la langue utilisée avec le service client (corrélée à l'origine régionale), la possession d'un titre foncier (corrélée au sexe). c) Un modèle refuse les demandeurs d'une zone ; ces personnes n'obtiennent pas de prêt, donc n'ont aucun historique de remboursement ; au réentraînement, la zone reste peu représentée et mal évaluée, et les refus continuent.
2Exercice 2
Une société minière de la région de Boké utilise un logiciel de présélection des CV. Sur 200 candidats originaires des villages voisins de la mine, 50 sont présélectionnés ; sur 300 candidats venant d'autres régions, 120 sont présélectionnés. Calculez les taux de présélection et le ratio d'impact disparate. Que concluez-vous ?
Voir le corrigéCacher le corrigé
Taux de présélection : riverains 50 / 200 = 0,25 ; autres 120 / 300 = 0,40. Ratio d'impact disparate : 0,25 / 0,40 = 0,625. Le ratio est inférieur à 0,8 : c'est un signal d'alerte d'impact défavorable pour les candidats riverains. Il faut rechercher la cause (diplômes, expérience, mots-clés du CV) avant de conclure à une discrimination, et vérifier si les critères utilisés sont réellement nécessaires au poste.
3Exercice 3
Pour chacune des situations suivantes, nommez le type de biais (représentation, historique, mesure, agrégation, évaluation) : a) un modèle de reconnaissance vocale entraîné presque uniquement sur du français parlé à Paris est utilisé à Labé ; b) un modèle de détection du paludisme sur images de frottis est évalué uniquement par son exactitude globale ; c) un modèle prédit la productivité d'un employé à partir des notes de ses anciens chefs, qui favorisaient leurs proches.
Voir le corrigéCacher le corrigé
a) Biais de représentation : les locuteurs de Labé, avec leurs accents, ne sont pas représentés dans les données. b) Biais d'évaluation : l'exactitude globale peut masquer de mauvaises performances sur certains sous-groupes (enfants, autre type de microscope). c) Biais historique (et de mesure) : les étiquettes reproduisent le favoritisme passé.
4Exercice 4
Reprenez l'exemple de Kafo Crédit (cours, partie 3). La direction décide d'abaisser le seuil de décision pour les femmes : le modèle accepte désormais 255 bonnes payeuses et 20 mauvaises payeuses. Recalculez pour les femmes le taux d'acceptation, le TVP, le TFP et la précision. L'égalité des chances est-elle atteinte ? À quel prix ?
Voir le corrigéCacher le corrigé
Femmes acceptées : 255 + 20 = 275. Taux d'acceptation : 275 / 400 ≈ 0,69. TVP : 255 / 300 = 0,85, égal à celui des hommes : l'égalité des chances est atteinte. TFP : 20 / 100 = 0,20, contre 0,10 chez les hommes : l'égalité des cotes ne l'est plus. Précision : 255 / 275 ≈ 0,93 (contre 0,94 chez les hommes). Le prix est donc une hausse des faux positifs chez les femmes (10 mauvaises payeuses acceptées de plus), et l'usage d'un seuil différencié selon le sexe, qui doit être justifié juridiquement. Le ratio d'impact devient 0,69 / 0,60 ≈ 1,15.
5Exercice 5
Expliquez, sans calcul, pourquoi la parité démographique et la parité prédictive peuvent être incompatibles quand les taux de remboursement réels diffèrent entre deux groupes.
Voir le corrigéCacher le corrigé
La parité démographique impose d'accepter la même proportion de personnes dans les deux groupes. Si un groupe rembourse plus souvent, accepter la même proportion conduit soit à refuser des bons payeurs dans ce groupe, soit à accepter plus de mauvais payeurs dans l'autre. La proportion de bons payeurs parmi les acceptés (la précision) diffère alors entre les groupes : la parité prédictive est violée, sauf cas particulier d'un modèle parfait ou de taux de base égaux.
6Exercice 6
(Type examen) Kafo Crédit compare deux zones. Matrices de confusion du modèle (VP, FN, FP, VN) :
Conakry : VP = 180, FN = 20, FP = 30, VN = 70.
Faranah : VP = 60, FN = 40, FP = 10, VN = 90.
a) Calculez pour chaque zone le taux de base, le taux d'acceptation, le TVP, le TFP et la précision.
b) Calculez le ratio d'impact disparate. c) Quels critères d'équité sont respectés, lesquels sont violés ? d) Proposez trois mesures concrètes de correction et dites quel critère vous retiendriez, en le justifiant.
Voir le corrigéCacher le corrigé
a)
| Indicateur | Conakry | Faranah |
|---|---|---|
| Effectif | 300 | 200 |
| Taux de base (VP+FN)/n | 200 / 300 ≈ 0,67 | 100 / 200 = 0,50 |
| Acceptation (VP+FP)/n | 210 / 300 = 0,70 | 70 / 200 = 0,35 |
| TVP VP/(VP+FN) | 180 / 200 = 0,90 | 60 / 100 = 0,60 |
| TFP FP/(FP+VN) | 30 / 100 = 0,30 | 10 / 100 = 0,10 |
| Précision VP/(VP+FP) | 180 / 210 ≈ 0,857 | 60 / 70 ≈ 0,857 |
b) Ratio d'impact disparate : 0,35 / 0,70 = 0,50, très inférieur à 0,8.
c) La parité prédictive est respectée (même précision, environ 0,857). La parité démographique, l'égalité des chances (écart de TVP de 30 points) et l'égalité des cotes (TFP 0,30 contre 0,10) sont violées. C'est l'illustration du théorème d'impossibilité : les taux de base diffèrent.
d) Mesures possibles : collecter davantage de dossiers de Faranah et repondérer ; ajouter des variables adaptées aux revenus agricoles saisonniers (calendrier de récolte, ventes en coopérative) ; faire revoir les refus limites par un agent de crédit de la zone ; en dernier recours, ajuster le seuil. Pour du crédit de fonds de roulement, l'égalité des chances est un choix défendable : elle garantit qu'un bon payeur de Faranah a autant de chances d'être financé qu'un bon payeur de Conakry ; il faudra surveiller la hausse éventuelle des impayés.
Cherchez d’abord seul, sur votre cahier, puis ouvrez le corrigé pour comparer.
6Je vérifie
Choisissez une réponse pour chaque question : la correction s’affiche aussitôt.
Karamö, votre enseignant
Il a lu cette leçon. Posez-lui votre question : il vous répond ici.
Connectez-vous pour poser vos questions à Karamö.
Avec un compte Kharandi gratuit, vous cochez les leçons terminées et vous suivez votre progression, cours par cours.
Signaler une erreur dans cette leçon
Toutes les leçons de Éthique, droit et gouvernance de l'intelligence artificielle