Aller au contenu
Éthique, droit et gouvernance de l'intelligence artificielle · L3

Leçon 1 sur 5

Biais, équité et discrimination algorithmique

Je sais repérer d'où viennent les biais d'un modèle d'IA, mesurer l'équité de ses décisions entre groupes et proposer des mesures pour réduire une discrimination algorithmique.

  • 1 h 20
  • 6 exercices corrigés
  • QCM de 7 questions

À la fin de la leçon, vous saurez :

  • Identifier les sources de biais tout au long du cycle de vie d'un modèle
  • Calculer les principaux indicateurs d'équité (parité démographique, ratio d'impact, égalité des chances)
  • Interpréter les écarts entre groupes à partir de matrices de confusion
  • Expliquer pourquoi tous les critères d'équité ne peuvent pas être satisfaits en même temps
  • Proposer des mesures de correction avant, pendant et après l'entraînement

Avant de commencer : Apprentissage automatique supervisé (classification, matrice de confusion, précision et rappel).

1Je découvre

Dans un bureau de Kaloum, la jeune entreprise Sabou Data, fondée par trois diplômés en science des données, vient de livrer un modèle de notation de crédit à Kafo Crédit, une institution de microfinance présente à Conakry, Kankan, Labé et N'Zérékoré. Le modèle lit le dossier d'un demandeur (activité, revenus déclarés, historique de remboursement, ancienneté) et propose « accepter » ou « refuser » un prêt de fonds de roulement.

Trois mois plus tard, la responsable de l'agence de Kankan appelle Sabou Data. Les commerçantes du grand marché, qui remboursaient très bien leurs prêts quand les agents de crédit décidaient eux-mêmes, sont maintenant beaucoup plus souvent refusées que les hommes. Pourtant, la variable « sexe » ne figure pas dans le modèle : les développeurs l'ont volontairement retirée.

Mariama, la data scientist de l'équipe, reprend les données. Elle découvre que le modèle accorde beaucoup de poids au montant du compte bancaire et au titre foncier, deux éléments que les femmes de la clientèle possèdent moins souvent, alors qu'elles épargnent dans des tontines et remboursent régulièrement.

Comment un algorithme qui n'utilise pas le sexe peut-il discriminer les femmes, et comment mesurer puis corriger cette injustice ?

2Je comprends

1. Biais, équité, discrimination : de quoi parle-t-on ?

Le mot « biais » a plusieurs sens qu'il faut distinguer.

NotionDéfinitionExemple
Biais statistiqueÉcart systématique entre une estimation et la valeur vraieUn échantillon de clients tiré seulement à Conakry surestime le revenu moyen national
Biais algorithmiqueErreur systématique d'un système qui produit des résultats défavorables à certains groupesLe modèle de Sabou Data refuse plus souvent les commerçantes
DiscriminationTraitement défavorable d'une personne en raison d'un critère protégé (sexe, origine, religion, handicap, âge…)Refuser un prêt parce que la demandeuse est une femme
Équité (fairness)Propriété d'un système dont les décisions ne désavantagent pas injustement un groupeTaux d'acceptation comparables à risque de remboursement égal

On distingue deux formes de discrimination :

  • la discrimination directe : la décision utilise explicitement le critère protégé (« si femme, alors refuser ») ;
  • la discrimination indirecte : une règle apparemment neutre désavantage en pratique un groupe protégé, sans justification proportionnée (« exiger un titre foncier » quand les femmes en possèdent rarement).

Les algorithmes produisent surtout de la discrimination indirecte. Supprimer la variable protégée ne suffit donc pas : d'autres variables, appelées variables mandataires (proxies), portent la même information. Le quartier de résidence, la langue d'usage, le type de téléphone ou le métier peuvent être fortement corrélés au sexe, à l'origine ethnique ou au revenu.

2. Les sources de biais dans le cycle de vie d'un modèle

Un biais peut entrer à chaque étape du projet, de la définition du problème au déploiement.

ÉtapeType de biaisDescriptionCas de Kafo Crédit
Définition du problèmeBiais de formulationLa cible choisie ne mesure pas ce qu'on veut vraimentPrédire « a un compte bancaire bien rempli » au lieu de « remboursera »
CollecteBiais de représentationCertains groupes sont sous-représentés dans les donnéesPeu de dossiers de N'Zérékoré dans l'historique
CollecteBiais historiqueLes données reflètent des décisions passées injustesLes femmes ont été moins souvent financées, donc ont moins d'historique
ÉtiquetageBiais de mesureLa variable ou l'étiquette est mal mesurée selon les groupesRevenus informels sous-déclarés
ModélisationBiais d'agrégationUn modèle unique ignore des comportements différentsLes cycles agricoles de Faranah ne ressemblent pas au commerce de Madina
ÉvaluationBiais d'évaluationOn ne mesure que la performance globale92 % d'exactitude globale, mais beaucoup d'erreurs sur un groupe
DéploiementBoucle de rétroactionLes décisions du modèle produisent les données futuresLes refusées ne remboursent jamais rien, donc on ne saura jamais qu'elles étaient solvables

La boucle de rétroaction est particulièrement dangereuse : un groupe refusé n'apparaît plus dans les données de remboursement, ce qui renforce le biais au prochain réentraînement.

Des cas connus illustrent ces mécanismes. Selon des informations de presse de 2018, une grande entreprise du numérique a abandonné un outil de tri de CV qui pénalisait les candidatures féminines, parce qu'il avait appris sur dix ans de recrutements majoritairement masculins. En 2016, une enquête journalistique sur un logiciel américain d'évaluation du risque de récidive (COMPAS) a montré des taux de faux positifs plus élevés pour les prévenus noirs, ce qui a lancé un large débat scientifique sur la définition même de l'équité.

3. Mesurer l'équité : les principaux indicateurs

On note Y la décision du modèle (Y=1 : accepter), Y la réalité (Y=1 : le client rembourse) et A l'attribut protégé (par exemple A=f pour les femmes, A=h pour les hommes).

a) La parité démographique exige que le taux de décisions favorables soit le même dans chaque groupe :

P(Y=1 | A=f) = P(Y=1 | A=h)

On mesure souvent l'écart par le ratio d'impact disparate :

RID = P(Y=1 | A=groupe défavorisé)P(Y=1 | A=groupe favorisé)

Aux États-Unis, une pratique administrative en matière d'emploi, dite « règle des quatre cinquièmes », considère un ratio inférieur à 0,8 comme un signal d'alerte. Ce seuil n'est pas une règle de droit guinéenne : c'est un repère pratique largement repris dans les outils d'audit.

b) L'égalité des chances (equal opportunity) exige que les personnes qui remboursent réellement aient la même chance d'être acceptées, quel que soit leur groupe : même taux de vrais positifs (rappel).

TVPg = P(Y=1 | Y=1, A=g) = VPVP+FN

c) L'égalité des cotes (equalized odds) exige en plus le même taux de faux positifs :

TFPg = P(Y=1 | Y=0, A=g) = FPFP+VN

d) La parité prédictive exige que, parmi les personnes acceptées, la proportion de bons payeurs (la précision) soit la même dans chaque groupe :

P(Y=1 | Y=1, A=g) = VPVP+FP

Exemple

Problème : Mariama audite le modèle sur 1 000 dossiers de l'année : 600 hommes et 400 femmes.

Hommes : 400 bons payeurs et 200 mauvais payeurs ; le modèle accepte 340 bons et 20 mauvais payeurs.

Femmes : 300 bonnes payeuses et 100 mauvaises payeuses ; le modèle accepte 150 bonnes et 10 mauvaises payeuses.

Étape 1 (taux d'acceptation) : hommes (340 + 20) / 600 = 0,60 ; femmes (150 + 10) / 400 = 0,40.

Étape 2 (ratio d'impact disparate) : 0,40 / 0,60 ≈ 0,67, inférieur au repère de 0,8 : alerte.

Étape 3 (taux de vrais positifs) : hommes 340 / 400 = 0,85 ; femmes 150 / 300 = 0,50.

Étape 4 (taux de faux positifs) : hommes 20 / 200 = 0,10 ; femmes 10 / 100 = 0,10.

Étape 5 (précision) : hommes 340 / 360 ≈ 0,94 ; femmes 150 / 160 ≈ 0,94.

Conclusion : le modèle se trompe aussi peu sur les deux groupes quand il accepte, mais il rejette la moitié des bonnes payeuses contre 15 % des bons payeurs. Les femmes remboursent même plus souvent (300 / 400 = 75 % contre 400 / 600 ≈ 67 %). L'égalité des chances est gravement violée.

4. Pourquoi on ne peut pas tout avoir

Plusieurs travaux de recherche publiés en 2016 et 2017 ont démontré un théorème d'impossibilité : lorsque les taux de base diffèrent entre groupes (ici 75 % de bonnes payeuses contre environ 67 % de bons payeurs), un classifieur imparfait ne peut pas satisfaire en même temps la parité prédictive (même précision) et l'égalité des cotes (mêmes TVP et TFP).

Il faut donc choisir un critère, et ce choix n'est pas technique mais politique et éthique :

CritèreCe qu'il protègeQuand le privilégier
Parité démographiqueL'accès égal à la ressourceCorriger une exclusion historique (accès au crédit, aux bourses)
Égalité des chancesLes personnes méritantes de chaque groupeRecrutement, crédit : ne pas rejeter les bons profils
Égalité des cotesLes bons profils et les profils à risqueDécisions où les deux erreurs coûtent cher
Parité prédictiveLa fiabilité d'une décision positiveQuand le décideur doit faire confiance au score

Ce choix doit être documenté, discuté avec les parties prenantes (clients, agents de crédit, associations de commerçantes, direction) et justifié.

Il faut aussi distinguer l'équité de groupe (comparer des taux entre groupes) et l'équité individuelle : deux personnes semblables pour la tâche doivent recevoir des décisions semblables.

5. Corriger les biais : avant, pendant, après l'entraînement

Les techniques de correction se classent selon le moment où elles interviennent.

MomentTechniquePrincipe
PrétraitementRééchantillonnage, repondérationDonner plus de poids aux groupes sous-représentés
PrétraitementRevoir les variablesRetirer ou transformer les mandataires injustifiés (titre foncier) ; ajouter des variables pertinentes (régularité en tontine, paiements par mobile money)
En cours d'entraînementContrainte d'équitéAjouter à la fonction de perte une pénalité mesurant l'écart entre groupes
Post-traitementSeuils par groupeAjuster le seuil de décision pour égaliser les TVP
OrganisationContrôle humainFaire revoir les refus limites par un agent de crédit

Attention : utiliser un seuil différent selon le sexe est une forme de traitement différencié qui peut lui-même poser un problème juridique. On préfère souvent agir sur les données et les variables, et garder le post-traitement comme solution d'appoint, avec une justification écrite.

Méthode

  1. Définir avec les parties prenantes les groupes à protéger et le critère d'équité retenu.
  2. Collecter l'attribut protégé pour l'audit seulement, de façon sécurisée, même s'il n'entre pas dans le modèle.
  3. Calculer, par groupe, la matrice de confusion, le taux d'acceptation, le TVP, le TFP et la précision.
  4. Comparer les écarts aux seuils fixés (par exemple ratio d'impact supérieur à 0,8 et écart de TVP inférieur à 5 points).
  5. Rechercher les causes : représentation, mandataires, qualité des étiquettes.
  6. Appliquer une correction, réentraîner, puis recalculer tous les indicateurs (et la performance globale).
  7. Documenter le choix, puis surveiller les indicateurs après déploiement, à chaque réentraînement.
import pandas as pd

def audit(df, groupe):
    lignes = []
    for g, d in df.groupby(groupe):
        vp = ((d.pred == 1) & (d.y == 1)).sum(); fp = ((d.pred == 1) & (d.y == 0)).sum()
        fn = ((d.pred == 0) & (d.y == 1)).sum(); vn = ((d.pred == 0) & (d.y == 0)).sum()
        lignes.append({"groupe": g, "acceptation": (vp + fp) / len(d),
                       "TVP": vp / (vp + fn), "TFP": fp / (fp + vn), "precision": vp / (vp + fp)})
    return pd.DataFrame(lignes)

3Je retiens

Je retiens

Retirer la variable protégée ne suffit pas : des variables mandataires portent la même information.

Un biais peut entrer à chaque étape : formulation, collecte, étiquetage, modèle, évaluation, déploiement.

Parité démographique : même taux de décisions favorables dans chaque groupe.

Ratio d'impact disparate : taux du groupe défavorisé divisé par celui du groupe favorisé (alerte sous 0,8).

Égalité des chances : même TVP ; égalité des cotes : mêmes TVP et TFP ; parité prédictive : même précision.

Si les taux de base diffèrent, on ne peut pas satisfaire tous les critères à la fois : il faut choisir et justifier.

On corrige avant (données), pendant (contrainte) ou après (seuils) l'entraînement, puis on surveille.

4Erreurs fréquentes

  • Croire qu'un modèle est équitable parce qu'il n'utilise pas le sexe ou l'origine.
  • Se contenter de l'exactitude globale sans calculer les indicateurs groupe par groupe.
  • Présenter un seul critère d'équité comme « la » définition objective de l'équité.
  • Supprimer l'attribut protégé des données d'audit : on ne peut plus mesurer la discrimination.
  • Corriger une fois puis ne plus surveiller : la boucle de rétroaction recrée le biais.

5Je m’exerce

1Exercice 1

(Questions de cours) a) Distinguez discrimination directe et discrimination indirecte. b) Qu'est-ce qu'une variable mandataire ? Donnez deux exemples dans le contexte guinéen. c) Expliquez la boucle de rétroaction avec un exemple.

Voir le corrigéCacher le corrigé

a) La discrimination directe utilise explicitement un critère protégé pour défavoriser quelqu'un ; la discrimination indirecte résulte d'une règle apparemment neutre qui, en pratique, désavantage un groupe protégé sans justification proportionnée. b) Une variable mandataire est une variable corrélée à un attribut protégé, qui permet au modèle de le « retrouver » sans l'utiliser. Exemples : le quartier de résidence à Conakry (corrélé au revenu et parfois à l'origine), la langue utilisée avec le service client (corrélée à l'origine régionale), la possession d'un titre foncier (corrélée au sexe). c) Un modèle refuse les demandeurs d'une zone ; ces personnes n'obtiennent pas de prêt, donc n'ont aucun historique de remboursement ; au réentraînement, la zone reste peu représentée et mal évaluée, et les refus continuent.

2Exercice 2

Une société minière de la région de Boké utilise un logiciel de présélection des CV. Sur 200 candidats originaires des villages voisins de la mine, 50 sont présélectionnés ; sur 300 candidats venant d'autres régions, 120 sont présélectionnés. Calculez les taux de présélection et le ratio d'impact disparate. Que concluez-vous ?

Voir le corrigéCacher le corrigé

Taux de présélection : riverains 50 / 200 = 0,25 ; autres 120 / 300 = 0,40. Ratio d'impact disparate : 0,25 / 0,40 = 0,625. Le ratio est inférieur à 0,8 : c'est un signal d'alerte d'impact défavorable pour les candidats riverains. Il faut rechercher la cause (diplômes, expérience, mots-clés du CV) avant de conclure à une discrimination, et vérifier si les critères utilisés sont réellement nécessaires au poste.

3Exercice 3

Pour chacune des situations suivantes, nommez le type de biais (représentation, historique, mesure, agrégation, évaluation) : a) un modèle de reconnaissance vocale entraîné presque uniquement sur du français parlé à Paris est utilisé à Labé ; b) un modèle de détection du paludisme sur images de frottis est évalué uniquement par son exactitude globale ; c) un modèle prédit la productivité d'un employé à partir des notes de ses anciens chefs, qui favorisaient leurs proches.

Voir le corrigéCacher le corrigé

a) Biais de représentation : les locuteurs de Labé, avec leurs accents, ne sont pas représentés dans les données. b) Biais d'évaluation : l'exactitude globale peut masquer de mauvaises performances sur certains sous-groupes (enfants, autre type de microscope). c) Biais historique (et de mesure) : les étiquettes reproduisent le favoritisme passé.

4Exercice 4

Reprenez l'exemple de Kafo Crédit (cours, partie 3). La direction décide d'abaisser le seuil de décision pour les femmes : le modèle accepte désormais 255 bonnes payeuses et 20 mauvaises payeuses. Recalculez pour les femmes le taux d'acceptation, le TVP, le TFP et la précision. L'égalité des chances est-elle atteinte ? À quel prix ?

Voir le corrigéCacher le corrigé

Femmes acceptées : 255 + 20 = 275. Taux d'acceptation : 275 / 400 ≈ 0,69. TVP : 255 / 300 = 0,85, égal à celui des hommes : l'égalité des chances est atteinte. TFP : 20 / 100 = 0,20, contre 0,10 chez les hommes : l'égalité des cotes ne l'est plus. Précision : 255 / 275 ≈ 0,93 (contre 0,94 chez les hommes). Le prix est donc une hausse des faux positifs chez les femmes (10 mauvaises payeuses acceptées de plus), et l'usage d'un seuil différencié selon le sexe, qui doit être justifié juridiquement. Le ratio d'impact devient 0,69 / 0,60 ≈ 1,15.

5Exercice 5

Expliquez, sans calcul, pourquoi la parité démographique et la parité prédictive peuvent être incompatibles quand les taux de remboursement réels diffèrent entre deux groupes.

Voir le corrigéCacher le corrigé

La parité démographique impose d'accepter la même proportion de personnes dans les deux groupes. Si un groupe rembourse plus souvent, accepter la même proportion conduit soit à refuser des bons payeurs dans ce groupe, soit à accepter plus de mauvais payeurs dans l'autre. La proportion de bons payeurs parmi les acceptés (la précision) diffère alors entre les groupes : la parité prédictive est violée, sauf cas particulier d'un modèle parfait ou de taux de base égaux.

6Exercice 6

(Type examen) Kafo Crédit compare deux zones. Matrices de confusion du modèle (VP, FN, FP, VN) :

Conakry : VP = 180, FN = 20, FP = 30, VN = 70.

Faranah : VP = 60, FN = 40, FP = 10, VN = 90.

a) Calculez pour chaque zone le taux de base, le taux d'acceptation, le TVP, le TFP et la précision.

b) Calculez le ratio d'impact disparate. c) Quels critères d'équité sont respectés, lesquels sont violés ? d) Proposez trois mesures concrètes de correction et dites quel critère vous retiendriez, en le justifiant.

Voir le corrigéCacher le corrigé

a)

IndicateurConakryFaranah
Effectif300200
Taux de base (VP+FN)/n200 / 300 ≈ 0,67100 / 200 = 0,50
Acceptation (VP+FP)/n210 / 300 = 0,7070 / 200 = 0,35
TVP VP/(VP+FN)180 / 200 = 0,9060 / 100 = 0,60
TFP FP/(FP+VN)30 / 100 = 0,3010 / 100 = 0,10
Précision VP/(VP+FP)180 / 210 ≈ 0,85760 / 70 ≈ 0,857

b) Ratio d'impact disparate : 0,35 / 0,70 = 0,50, très inférieur à 0,8.

c) La parité prédictive est respectée (même précision, environ 0,857). La parité démographique, l'égalité des chances (écart de TVP de 30 points) et l'égalité des cotes (TFP 0,30 contre 0,10) sont violées. C'est l'illustration du théorème d'impossibilité : les taux de base diffèrent.

d) Mesures possibles : collecter davantage de dossiers de Faranah et repondérer ; ajouter des variables adaptées aux revenus agricoles saisonniers (calendrier de récolte, ventes en coopérative) ; faire revoir les refus limites par un agent de crédit de la zone ; en dernier recours, ajuster le seuil. Pour du crédit de fonds de roulement, l'égalité des chances est un choix défendable : elle garantit qu'un bon payeur de Faranah a autant de chances d'être financé qu'un bon payeur de Conakry ; il faudra surveiller la hausse éventuelle des impayés.

Cherchez d’abord seul, sur votre cahier, puis ouvrez le corrigé pour comparer.

6Je vérifie

Choisissez une réponse pour chaque question : la correction s’affiche aussitôt.

1Un modèle qui n'utilise pas la variable « sexe » :
Voir la réponse

Réponse B : peut discriminer selon le sexe par des variables mandataires. Des variables corrélées au sexe (titre foncier, métier) peuvent produire une discrimination indirecte.

2Le ratio d'impact disparate se calcule en divisant :
Voir la réponse

Réponse A : le taux de décisions favorables du groupe défavorisé par celui du groupe favorisé. C'est un rapport de taux d'acceptation ; sous 0,8, on parle souvent de signal d'alerte.

3L'égalité des chances impose l'égalité entre groupes :
Voir la réponse

Réponse B : des taux de vrais positifs. Les personnes qui remboursent réellement doivent avoir la même chance d'être acceptées.

4Des données reflétant des décisions passées injustes créent un biais :
Voir la réponse

Réponse C : historique. Le modèle apprend et reproduit les injustices du passé.

5Si les taux de base diffèrent entre groupes, un classifieur imparfait :
Voir la réponse

Réponse B : ne peut pas satisfaire à la fois la parité prédictive et l'égalité des cotes. C'est le théorème d'impossibilité : il faut choisir un critère.

6Modifier le seuil de décision par groupe après l'entraînement est une technique de :
Voir la réponse

Réponse C : post-traitement. On agit sur la sortie du modèle, sans le réentraîner.

7Pour auditer l'équité d'un modèle, il faut :
Voir la réponse

Réponse B : disposer de l'attribut protégé, de façon sécurisée, pour le calcul des indicateurs. Sans l'attribut, impossible de comparer les groupes.

Karamö, votre enseignant

Il a lu cette leçon. Posez-lui votre question : il vous répond ici.

Connectez-vous pour poser vos questions à Karamö.

Vous avez fini la leçon ?

Avec un compte Kharandi gratuit, vous cochez les leçons terminées et vous suivez votre progression, cours par cours.

Karamö
Un point pas clair ? Dites à Karamö ce qui vous bloque dans cette leçon : il vous l’explique autrement, pas à pas, sans faire le travail à votre place. Demander à Karamö
Signaler une erreur dans cette leçon

Toutes les leçons de Éthique, droit et gouvernance de l'intelligence artificielle

Pose ta question à Karamö