Le biais dans l'IA
Un biais dans l'IA, c'est quand un programme traite certains groupes de personnes moins justement que d'autres. Un cinéma utilise un outil d'IA pour choisir qui passe un entretien pour un job du week-end.
Vingt personnes postulent. Presque toutes celles qu'il choisit habitent à l'est de la ville. Personne ne lui a demandé ça : comment est-ce arrivé ?
À la fin de cette leçon
Remarque
Je peux repérer quand un résultat d'IA est peut-être injuste.
Mots clés
| Mot | Ce que ça veut dire |
|---|---|
| Biais | un penchant qui traite certaines personnes moins justement |
| Juste | qui traite pareil des personnes semblables |
| Groupe | des personnes qui ont un point commun |
| Données d'entraînement | les exemples dont une IA a appris |
| Présélection | les personnes choisies pour passer à l'étape suivante |
Les cellules que les étudiants remplissent restent vides dans cet aperçu.
Des exemples injustes donnent des résultats injustes
L'outil du cinéma a appris des anciens employés. La plupart habitaient à l'est, car l'ancienne ligne de bus venait de là.
L'outil a donc appris que « habiter à l'est » fait partie d'un bon employé. C'est un biais. Les données d'entraînement penchaient d'un côté, donc les résultats penchent aussi.
Remarque-le en comparant des groupes
Tu peux souvent repérer un biais en comptant simplement. Répartis les personnes en groupes, puis compare combien de fois chaque groupe a été choisi.
Si deux groupes ont postulé de la même façon mais que l'un est bien plus choisi, demande pourquoi.
Exemple : la présélection du cinéma
| Groupe | Candidats | Choisis | Choisis sur 10 | En pourcentage |
|---|---|---|---|---|
| Est de la ville | 10 | 6 | 6 sur 10 | 60 % |
| Ouest de la ville | 10 | 2 | 2 sur 10 | 20 % |
| Écart | 4 sur 10 | 40 % |
Les cellules que les étudiants remplissent restent vides dans cet aperçu.
Compte qui a été choisi
# Chaque personne est [groupe, choisie]. True veut dire choisie.
personnes = [
["est", True], ["est", True], ["est", False], ["est", True],
["ouest", False], ["ouest", True], ["ouest", False], ["ouest", False],
]
candidats = {}
choisis = {}
for personne in personnes:
groupe = personne[0]
if groupe not in candidats:
candidats[groupe] = 0
choisis[groupe] = 0
candidats[groupe] = candidats[groupe] + 1
if personne[1]:
choisis[groupe] = choisis[groupe] + 1
for groupe in candidats:
print(groupe, choisis[groupe], "sur", candidats[groupe])
Transforme les comptes en écart
# Choisis sur candidats pour chaque groupe, d'après le Run du dessus.
est_choisis = 3
est_candidats = 4
ouest_choisis = 1
ouest_candidats = 4
taux_est = round(est_choisis * 100 / est_candidats)
taux_ouest = round(ouest_choisis * 100 / ouest_candidats)
print("Est :", taux_est, "%")
print("Ouest :", taux_ouest, "%")
print("Écart :", taux_est - taux_ouest, "%")
Que faire quand un résultat semble injuste
Dis ce que tu as remarqué, avec les chiffres. Préviens quelqu'un qui peut le changer : un professeur, un responsable, ou le bouton de signalement d'une appli. Demande qu'une personne vérifie la décision.
Vérifie aussi ton propre usage. Si tu demandes à l'IA des images ou des histoires sur des gens, regarde qui est montré et qui manque.
Exemple : qui prévenir
| Où tu l'as vu | Qui prévenir |
|---|---|
| Une appli au lycée | Ton professeur |
| Un outil dans un job étudiant | Ton responsable |
| Une appli sur ton téléphone | Le bouton de signalement, ou un adulte de confiance |
Les cellules que les étudiants remplissent restent vides dans cet aperçu.
Une erreur fréquente
Attention
Beaucoup croient qu'un ordinateur ne peut pas être injuste, puisqu'il suit les données. C'est justement le problème : quand les données penchent d'un côté, les résultats penchent aussi, donc il faut vérifier les chiffres.
Pour aller plus loin : quelles images ?
Imagine un outil d'images à qui l'on demande « une scientifique » ou « un infirmier ». S'il montre toujours le même genre de personne, c'est un biais dans ses exemples.
Écris deux questions que tu poserais à ceux qui ont fabriqué cet outil.