Au secours ! Mon modèle d’IA est discriminatoire ! 

Tous les systèmes IA du monde font preuve de préjugés ou de biais. Et ces préjugés ne sont pas innocents. En effet, nous ne savons pas toujours sur quoi l’IA base ses décisions. Alors que les entreprises savent très bien sur quoi elles basent leur entraînement (quelles données elles utilisent). Et nous voyons ce que cela donne (le résultat). Mais nous ne savons pas toujours exactement comment le système IA est arrivé à cet output. C’est ce qu’on appelle la boîte noire, ou black box (voir plus loin). Pense un peu aux conséquences possibles. 

Comment en sommes-nous arrivés là ? 

Pas de femmes chez Amazon 

En 2015, Amazon a découvert que son système IA préférait les candidats masculins pour ses postes techniques. Pourquoi ? Pas parce qu’ils sont meilleurs, mais parce que le système avait été alimenté par les CV des personnes engagées durant les 10 dernières années. La plupart étant des CV d’hommes, le système IA a décidé que les hommes étaient plus compétents pour ces fonctions. 

Des résultats scolaires moins bons pour les élèves pauvres 

Au Royaume-Uni, certains élèves n’ont pas pu participer aux examens généraux durant la pandémie de coronavirus. Un système IA a donc calculé quels scores ils obtiendraient s’ils avaient pu les présenter. Résultat ? Le système attribuait plus de points aux jeunes de quartier riches et moins de points aux jeunes de quartiers pauvres. En effet, le modèle avait été entraîné d’après des données des années précédentes, lors desquelles les élèves de quartiers riches obtenaient souvent de meilleures cotes. 

Imagine que tu habites un quartier pauvre et que tu aies travaillé dur, pour tout de même recevoir de mauvais points. 

Moins de soins pour les Afro-Américains 

Un système IA conçu pour les hôpitaux américains a conclu que les Afro-Américains nécessitaient moins de soins. 

Il tenait compte des frais dépensées en soins de santé par le passé. Il en est ressorti que les Afro-Américains dépensaient moins pour la santé que les Américains blancs. On a dès lors supposé, erronément, que les Afro-Américains étaient en meilleure santé que les Américains blancs. 

Des Nazis noirs  

Le phénomène inverse s’est aussi déjà produit : des photos historiques ont été créées avec Google Gemini. Mais comme Google estime que la diversité est importante, il a adapté son système pour plus de diversité dans ses résultats. Mais cette modification a aussi des résutlats inattendus pour conséquence, comme l’image d’un soldat nazi à la peau noire. 

Une note positive 

Un fois que nous prenons conscience de ces biais, nous pouvons y remédier. Nous pouvons confier les systèmes IA à des équipes de travailleurs de différentes origines. pour lutter contre certains stéréotypes. Nous pouvons aussi chercher des données plus complètes. L’output reflètera cette variété.  

D’autres solutions ont également été imaginées. Par exemple, Missjourney, un outil IA qui ne génère que des photos de femmes pour des postes comme ceux de CEO, de scientifique, d’astronaute ou d’ingénieur. 

Il existe aussi ce qu’on appelle l’intelligence artificielle explicable (explainable AI, ou XIA). Il s’agit d’un ensemble d’outils et de méthodes qui expliquent comment un système d’IA est parvenu à sa décision. Nous pouvons ainsi détecter l’origine des préjugés. La XIA est cruciale pour les diagnostics médicaux. En effet, les médecins ne peuvent se fier au diagnostic de l’IA que si cette dernière est capable d’expliquer comment elle est parvenue à ce diagnostic.