Peut-on concevoir des IA qui ne soient ni racistes ni sexistes ?

On dit généralement que les humains ne naissent ni sexistes ni racistes, mais que la haine est une capacité acquise. Il en est de même pour l'Intelligence Artificielle. Et en matière d'intolérance, les humains sont de formidables enseignants.

ProPublica a recensé le cas d'un algorithme utilisé pour prédire la probabilité qu'un individu commette un crime dans le futur. En l'occurrence, l'algorithme en question a montré que les noirs étaient plus enclins au crime que les blancs après avoir utilisé des données extrêmement biaisées. En dépit des affirmations selon lesquelles les méthodes dites « objectives » sont plus fiables que les méthodes empiriques en matière de prédiction des récidives, on constate que les biais de jugement humains ont contaminé les systèmes de traitement automatique des données.

Prenons le cas tristement célèbre du bot Tay, de Microsoft. En quelques heures seulement, Tay a absorbé toutes les insultes et les opinions racistes dont les utilisateurs de Twitter l'avait abreuvée, avant de les régurgiter sous forme d'abominables soliloques nazis.

Pourtant, les « préjugés » dont sont pétris les algorithmes sont souvent beaucoup plus discrets, explique Emiel van Miltenburg, doctorant en sciences humaines à l'Université Vrije à Amsterdam. Miltenburg a analysé les descriptions d'images de la base de données Flickr30K, un corpus d'images annotées fréquemment utilisé pour entrainer des réseaux de neurones. Il a alors découvert un biais sexiste et raciste redondant dans le langage utilisé pour décrire les images.

Les descriptions en question avaient été générées par ce que l'on appelle des crowdworkers (des personnes effectuant un travail non qualifié extrêmement répétitif en lien avec des données et formats numériques). Or, les ordinateurs ont utilisé ces descriptions pendant des années pour s'entrainer à reconnaître et à décrire des images.

Miltenburg a trouvé, entre autres, une photo d'une femme parlant à un homme dans un bureau, et intitulée « une employée réprimandée par son patron, » alors que rien d'indiquait le niveau hiérarchique de l'un ou de l'autre sur l'image. Autre exemple : les personnes possédant des traits asiatiques étaient invariablement étiquetées « Chinois » ou « Japonais, » sans plus de manières. Enfin, les bébés blancs étaient considérés comme de simples bébés, tandis que la couleur de peau des bébés noirs était toujours mentionnée.

« Je ne serais pas surpris que ces légendes aient induit des biais de race ou de genre dans les systèmes s'étant entrainés sur le corpus Flickr30K, même si c'était tout à fait involontaire, » précise Julia Hockenmaier, à la tête de l'équipe de recherche à l'origine de Flickr30K. « Notre but était simplement de collecter des descriptions factuelles sur les événements et les personnes visibles sur les photos. »

Si ces biais avaient eu un impact dans le « monde réel, » ils auraient ressemblé en tous points à ce que l'on qualifie habituellement de paroles sexistes ou racistes.

« Nous devons reconnaître que notre base de données est pétrie de biais sexistes, et que ce n'est pas acceptable, » ajoute Miltenburg. « Les gens entrainent des machines à regarder des images à partir d'un point de vue américain. Un point de vue américain ET blanc. »

L'article de Miltenburg est disponible sur ArXiv, et a été présenté ce mardi à la Conférence sur l'Évaluation du langage en Slovénie.

Miltenburg n'a pas encore eu l'occasion de tester si les logiciels formés sur ces descriptions d'images généraient effectivement de nouvelles descriptions tout à fait partiales. C'est néanmoins probable. L'expérience nous montre que lorsque des IA sont exposées à des données qui reproduisent des préjugés humains séculaires, elles les adoptent volontiers.

« L'IA imite ce qu'on lui demande d'imiter. S'il y a des biais racistes dans les données cible, on sait à quoi s'attendre, » déclare Jeff Clune, professeur de sciences informatiques à l'Université du Wyoming et spécialiste de deep learning. « Quelque part, si l'IA n'avait pas généré de contenu raciste, cela aurait signifié que la technologie ne fonctionne pas. »

En d'autre termes, les ordinateurs ne sont ni bons ni mauvais. Comme le bot de Microsoft, ils font ce qu'on leur demande de faire, à une échelle parfois assez grande pour générer des comportements imprévisibles.

On peut imaginer que le recours à des logiciels formés sur des données biaisées serait particulièrement problématique lorsqu'il s'agirait, par exemple, de décider de donner ou non une couverture d'assurance-maladie à quelqu'un. Même les données « apparemment objectives » concernant le logement, les taux d'incarcération et le revenu peuvent abriter des préjugés systémiques qui seront ensuite incorporés dans les IA.

« C'est un problème très profond que nous commençons à peine à prendre en compte. Les modèles de machine learning sont de plus en plus sophistiqués, et de plus en plus utilisés pour effectuer des tâches très concrètes, » explique Hockenmaier.

Peut-on renverser cette tendance ?

Pour Miltenburg, le problème est que la méthode de collecte de descriptions d'image à partir de la base de données de Flickr30K ne fait rien pour atténuer les biais humains et leurs conséquences. Selon lui, l'annotation d'images devrait être considérée comme une expérience psychologique, et non comme une démarche de production de données brutes.

« Pour commencer, il faut arrêter de travailler uniquement avec des américains, mais essayer de diversifier le profil des 'annoteurs' : il suffit de choisir des gens vivant en Australie, au Royaume-Uni, en Inde, à Hong Kong, etc. Il faut également en savoir plus sur ces personnes, afin que nous puissions mieux contrôler les variables telles que le genre, l'âge, etc., » ajoute Miltenburg.

En étant plus rigoureux dans le recrutement des crowdworkers, les chercheurs seront en mesure de contrôler l'apprentissage des logiciels de deep learning avec plus de précision. Ainsi, on n'aura pas besoin de leur faire lire des livres de morale pour rattraper le coup.

« On pourrait également aider les crowdworkers à prendre conscience de leurs propres biais de race et de genre, » ajoute Hockenmaier.

Selon Clune il existe enfin une dernière option qui consiste à entrainer le logiciel à ignorer certains types d'information.

« Il faut concevoir l'IA comme un enfant en plein apprentissage. Vous ne voulez pas que votre gosse traine avec des racistes, ou des gens de mauvaise fréquentation. Vous savez que cela risque de l'influencer, et ça vous fait peur. Avec l'IA, c'est la même chose, » ajoute Clune.

Le futur de l'IA impliquera de délaisser un peu le code à la faveur d'un entrainement de machines rondement mené. Si la métaphore de Clune s'avérait pertinente, il faudrait que nous nous comportions comme des parents responsables, et aider l'IA à faire la différence entre le bien et le mal, tout en gardant un œil sur les livres qu'elle lit et les films qu'elle regarde.

Il est inévitable que l'IA soit, intentionnellement ou non, exposée à des idées délétères. Apprenons-lui à passer outre.