Microsoft vise à mentir à son IA pour réduire les préjugés sexistes

L'une des plus grandes forces des sciences humaines est la capacité de naviguer dans le monde en utilisant uniquement des données limitées, en s'appuyant en grande partie sur notre expérience accumulée au fil des années d'exposition personnelle, d'éducation et de médias.

Cela signifie, par exemple, que nous conduisons plus lentement autour des écoles parce que nous soupçonnons qu'il peut y avoir des enfants, ou que nous offrons un siège aux personnes âgées parce que nous soupçonnons raisonnablement qu'elles seront plus faibles que la personne moyenne.

Le côté obscur de ces présupposés sont bien sûr les préjugés racistes et sexistes, où nos croyances sont mal étayées, extrapolées injustement de quelques-uns à toute une population, ou ne permettent pas d'exceptions à la règle.

S'adressant à Wired, les chercheurs de Microsoft ont révélé que les IA sont encore plus susceptibles de développer ce type de biais.

Des chercheurs de l'Université de Boston et de Microsoft ont montré que les logiciels entraînés sur des textes collectés sur Google Actualités établiraient des liens tels que "l'homme est au programmeur informatique ce que la femme est à la femme au foyer".

Une autre étude a révélé que lorsque l'IA a été entraînée sur deux grands ensembles de photos, composées de plus de 100,000 XNUMX images de scènes complexes tirées du Web, étiquetées par des humains avec des descriptions, l'IA a développé de fortes associations entre les femmes et les objets domestiques et les hommes et la technologie et l'extérieur. Activités.

Dans l'ensemble de données COCO, les objets de cuisine tels que les cuillères et les fourchettes étaient fortement associés aux femmes, tandis que les équipements sportifs de plein air tels que les planches à neige et les raquettes de tennis, et les articles technologiques tels que les claviers et les souris d'ordinateur étaient très fortement associés aux hommes.

En fait, les biais de l'IA étaient encore plus forts que l'ensemble de données lui-même, ce qui le rendait beaucoup plus susceptible d'identifier une personne dans une cuisine comme une femme, même si c'était un homme.

De tels biais, s'ils sont détectés, peuvent être corrigés avec une formation supplémentaire, mais il existe des risques importants qu'un modèle d'IA passe en production sans que tous ces problèmes soient résolus.

Eric Horvitz, directeur de Microsoft Research, a déclaré : « Microsoft et moi-même célébrons les efforts d'identification et de résolution des biais et des lacunes dans les ensembles de données et les systèmes créés à partir de ceux-ci. Les chercheurs et les ingénieurs travaillant avec COCO et d'autres ensembles de données devraient rechercher des signes de biais dans leur propre travail et dans les autres.

Horvitz envisage une solution intéressante pour obtenir l'IA dès le début, suggérant au lieu d'images tirées de la réalité, une IA peut être formée sur des images idéalisées qui montrent déjà des éléments avec un équilibre entre les sexes égal, tout comme le matériel éducatif pour enfants refléterait la réalité comme nous voulons qu'il soit plutôt que ce qu'il est.

"C'est une question vraiment importante - quand devrions-nous changer la réalité pour que nos systèmes fonctionnent de manière ambitieuse?" il dit.

D'autres chercheurs n'en sont pas si sûrs.

S'il y a vraiment plus d'hommes dans la construction, les programmes de reconnaissance d'images devraient être autorisés à le voir, déclare Aylin Caliskan, chercheur à Princeton. Des mesures peuvent être prises par la suite pour mesurer et ajuster tout biais si nécessaire. « Nous risquons de perdre des informations essentielles », dit-elle. "Les ensembles de données doivent refléter les statistiques réelles dans le monde."