Microsoft wil tegen hun AI liegen om seksistische vooroordelen te verminderen

Een van de sterkste punten van de geesteswetenschappen is het vermogen om door de wereld te navigeren met slechts beperkte gegevens, waarbij we voor een groot deel vertrouwen op onze ervaring die is opgebouwd door jarenlange persoonlijke bekendheid, opleiding en media.

Dit betekent bijvoorbeeld dat we langzamer rond scholen rijden omdat we vermoeden dat er kinderen in de buurt zijn, of ouderen een zitplaats aanbieden omdat we redelijkerwijs vermoeden dat ze zwakker zullen zijn dan de gemiddelde persoon.

De duistere kant van deze veronderstellingen zijn natuurlijk racistische en seksistische vooroordelen, waarbij onze overtuigingen slecht onderbouwd zijn, oneerlijk geëxtrapoleerd van een paar naar een hele bevolking, of geen uitzonderingen op de regel toestaan.

In gesprek met Wired hebben Microsoft-onderzoekers onthuld dat AI's nog vatbaarder zijn voor het ontwikkelen van dit soort vooroordelen.

Onderzoekers van de Boston University en Microsoft toonden aan dat software die is getraind op tekst die is verzameld uit Google News, verbanden zou leggen zoals 'Man is voor computerprogrammeur zoals vrouw is voor huisvrouw'.

Een andere studie wees uit dat de AI sterke associaties ontwikkelde tussen vrouwen en huishoudelijke artikelen en mannen en technologie en buiten activiteiten.

In de COCO-dataset werden keukenobjecten zoals lepels en vorken sterk geassocieerd met vrouwen, terwijl buitensportuitrusting zoals snowboards en tennisrackets, en technologie-items zoals toetsenborden en computermuizen zeer sterk werden geassocieerd met mannen.

In feite waren de vooroordelen van de AI zelfs sterker dan de dataset zelf, waardoor het veel waarschijnlijker was dat een persoon in een keuken als een vrouw werd geïdentificeerd, zelfs als het een man was.

Dergelijke vooroordelen kunnen, indien gedetecteerd, worden gecorrigeerd met aanvullende training, maar er zijn aanzienlijke risico's dat een AI-model in productie kan glippen zonder dat al dergelijke problemen worden opgelost.

Eric Horvitz, directeur van Microsoft Research, zei: "Ik en Microsoft als geheel vieren de inspanningen om vooringenomenheid en hiaten in datasets en systemen die daaruit zijn ontstaan, te identificeren en aan te pakken. Onderzoekers en ingenieurs die met COCO en andere datasets werken, moeten in hun eigen werk en in anderen op zoek gaan naar tekenen van vooringenomenheid.”

Horvitz overweegt een interessante oplossing om de AI vanaf het begin goed te krijgen, en suggereert dat in plaats van afbeeldingen die uit de realiteit zijn getrokken, een AI kan worden getraind op geïdealiseerde afbeeldingen die al items met een gelijke genderbalans tonen, net zoals educatief materiaal voor kinderen de realiteit zou weerspiegelen zoals we willen dat het is in plaats van wat het is.

"Het is een heel belangrijke vraag: wanneer moeten we de realiteit veranderen om onze systemen op een ambitieuze manier te laten presteren?" hij zegt.

Andere onderzoekers zijn daar niet zo zeker van.

Als er echt meer mannelijke bouwvakkers zijn, zouden beeldherkenningsprogramma's dat moeten kunnen zien, zegt Aylin Caliskan, een onderzoeker aan Princeton. Achteraf kunnen maatregelen worden genomen om eventuele vertekening te meten en indien nodig aan te passen. "We lopen het risico essentiële informatie te verliezen", zegt ze. "De datasets moeten de echte statistieken in de wereld weerspiegelen."