Microsoft strävar efter att ljuga för sin AI för att minska sexistisk fördom

En av humaniora största styrkor är förmågan att navigera i världen med endast begränsad data, till stor del beroende av vår erfarenhet som byggts upp under år av personlig exponering, utbildning och media.

Detta innebär till exempel att vi kör långsammare runt skolor för att vi misstänker att det kan finnas barn i närheten, eller att vi erbjuder en sittplats till äldre eftersom vi rimligen misstänker att de kommer att vara svagare än genomsnittspersonen.

Den mörka sidan av dessa antaganden är naturligtvis rasistiska och sexistiska fördomar, där våra övertygelser är dåligt underbyggda, orättvist extrapolerade från ett fåtal till en hel befolkning, eller inte tillåter undantag från regeln.

På tal med Wired har Microsoft-forskare avslöjat att AI:er är ännu mer mottagliga för att utveckla denna typ av fördomar.

Forskare från Boston University och Microsoft visade att programvara som tränas på text som samlats in från Google News skulle bilda kopplingar som "Människan är för datorprogrammerare som kvinnan är för hemmafrun."

En annan studie fann att när AI tränades på två stora uppsättningar foton, bestående av mer än 100,000 XNUMX bilder av komplexa scener ritade från webben, märkta av människor med beskrivningar, utvecklade AI starka associationer mellan kvinnor och hushållsartiklar och män och teknik och utomhus verksamhet.

I COCO-datauppsättningen var köksobjekt som skedar och gafflar starkt förknippade med kvinnor, medan utomhussportutrustning som snowboards och tennisracketar, och teknikföremål som tangentbord och datormöss var mycket starkt förknippade med män.

Faktum är att AI:s fördomar var ännu starkare än själva datasetet, vilket ledde till att det var mycket mer sannolikt att identifiera en person i ett kök som en kvinna även om det var en man.

Sådana fördomar, om de upptäcks, kan korrigeras med ytterligare utbildning, men det finns betydande risker att en AI-modell kan glida in i produktion utan att alla sådana problem är lösta.

Eric Horvitz, direktör för Microsoft Research, sa "Jag och Microsoft som helhet firar ansträngningar för att identifiera och åtgärda fördomar och luckor i datamängder och system som skapats av dem. Forskare och ingenjörer som arbetar med COCO och andra datauppsättningar bör leta efter tecken på partiskhet i sitt eget och andras arbete."

Horvitz överväger en intressant lösning för att få AI rätt från början, och föreslår istället för bilder hämtade från verkligheten, en AI kan tränas på idealiserade bilder som redan visar objekt med en jämn könsbalans, ungefär som barns utbildningsmaterial skulle spegla verkligheten som vi vill att det ska vara snarare än vad det är.

"Det är en väldigt viktig fråga - när ska vi förändra verkligheten för att få våra system att fungera på ett ambitiöst sätt?" han säger.

Andra forskare är inte så säkra.

Om det verkligen finns fler manliga byggnadsarbetare borde bildigenkänningsprogram få se det, säger Aylin Caliskan, forskare vid Princeton. Åtgärder kan vidtas i efterhand för att mäta och justera eventuell bias om det behövs. "Vi riskerar att förlora viktig information", säger hon. "Datauppsättningarna måste spegla den verkliga statistiken i världen."