Microsoft har som mål å lyve for deres AI for å redusere sexistisk skjevhet

En av de største styrkene innen humaniora er evnen til å navigere verden rundt ved å bruke begrensede data, og for en stor del stole på vår erfaring bygget opp over år med personlig eksponering, utdanning og media.

Dette betyr for eksempel at vi kjører saktere rundt skoler fordi vi mistenker at det kan være barn rundt, eller tilbyr sete til eldre fordi vi med rimelighet mistenker at de vil være svakere enn gjennomsnittspersonen.

Den mørke siden av disse antakelsene er selvfølgelig rasistiske og sexistiske skjevheter, der vår tro er dårlig underbygget, urettferdig ekstrapolert fra noen få til en hel befolkning, eller ikke tillater unntak fra regelen.

Når vi snakker med Wired, har Microsoft-forskere avslørt at AI-er er enda mer utsatt for å utvikle denne typen skjevheter.

Forskere fra Boston University og Microsoft viste at programvare trent på tekst samlet inn fra Google Nyheter ville danne forbindelser som «Mann er for dataprogrammerer som kvinne er for hjemmemor».

En annen studie fant at da AI ble trent på to store sett med bilder, bestående av mer enn 100,000 XNUMX bilder av komplekse scener hentet fra nettet, merket av mennesker med beskrivelser, utviklet AI sterke assosiasjoner mellom kvinner og husholdningsartikler og menn og teknologi og utendørs aktiviteter.

I COCO-datasettet var kjøkkenobjekter som skjeer og gafler sterkt assosiert med kvinner, mens utendørs sportsutstyr som snowboard og tennisracketer, og teknologiartikler som tastaturer og datamus var veldig sterkt assosiert med menn.

Faktisk var AIs skjevheter enda sterkere enn selve datasettet, noe som førte til at det var mye mer sannsynlig å identifisere en person på et kjøkken som en kvinne selv om det var en mann.

Slike skjevheter, hvis de oppdages, kan korrigeres med ekstra opplæring, men det er betydelig risiko for at en AI-modell kan gli ut i produksjon uten at alle slike problemer er løst.

Eric Horvitz, direktør for Microsoft Research, sa "Jeg og Microsoft som helhet feirer innsatsen for å identifisere og adressere skjevheter og hull i datasett og systemer laget av dem. Forskere og ingeniører som jobber med COCO og andre datasett bør se etter tegn på skjevhet i eget og andres arbeid."

Horvitz vurderer en interessant løsning for å få AI rett fra starten, og foreslår at i stedet for bilder hentet fra virkeligheten, kan en AI trenes på idealiserte bilder som viser elementer med lik kjønnsbalanse allerede, omtrent som undervisningsmateriell for barn vil reflektere virkeligheten som vi vil at det skal være i stedet for hva det er.

"Det er et veldig viktig spørsmål - når skal vi endre virkeligheten for å få systemene våre til å fungere på en ambisiøs måte?" han sier.

Andre forskere er ikke så sikre.

Hvis det virkelig er flere mannlige bygningsarbeidere, bør bildegjenkjenningsprogrammer få se det, sier Aylin Caliskan, forsker ved Princeton. Trinn kan tas etterpå for å måle og justere eventuell skjevhet om nødvendig. "Vi risikerer å miste viktig informasjon," sier hun. "Datasettene må gjenspeile den virkelige statistikken i verden."