Microsoft pretende mentir para sua IA para reduzir o viés sexista

Um dos maiores pontos fortes das humanidades é a capacidade de navegar pelo mundo usando apenas dados limitados, confiando em grande parte em nossa experiência acumulada ao longo de anos de exposição pessoal, educação e mídia.

Isso, por exemplo, significa que dirigimos mais devagar nas escolas porque suspeitamos que pode haver crianças por perto, ou oferecemos um assento para os idosos porque suspeitamos razoavelmente que eles serão mais fracos do que a média das pessoas.

O lado escuro dessas suposições são, obviamente, preconceitos racistas e sexistas, onde nossas crenças são mal fundamentadas, extrapoladas injustamente de alguns para uma população inteira, ou não permitem exceções à regra.

Falando à Wired, pesquisadores da Microsoft revelaram que as IAs são ainda mais suscetíveis a desenvolver esse tipo de viés.

Pesquisadores da Universidade de Boston e da Microsoft mostraram que o software treinado em texto coletado do Google News formaria conexões como “O homem está para o programador de computador como a mulher está para a dona de casa”.

Outro estudo descobriu que quando a IA foi treinada em dois grandes conjuntos de fotos, consistindo em mais de 100,000 imagens de cenas complexas extraídas da web, rotuladas por humanos com descrições, a IA desenvolveu fortes associações entre mulheres e itens domésticos e homens e tecnologia e atividades ao ar livre Atividades.

No conjunto de dados COCO, objetos de cozinha, como colheres e garfos, foram fortemente associados às mulheres, enquanto equipamentos esportivos ao ar livre, como pranchas de snowboard e raquetes de tênis, e itens de tecnologia, como teclados e mouses de computador, foram fortemente associados aos homens.

Na verdade, os vieses da IA ​​eram ainda mais fortes do que o próprio conjunto de dados, levando a uma probabilidade muito maior de identificar uma pessoa em uma cozinha como mulher, mesmo que fosse homem.

Esses vieses, se detectados, podem ser corrigidos com treinamento adicional, mas há riscos significativos de que um modelo de IA entre em produção sem que todos esses problemas sejam resolvidos.

Eric Horvitz, diretor da Microsoft Research, disse: “Eu e a Microsoft como um todo celebramos os esforços para identificar e abordar preconceitos e lacunas nos conjuntos de dados e sistemas criados a partir deles. Pesquisadores e engenheiros que trabalham com COCO e outros conjuntos de dados devem procurar sinais de viés em seu próprio trabalho e em outros.”

Horvitz está considerando uma solução interessante para obter a IA desde o início, sugerindo que em vez de imagens extraídas da realidade, uma IA pode ser treinada em imagens idealizadas que mostram itens com um equilíbrio de gênero igual, assim como o material educacional infantil refletiria a realidade como queremos que seja em vez do que é.

“É uma pergunta muito importante – quando devemos mudar a realidade para que nossos sistemas funcionem de maneira aspiracional?” ele diz.

Outros pesquisadores não têm tanta certeza.

Se realmente houver mais trabalhadores da construção do sexo masculino, os programas de reconhecimento de imagem devem ter permissão para ver isso, diz Aylin Caliskan, pesquisadora de Princeton. Etapas podem ser tomadas posteriormente para medir e ajustar qualquer viés, se necessário. “Corremos o risco de perder informações essenciais”, diz ela. “Os conjuntos de dados precisam refletir as estatísticas reais do mundo.”