Microsoft pretende mentirle a su IA para reducir el sesgo sexista

Una de las mayores fortalezas de las humanidades es la capacidad de navegar por el mundo utilizando solo datos limitados, confiando en gran parte en nuestra experiencia acumulada durante años de exposición personal, educación y medios.

Esto, por ejemplo, significa que manejamos más despacio en las escuelas porque sospechamos que puede haber niños alrededor, u ofrecemos un asiento a los ancianos porque sospechamos razonablemente que serán más débiles que la persona promedio.

El lado oscuro de estas suposiciones son, por supuesto, los sesgos racistas y sexistas, donde nuestras creencias están mal fundamentadas, se extrapolan injustamente de unos pocos a toda la población, o no permiten excepciones a la regla.

Hablando con Wired, los investigadores de Microsoft han revelado que las IA son aún más susceptibles de desarrollar este tipo de sesgo.

Investigadores de la Universidad de Boston y Microsoft demostraron que el software entrenado en texto recopilado de Google News formaría conexiones como "El hombre es al programador de computadoras como la mujer es al ama de casa".

Otro estudio descubrió que cuando se entrenó a la IA en dos grandes conjuntos de fotos, que constaban de más de 100,000 XNUMX imágenes de escenas complejas extraídas de la web, etiquetadas por humanos con descripciones, la IA desarrolló fuertes asociaciones entre mujeres y artículos domésticos y hombres y tecnología y actividades al aire libre. ocupaciones.

En el conjunto de datos de COCO, los objetos de cocina, como cucharas y tenedores, estaban fuertemente asociados con las mujeres, mientras que los equipos deportivos al aire libre, como tablas de snowboard y raquetas de tenis, y elementos tecnológicos, como teclados y ratones de computadora, estaban fuertemente asociados con los hombres.

De hecho, los sesgos de la IA eran incluso más fuertes que el conjunto de datos en sí, lo que hacía que fuera mucho más probable que identificara a una persona en una cocina como mujer, incluso si era un hombre.

Dichos sesgos, si se detectan, se pueden corregir con capacitación adicional, pero existen riesgos significativos de que un modelo de IA entre en producción sin que se resuelvan todos esos problemas.

Eric Horvitz, director de Microsoft Research, dijo: “Microsoft y yo celebramos los esfuerzos para identificar y abordar los sesgos y las brechas en los conjuntos de datos y los sistemas creados a partir de ellos. Los investigadores e ingenieros que trabajan con COCO y otros conjuntos de datos deberían buscar signos de sesgo en su propio trabajo y en el de otros”.

Horvitz está considerando una solución interesante para hacer que la IA sea correcta desde el principio, lo que sugiere que, en lugar de imágenes extraídas de la realidad, se puede entrenar una IA con imágenes idealizadas que muestren elementos con un equilibrio de género igualitario, al igual que el material educativo para niños reflejaría la realidad como queremos que sea en lugar de lo que es.

"Es una pregunta realmente importante: ¿cuándo deberíamos cambiar la realidad para que nuestros sistemas funcionen de una manera aspiracional?" él dice.

Otros investigadores no están tan seguros.

Si realmente hay más trabajadores de la construcción masculinos, los programas de reconocimiento de imágenes deberían poder ver eso, dice Aylin Caliskan, investigadora de Princeton. Se pueden tomar medidas posteriormente para medir y ajustar cualquier sesgo si es necesario. “Corremos el riesgo de perder información esencial”, dice. “Los conjuntos de datos deben reflejar las estadísticas reales del mundo”.