Microsoft стремится солгать своему ИИ, чтобы уменьшить сексистские предубеждения

Одной из самых сильных сторон гуманитарных наук является способность ориентироваться в мире, используя лишь ограниченные данные, в значительной степени полагаясь на наш опыт, накопленный за годы личного знакомства, образования и средств массовой информации.

Это, например, означает, что мы ездим медленнее вокруг школы, потому что мы подозреваем, что вокруг могут быть дети, или предлагаем место пожилым людям, потому что мы обоснованно подозреваем, что они будут слабее, чем средний человек.

Темной стороной этих предположений, конечно же, являются расистские и сексистские предубеждения, когда наши убеждения плохо обоснованы, несправедливо экстраполируются с немногих на все население или не допускают исключений из правил.

В беседе с Wired исследователи Microsoft рассказали, что ИИ еще более подвержен развитию такого рода предубеждений.

Исследователи из Бостонского университета и Microsoft показали, что программное обеспечение, обученное на тексте, собранном из Google News, формирует такие связи, как «мужчина относится к программисту, как женщина к домохозяйке».

Другое исследование показало, что когда ИИ был обучен на двух больших наборах фотографий, состоящих из более чем 100,000 XNUMX изображений сложных сцен, взятых из Интернета, помеченных людьми с описаниями, у ИИ сформировались прочные ассоциации между женщинами и предметами домашнего обихода, а также мужчинами, технологиями и природой. виды деятельности.

В наборе данных COCO кухонные предметы, такие как ложки и вилки, были тесно связаны с женщинами, в то время как спортивное оборудование для активного отдыха, такое как сноуборды и теннисные ракетки, и технологические предметы, такие как клавиатуры и компьютерные мыши, были очень тесно связаны с мужчинами.

На самом деле предубеждения ИИ были даже сильнее, чем сам набор данных, что приводило к тому, что он с гораздо большей вероятностью идентифицировал человека на кухне как женщину, даже если это был мужчина.

Такие предубеждения, если они обнаружены, можно исправить с помощью дополнительного обучения, но существуют значительные риски того, что модель ИИ может попасть в производство без решения всех таких проблем.

Эрик Хорвиц, директор Microsoft Research, сказал: «Я и Microsoft в целом приветствуем усилия по выявлению и устранению предвзятости и пробелов в наборах данных и системах, созданных на их основе. Исследователи и инженеры, работающие с COCO и другими наборами данных, должны искать признаки предвзятости в своей и чужой работе».

Хорвиц рассматривает интересное решение, позволяющее с самого начала правильно настроить ИИ, предполагая, что вместо изображений, взятых из реальности, ИИ можно обучать на идеализированных изображениях, которые уже показывают предметы с равным гендерным балансом, подобно тому, как детские образовательные материалы отражают реальность, например мы хотим, чтобы это было, а не то, что есть.

«Это действительно важный вопрос — когда нам следует изменить реальность, чтобы наши системы работали так, как хотелось бы?» он говорит.

Другие исследователи не так уверены.

Если мужчин-строителей действительно больше, программы распознавания образов должны это увидеть, говорит Айлин Калискан, исследователь из Принстона. Впоследствии могут быть предприняты шаги для измерения и корректировки смещения, если это необходимо. «Мы рискуем потерять важную информацию», — говорит она. «Наборы данных должны отражать реальную статистику в мире».