Saca Copilot Designer de la web: un ingeniero de Microsoft tras revelarlo puede producir contenido extremadamente inapropiado

Un ingeniero de Microsoft ha expresado su preocupación por el generador de imágenes de IA de la empresa, Copilot Designer. Afirma que puede producir contenido dañino e inapropiado.

Shane Jones, director principal de ingeniería de software en Microsoft, dijo que descubrió que la herramienta puede generar imágenes violentas, sexuales y sesgadas. Me recuerda a la Saga de Taylor Swift, que se decía que fue realizado por un producto de Microsoft.

Informó sus hallazgos internamente pero no quedó satisfecho con la respuesta, lo que le hizo hacer públicos sus problemas.

Jones, quien identificó vulnerabilidades a través del “equipo rojo” (pruebas de debilidades), informó haber encontrado imágenes perturbadoras, que incluyen:

• Imágenes que representan demonios y monstruos junto con términos relacionados con el derecho al aborto.
• Imágenes de mujeres en escenarios sexualizados en medio de accidentes automovilísticos.
• Imágenes que muestran a adolescentes en fiestas con drogas y armas.
• Imágenes que muestran personajes de Disney en situaciones potencialmente ofensivas y protegidas por derechos de autor, incluidas escenas que representan violencia en el Medio Oriente y personajes asociados con imágenes militares.

Jones pide a Microsoft que tome medidas inmediatas, que incluyen un paso importante para eliminar Copilot Designer del mercado hasta que se implementen medidas de seguridad. Agregó revelaciones sobre las limitaciones de la herramienta y cambió la calificación de la aplicación para reflejar que no es adecuada para todas las edades. O cualquiera. 

Microsoft aún no ha respondido a todas las afirmaciones específicas de Jones. Sin embargo, un portavoz dijo que la compañía está comprometida a abordar cualquier inquietud que tengan los empleados y aprecia sus esfuerzos para probar su tecnología.

Cuando se trata de omisiones de seguridad o inquietudes que podrían tener un impacto potencial en nuestros servicios o nuestros socios, hemos establecido sólidos canales de informes internos para investigar y remediar adecuadamente cualquier problema, que animamos a los empleados a utilizar para que podamos validar y probar adecuadamente sus preocupaciones.

Las preocupaciones sobre la IA generativa y el potencial de uso indebido están aumentando, incluso El creador de imágenes de Géminis hizo fotos de despertar recientemente, lo que hizo que Google dejara de producir imágenes humanas por un tiempo.

Esta es una historia en desarrollo y continuaremos brindando actualizaciones a medida que estén disponibles.

Más esta página.