Retire o Copilot Designer da web: um engenheiro da Microsoft após revelá-lo pode produzir conteúdo extremamente inapropriado

Um engenheiro da Microsoft levantou preocupações sobre o gerador de imagens de IA da empresa, o Copilot Designer. Ele afirma que pode produzir conteúdo prejudicial e impróprio.

Shane Jones, principal gerente de engenharia de software da Microsoft, disse que descobriu que a ferramenta pode gerar imagens violentas, sexuais e tendenciosas. Isso me lembra o Saga Taylor Swift, o que foi dito ser feito por um produto da Microsoft.

Ele relatou suas descobertas internamente, mas não ficou satisfeito com a resposta, o que o fez tornar público seus problemas.

Jones, que identificou vulnerabilidades por meio de “red-teaming” (teste de fraquezas), relatou ter encontrado imagens perturbadoras, incluindo:

• Imagens representando demônios e monstros ao lado de termos relacionados ao direito ao aborto.
• Imagens de mulheres em cenários sexualizados em meio a acidentes de carro.
• Imagens de adolescentes em festas com drogas e armas.
• Imagens de personagens da Disney em situações potencialmente ofensivas e protegidas por direitos autorais, incluindo cenas de violência no Oriente Médio e personagens associados a imagens militares.

Jones está pedindo à Microsoft que tome algumas medidas imediatas, que incluem um passo importante para remover o Copilot Designer do mercado até que as salvaguardas sejam implementadas. Ele adicionou divulgações sobre as limitações da ferramenta e alterou a classificação do aplicativo para refletir que ela não é adequada para todas as idades. Ou qualquer um. 

A Microsoft ainda não respondeu a todas as reivindicações específicas de Jones. No entanto, um porta-voz disse que a empresa está empenhada em resolver quaisquer preocupações dos funcionários e agradece os seus esforços em testar a sua tecnologia.

Quando se trata de desvios de segurança ou preocupações que possam ter um impacto potencial em nossos serviços ou em nossos parceiros, estabelecemos canais internos robustos de denúncia para investigar e remediar adequadamente quaisquer problemas, que incentivamos os funcionários a utilizar para que possamos validar e testar adequadamente seus preocupações.

As preocupações com a IA generativa e o potencial de utilização indevida estão a crescer, mesmo O criador da imagem de Gêmeos fez fotos acordadas recentemente, o que fez o Google parar de produzir imagens humanas por um tempo.

Esta é uma história em desenvolvimento e continuaremos a fornecer atualizações assim que estiverem disponíveis.

Mais aqui.