Togliere Copilot Designer dal web: un Microsoft Engineer dopo averlo rivelato può produrre contenuti estremamente inappropriati

Un ingegnere Microsoft ha sollevato preoccupazioni riguardo al generatore di immagini AI dell'azienda, Copilot Designer. Afferma che può produrre contenuti dannosi e inappropriati.

Shane Jones, uno dei principali responsabili dell'ingegneria del software presso Microsoft, ha affermato di aver scoperto che lo strumento può generare immagini violente, sessuali e distorte. Mi ricorda il La saga di Taylor Swift, che si diceva fosse stato fatto da un prodotto Microsoft.

Ha riferito internamente le sue scoperte ma non è stato soddisfatto della risposta, cosa che lo ha spinto a rendere pubblici i suoi problemi.

Jones, che ha identificato le vulnerabilità attraverso il “red-teaming” (test dei punti deboli), ha riferito di aver riscontrato immagini inquietanti, tra cui:

• Immagini raffiguranti demoni e mostri insieme a termini relativi al diritto all'aborto.
• Immagini di donne in scenari sessualizzati in mezzo a incidenti automobilistici.
• Immagini che ritraggono adolescenti alle feste con droga e armi.
• Immagini che ritraggono personaggi Disney in situazioni potenzialmente protette da copyright e offensive, comprese scene raffiguranti violenza in Medio Oriente e personaggi associati a immagini militari.

Jones chiede a Microsoft di intraprendere un'azione immediata, che include un passo importante nella rimozione di Copilot Designer dal mercato fino all'implementazione delle misure di salvaguardia. Ha aggiunto informazioni sulle limitazioni dello strumento e ha modificato la valutazione dell'app per riflettere che non è adatta a tutte le età. O chiunque. 

Microsoft non ha ancora risposto a tutte le affermazioni specifiche di Jones. Tuttavia, un portavoce ha affermato che la società è impegnata ad affrontare qualsiasi preoccupazione dei dipendenti e apprezza i loro sforzi nel testare la sua tecnologia.

Quando si tratta di aggiramenti della sicurezza o preoccupazioni che potrebbero avere un potenziale impatto sui nostri servizi o sui nostri partner, abbiamo stabilito solidi canali di segnalazione interni per indagare e risolvere adeguatamente eventuali problemi, che incoraggiamo i dipendenti a utilizzare in modo da poter convalidare e testare adeguatamente i loro preoccupazioni.

Crescono anche le preoccupazioni sull’intelligenza artificiale generativa e sul potenziale di uso improprio Il creatore di immagini di Gemini ha recentemente realizzato delle foto di Wake, che ha costretto Google a smettere di produrre immagini umane per un po’.

Questa è una storia in via di sviluppo e continueremo a fornire aggiornamenti non appena saranno disponibili.

Più qui.