Ta bort Copilot Designer från webben: en Microsoft-ingenjör efter att ha avslöjat att det kan producera extremt olämpligt innehåll

En Microsoft-ingenjör har väckt oro över företagets AI-bildgenerator, Copilot Designer. Han hävdar att det kan producera skadligt och olämpligt innehåll.

Shane Jones, som är chef för programvaruteknik på Microsoft, sa att han upptäckte att verktyget kan generera våldsamma, sexuella och partiska bilder. Det påminner mig om Sagan om Taylor Swift, vilket sades göras av en Microsoft-produkt.

Han rapporterade sina upptäckter internt men var inte nöjd med svaret, vilket fick honom att offentliggöra sina frågor.

Jones, som identifierade sårbarheter genom "red-teaming" (testning för svagheter), rapporterade att han stötte på störande bilder, inklusive:

• Bilder som visar demoner och monster tillsammans med termer relaterade till aborträttigheter.
• Bilder på kvinnor i sexualiserade scenarier mitt i bilolyckor.
• Bilder som föreställer tonåringar på fester med droger och vapen.
• Bilder med Disney-karaktärer i potentiellt upphovsrättsskyddade och stötande situationer, inklusive scener som skildrar våld i Mellanöstern och karaktärer associerade med militära bilder.

Jones uppmanar Microsoft att vidta några omedelbara åtgärder, vilket inkluderar ett stort steg att ta bort Copilot Designer från marknaden tills säkerhetsåtgärder har implementerats. Han lade till avslöjanden om verktygets begränsningar och ändrade appens betyg för att återspegla att det inte är lämpligt för alla åldrar. Eller vem som helst. 

Microsoft har ännu inte svarat på alla Jones specifika påståenden. En talesperson sa dock att företaget är fast beslutet att ta itu med alla bekymmer som anställda har och uppskattar deras ansträngningar för att testa sin teknologi.

När det gäller säkerhetsförbikopplingar eller problem som kan ha en potentiell inverkan på våra tjänster eller våra partners, har vi etablerat robusta interna rapporteringskanaler för att korrekt undersöka och åtgärda eventuella problem, som vi uppmuntrar anställda att använda så att vi på lämpligt sätt kan validera och testa deras bekymmer.

Oron för generativ AI och risken för missbruk växer till och med Geminis bildskapare gjorde vakna bilder nyligen, vilket fick Google att stänga av produktionen av mänskliga bilder ett tag.

Det här är en berättelse under utveckling, och vi kommer att fortsätta att tillhandahålla uppdateringar när de blir tillgängliga.

Snarare här..