Sundejte Copilot Designer z webu: Microsoft Engineer po odhalení může produkovat extrémně nevhodný obsah

Inženýr společnosti Microsoft vyvolal obavy ohledně generátoru obrázků AI společnosti Copilot Designer. Tvrdí, že může produkovat škodlivý a nevhodný obsah.

Shane Jones, který je hlavním manažerem softwarového inženýrství ve společnosti Microsoft, řekl, že zjistil, že tento nástroj může generovat násilné, sexuální a neobjektivní obrázky. Připomíná mi to sága Taylor Swift, což bylo údajně provedeno produktem společnosti Microsoft.

O svých zjištěních informoval interně, ale nebyl spokojen s odpovědí, což ho přimělo zveřejnit své problémy.

Jones, který identifikoval zranitelnosti pomocí „red-teamingu“ (testování slabin), uvedl, že se setkal s rušivými obrázky, včetně:

• Obrázky zobrazující démony a monstra spolu s pojmy souvisejícími s právy na potrat.
• Obrázky žen v sexuálně motivovaných scénářích uprostřed automobilových nehod.
• Obrázky zobrazující teenagery na večírcích s drogami a zbraněmi.
• Obrázky zobrazující postavy Disney v potenciálně chráněných a urážlivých situacích, včetně scén zobrazujících násilí na Blízkém východě a postavy spojené s vojenskými snímky.

Jones vyzývá Microsoft, aby podnikl nějaké okamžité kroky, které zahrnují významný krok odstranění Copilot Designer z trhu, dokud nebudou implementována ochranná opatření. Přidal informace o omezeních nástroje a změnil hodnocení aplikace tak, aby odráželo, že není vhodná pro všechny věkové kategorie. Nebo kdokoli. 

Microsoft zatím nereagoval na všechna Jonesova konkrétní tvrzení. Mluvčí však řekl, že společnost je odhodlána řešit jakékoli obavy zaměstnanců a oceňuje jejich úsilí při testování její technologie.

Pokud jde o bezpečnostní vynechání nebo obavy, které by mohly mít potenciální dopad na naše služby nebo naše partnery, zavedli jsme robustní interní kanály pro podávání zpráv, abychom řádně prošetřili a napravili jakékoli problémy, které vyzýváme zaměstnance, aby je využívali, abychom mohli náležitě ověřit a otestovat jejich obavy.

Obavy z generativní umělé inteligence a možnosti zneužití dokonce rostou Tvůrce obrázků Gemini nedávno pořídil obrázky probuzení, což přimělo Google na chvíli vypnout výrobu lidských obrázků.

Toto je vývojový příběh a budeme i nadále poskytovat aktualizace, jakmile budou k dispozici.

Více zde.