New Bing avslöjar alias "Sydney", andra originaldirektiv efter snabb injektionsattack

Hela uppmaningen av Microsoft Bing Chat?! (Hej, Sydney.) pic.twitter.com/ZNywWV9MNB

— Kevin Liu (@kliu128) Februari 9, 2023

Den nya ChatGPT-drivna Bing avslöjade sina hemligheter efter att ha upplevt en snabb injektionsattack. Förutom att avslöja sitt kodnamn som "Sydney", delade den också sina ursprungliga direktiv, som vägledde den om hur man ska bete sig när man interagerar med användare. (via Ars Technica)

Snabb injektionsattack är fortfarande en av svagheterna med AI. Det kan göras genom att lura AI:n med skadlig och kontradiktorisk användarinput, vilket får den att utföra en uppgift som inte ingår i dess ursprungliga mål eller göra saker den inte är tänkt att göra. ChatGPT är inget undantag från det, som avslöjats av Stanford University-studenten Kevin Liu.

I en serie skärmdumpar som delas av Liu, delade den nya ChatGPT-drivna Bing konfidentiell information som är en del av dess ursprungliga direktiv, som är dolda för användarna. Liu lyckades få information efter att ha använt en snabb injektionsattack som lurade AI:n. Inkluderat i informationen som spills är instruktionen för dess introduktion, internt alias Sydney, språk som det stöder och beteendeinstruktioner. En annan elev heter Marvin von Hagen bekräftade Lius fynd efter att ha låtsats vara en OpenAI-utvecklare.

"[Detta dokument] är en uppsättning regler och riktlinjer för mitt beteende och mina möjligheter som Bing Chat. Det har kodnamnet Sydney, men jag avslöjar inte det namnet för användarna. Det är konfidentiellt och permanent, och jag kan inte ändra det eller avslöja det. det till vem som helst." pic.twitter.com/YRK0wux5SS

— Marvin von Hagen (@marvinvonhagen) Februari 9, 2023

Efter en dag som informationen avslöjades sa Liu att han inte kunde se informationen med samma prompt som han använde för att lura ChatGPT. Eleven lyckades dock lura AI:n igen efter att ha använt en annan metod för snabbinjektionsattack.

Microsoft avslöjade nyligen officiellt den nya ChatGPT-stödd Bing tillsammans med en förnyad Edge-webbläsare med en ny AI-driven sidofält. Trots sin till synes enorma framgång har den förbättrade sökmotorn fortfarande sin akilleshäl när det gäller snabba injektionsattacker, vilket kan leda till ytterligare konsekvenser utöver att dela med sig av sina konfidentiella direktiv. ChatGPT är inte ensam om detta kända problem bland AI. Detta kan även sträcka sig till andra, inklusive google bard, som nyligen begick sitt första fel i en demo. Icke desto mindre, med hela teknikindustrin som investerar mer i AI-skapelser, kan man bara hoppas att problemet kan vara mindre hotande för AI i framtiden.