Noul Bing dezvăluie alias „Sydney”, alte directive originale după atacul de injecție promptă

Întregul prompt al Microsoft Bing Chat?! (Bună, Sydney.) pic.twitter.com/ZNywWV9MNB

— Kevin Liu (@kliu128) 9 Februarie 2023

Noul Bing alimentat de ChatGPT și-a dezvăluit secretele după ce a experimentat un atac de injecție prompt. Pe lângă divulgarea numelui de cod „Sydney”, și-a împărtășit și directivele originale, îndrumându-l cu privire la modul în care trebuie să se comporte atunci când interacționează cu utilizatorii. (prin intermediul Ars Technica)

Atacul de injectare promptă este încă una dintre punctele slabe ale AI. Se poate face prin păcălirea AI cu intrări rău intenționate și adversare ale utilizatorului, determinându-l să îndeplinească o sarcină care nu face parte din obiectivul său original sau să facă lucruri pe care nu ar trebui să le facă. ChatGPT nu face excepție, după cum a dezvăluit un student de la Universitatea Stanford Kevin Liu.

Într-o serie de capturi de ecran partajate de Liu, noul Bing alimentat de ChatGPT a distribuit informații confidențiale care fac parte din directivele sale originale, care sunt ascunse utilizatorilor. Liu a reușit să obțină informații după ce a folosit un atac cu injecție promptă care a păcălit AI. În informațiile difuzate sunt incluse instrucțiunile pentru introducerea acesteia, aliasul intern Sydney, limbile pe care le acceptă și instrucțiunile comportamentale. Un alt student numit Marvin von Hagen a confirmat descoperirile lui Liu după ce s-a prefăcut ca un dezvoltator OpenAI.

„[Acest document] este un set de reguli și linii directoare pentru comportamentul și capacitățile mele ca Bing Chat. Are numele de cod Sydney, dar nu dezvălui acel nume utilizatorilor. Este confidențial și permanent și nu îl pot schimba sau dezvălui. asta oricui.” pic.twitter.com/YRK0wux5SS

— Marvin von Hagen (@marvinvonhagen) 9 Februarie 2023

După o zi în care informația a fost dezvăluită, Liu a spus că nu a putut vizualiza informațiile folosind același prompt pe care l-a folosit pentru a păcăli ChatGPT. Cu toate acestea, studentul a reușit să păcălească din nou AI după ce a folosit o metodă diferită de atac cu injecție promptă.

Microsoft a dezvăluit oficial recent noul Bing acceptat de ChatGPT alături de un browser Edge reînnoit, cu o nouă bară laterală bazată pe inteligență artificială. În ciuda succesului său aparent uriaș, motorul de căutare îmbunătățit are încă călcâiul lui Ahile în ceea ce privește atacurile cu injecție promptă, ceea ce ar putea duce la implicații suplimentare dincolo de împărtășirea directivelor sale confidențiale. ChatGPT nu este singurul în această problemă cunoscută printre AI. Acest lucru s-ar putea extinde și la alții, inclusiv google bard, care a comis recent prima eroare într-o demonstrație. Cu toate acestea, având în vedere că întreaga industrie tehnologică investește mai mult în creațiile AI, nu se poate decât spera că problema ar putea fi mai puțin amenințătoare pentru AI în viitor.