Microsoft Azure AI razkriva 'Prompt Shields' za boj proti manipulaciji LLM
2 min. prebrati
Objavljeno dne
Dajte v skupno rabo ta članek
Izboljšajte ta vodnik
Preberite našo stran za razkritje, če želite izvedeti, kako lahko pomagate MSPoweruser vzdrževati uredniško skupino Preberi več
Microsoft danes razglasitve velika varnostna izboljšava za platformi Azure OpenAI Service in Azure AI Content Safety. Nova funkcija, imenovana »Prompt Shields«, ponuja robustno obrambo pred vedno bolj sofisticiranimi napadi, ki ciljajo na velike jezikovne modele (LLM).
Prompt Shields ščiti pred:
- Neposredni napadi: Ti poskusi, znani tudi kot napadi bega iz zapora, izrecno naročijo LLM, naj ne upošteva varnostnih protokolov ali izvede zlonamerna dejanja.
- Posredni napadi: Ti napadi subtilno vdelajo škodljiva navodila v navidezno običajno besedilo, s čimer želijo LLM zavesti v neželeno vedenje.
Prompt Shields je integriran s filtri vsebine Azure OpenAI Service in je na voljo v Azure AI Content Safety. Zahvaljujoč naprednim algoritmom strojnega učenja in obdelavi naravnega jezika lahko Prompt Shields prepozna in nevtralizira morebitne grožnje v uporabniških pozivih in podatkih tretjih oseb.
Osvetljevanje pozornosti: nova obrambna tehnika
Microsoft je predstavil tudi »Spotlighting«, specializiran pristop hitrega inženiringa, namenjen preprečevanju posrednih napadov. Tehnike osvetljevanja, kot sta razmejitev in označevanje podatkov, pomagajo LLM-jem jasno razlikovati med zakonitimi navodili in potencialno škodljivimi vdelanimi ukazi.
Na voljo
Prompt Shields je trenutno v javnem predogledu kot del Azure AI Content Safety in bo na voljo v okviru storitve Azure OpenAI 1. aprila. Integracija v Azure AI Studio je načrtovana v bližnji prihodnosti.
