Microsoft razkriva komplet orodij 'PyRIT' za pomoč pri zaščiti generativnih sistemov umetne inteligence
2 min. prebrati
Objavljeno dne
Dajte v skupno rabo ta članek
Izboljšajte ta vodnik
Preberite našo stran za razkritje, če želite izvedeti, kako lahko pomagate MSPoweruser vzdrževati uredniško skupino Preberi več
Ključne opombe
-
Programski velikan uvaja odprtokodno ogrodje, ki strokovnjakom za varnost omogoča proaktivno lociranje ranljivosti v modelih AI.
Microsoft danes razglasitve izdaja PyRIT (Python Risk Identification Toolkit), odprtokodnega ogrodja za avtomatizacijo, ki varnostnim ekipam omogoča prepoznavanje tveganj v generativnih sistemih umetne inteligence. Ta poteza poudarja Microsoftovo globoko zavezanost odgovornemu razvoju umetne inteligence in gradnji varnih orodij za hitro rastočo generativno krajino umetne inteligence.
AI Red Teaming Automation: nujnost
Red teaming, proces simulacije napadov za preizkušanje obrambe, je ključnega pomena za generativno umetno inteligenco. Vendar so ti sistemi za razliko od tradicionalne programske opreme zapleteni z več točkami napak. Microsoftove bogate izkušnje na področju rdečega povezovanja AI so privedle do oblikovanja PyRIT, ki obravnava edinstvene izzive, ki jih predstavlja generativni AI.
»Čeprav avtomatizacija ne more v celoti nadomestiti človeških rdečih ekip, je bistvenega pomena za povečanje obsega prizadevanj in poudarjanje področij, ki zahtevajo globlje preiskave,« je izjavil Microsoft.
PyRIT: ključne lastnosti in prednosti
- Prilagodljivost: Deluje z različnimi generativnimi modeli AI in ga je mogoče razširiti tako, da podpira nove vrste vnosa (npr. slike, video).
- Nabori podatkov, osredotočeni na tveganje: Omogoča testiranje varnostnih težav in morebitnih pristranskosti ali netočnosti.
- Prilagodljiv mehanizem točkovanja: Omogoča točkovanje rezultatov AI z uporabo strojnega učenja ali neposrednih LLM za samotestiranje.
- Strategije napadov z več obrati: Simulira bolj realistične, vztrajne napade za poglobljeno testiranje.
- Zmogljivost pomnilnika: Olajša analizo in omogoča daljše, bolj zapletene interakcije.
Vpliv na celotno industrijo
Izdaja PyRIT-a naj bi povzročila valove v varnostni industriji AI. Microsoft spodbuja organizacije v različnih sektorjih, da uporabljajo PyRIT v svojih generativnih varnostnih prizadevanjih z umetno inteligenco. Podjetje prav tako vabi k sodelovanju in poudarja, da je usklajeno prizadevanje ključnega pomena za izgradnjo močne obrambe pred nastajajočimi tveganji umetne inteligence.
Pomembno je omeniti, da PyRIT ni nadomestilo za ročno rdeče združevanje generativnih sistemov AI. Namesto tega dopolnjuje obstoječe domensko strokovno znanje AI red teamerja in zanje avtomatizira dolgočasna opravila.
Lahko začnete s projektom PyRIT tukaj.
