Microsoft odhaľuje súpravu nástrojov „PyRIT“, ktorá pomáha chrániť generatívne systémy AI
2 min. čítať
Publikované dňa
Zdieľajte tento článok
Vylepšite túto príručku
Prečítajte si našu informačnú stránku a zistite, ako môžete pomôcť MSPoweruser udržať redakčný tím Čítaj viac
Kľúčové poznámky
-
Softvérový gigant predstavuje open-source rámec, ktorý umožňuje bezpečnostným profesionálom proaktívne lokalizovať slabé miesta v modeloch AI.
Microsoft dnes oznámila, vydanie PyRIT (Python Risk Identification Toolkit), open source automatizačného rámca, ktorý umožňuje bezpečnostným tímom identifikovať riziká v rámci generatívnych systémov AI. Tento krok podčiarkuje hlboký záväzok spoločnosti Microsoft k zodpovednému vývoju AI a budovaniu bezpečných nástrojov pre rýchlo sa rozširujúce generatívne prostredie AI.
Automatizácia AI Red Teaming: Nevyhnutnosť
Red teaming, proces simulácie útokov na testovanie obrany, je kľúčový pre generatívnu AI. Tieto systémy sú však na rozdiel od tradičného softvéru zložité, s viacerými bodmi zlyhania. Rozsiahle skúsenosti spoločnosti Microsoft v oblasti AI red teamingu viedli k vytvoreniu PyrRIT, ktorý rieši jedinečné výzvy, ktoré predstavuje generatívna AI.
„Zatiaľ čo automatizácia nemôže plne nahradiť ľudských červených tímov, je nevyhnutná pre škálovanie úsilia a zvýraznenie oblastí vyžadujúcich hlbšie skúmanie,“ uviedol Microsoft.
Pyrit: Kľúčové vlastnosti a výhody
- prispôsobivosť: Pracuje s rôznymi generatívnymi modelmi AI a možno ho rozšíriť o podporu nových typov vstupov (napr. obrázky, video).
- Množiny údajov zamerané na riziko: Umožňuje testovanie bezpečnostných problémov a potenciálnych skreslení alebo nepresností.
- Flexibilný systém hodnotenia: Umožňuje skórovanie výstupov AI pomocou strojového učenia alebo priamych LLM na samotestovanie.
- Stratégie viacotáčkového útoku: Simuluje realistickejšie, pretrvávajúce útoky na hĺbkové testovanie.
- Kapacita pamäte: Uľahčuje analýzu a umožňuje dlhšie a komplexnejšie interakcie.
Vplyv na celý priemysel
Vydanie spoločnosti PyrRIT je nastavené tak, aby spôsobilo vlny v odvetví bezpečnosti AI. Microsoft povzbudzuje organizácie naprieč sektormi, aby využívali PyrRIT vo svojom generatívnom úsilí o zabezpečenie AI. Spoločnosť tiež vyzýva na spoluprácu a zdôrazňuje, že spoločné úsilie je rozhodujúce pre vybudovanie silnej obrany proti vznikajúcim rizikám AI.
Je dôležité poznamenať, že PyrRIT nie je náhradou za manuálne červené tímové spojenie generatívnych systémov AI. Namiesto toho rozširuje existujúce odborné znalosti v oblasti AI červených tímov a automatizuje pre nich únavné úlohy.
Môžete začať s projektom PyrRIT tu.
