A Microsoft bemutatta a „PyRIT” eszközkészletet, amely segít megvédeni a generatív AI-rendszereket

A Microsoft ma bejelentés a PyRIT (Python Risk Identification Toolkit) kiadása, egy nyílt forráskódú automatizálási keretrendszer, amely felhatalmazza a biztonsági csapatokat a kockázatok azonosítására a generatív AI-rendszereken belül. A lépés megerősíti a Microsoft mély elkötelezettségét a felelős mesterségesintelligencia-fejlesztés és a biztonságos eszközök kiépítése iránt a gyorsan bővülő generatív AI-környezet számára.

AI Red Teaming Automation: szükségszerűség

A red teaming, a védekezés tesztelésére szolgáló támadások szimulációja kulcsfontosságú a generatív mesterséges intelligencia számára. Ezek a rendszerek azonban összetettek, több hibaponttal, ellentétben a hagyományos szoftverekkel. A Microsoft széleskörű tapasztalata az AI red teaming terén vezetett a PyRIT létrehozásához, amely megbirkózik a generatív AI által támasztott egyedi kihívásokkal.

"Bár az automatizálás nem tudja teljesen helyettesíteni az emberi vörös csapatokat, elengedhetetlen az erőfeszítések skálázásához és a mélyebb vizsgálatot igénylő területek kiemeléséhez" - mondta a Microsoft.

PyRIT: Főbb jellemzők és előnyök

• Alkalmazhatóság: Különféle generatív AI modellekkel működik, és új bemeneti típusok (pl. képek, videó) támogatására bővíthető.
• Kockázatközpontú adatkészletek: Lehetővé teszi a biztonsági problémák és a lehetséges torzítások vagy pontatlanságok tesztelését.
• Rugalmas pontozási motor: Lehetővé teszi az AI-kimenetek pontozását gépi tanulással vagy közvetlen LLM-ekkel öntesztelés céljából.
• Többfordulós támadási stratégiák: Valósághűbb, tartósabb támadásokat szimulál a mélyreható teszteléshez.
• Memória képesség: Megkönnyíti az elemzést, és hosszabb, összetettebb interakciókat tesz lehetővé.

Iparági hatás

A PyRIT kiadása hullámokat kelt az AI biztonsági iparában. A Microsoft arra ösztönzi a különböző ágazatokban működő szervezeteket, hogy használják fel a PyrIT-t generatív mesterségesintelligencia-biztonsági erőfeszítéseikben. A vállalat együttműködésre is hív, hangsúlyozva, hogy az összehangolt erőfeszítések kulcsfontosságúak az újonnan megjelenő mesterségesintelligencia-kockázatok elleni szilárd védelem kiépítéséhez.

Fontos megjegyezni, hogy a PyRIT nem helyettesíti a generatív AI-rendszerek manuális red teaming-jét. Ehelyett kibővíti az AI red teamer meglévő tartományi szakértelmét, és automatizálja számukra az unalmas feladatokat. 

Elkezdheti a PyRIT projektet itt.