Microsoft představuje sadu nástrojů „PyRIT“, která pomáhá chránit systémy generativní umělé inteligence
2 min. číst
Publikované dne
Sdílejte tento článek
Vylepšete tuto příručku
Přečtěte si naši informační stránku a zjistěte, jak můžete pomoci MSPoweruser udržet redakční tým Dozvědět se více
Klíčové poznámky
-
Softwarový gigant představuje open-source framework, který umožňuje bezpečnostním profesionálům proaktivně lokalizovat zranitelná místa v modelech AI.
Microsoft dnes oznámila, vydání PyRIT (Python Risk Identification Toolkit), otevřeného automatizačního rámce, který bezpečnostním týmům umožňuje identifikovat rizika v rámci generativních systémů umělé inteligence. Tento krok podtrhuje hluboký závazek společnosti Microsoft k zodpovědnému vývoji AI a vytváření bezpečných nástrojů pro rychle se rozvíjející generativní prostředí AI.
AI Red Teaming Automation: Nezbytnost
Red teaming, proces simulace útoků za účelem testování obrany, je pro generativní AI zásadní. Tyto systémy jsou však složité, na rozdíl od tradičního softwaru s více místy selhání. Rozsáhlé zkušenosti společnosti Microsoft v oblasti AI red teaming vedly k vytvoření PyrRIT, který řeší jedinečné výzvy, které přináší generativní AI.
„Ačkoli automatizace nemůže plně nahradit lidské červené týmy, je nezbytná pro škálování úsilí a zvýraznění oblastí vyžadujících hlubší zkoumání,“ uvedl Microsoft.
Pyrit: Klíčové vlastnosti a výhody
- Přizpůsobivost: Pracuje s různými generativními modely AI a lze jej rozšířit o podporu nových typů vstupů (např. obrázky, video).
- Datové sady zaměřené na riziko: Umožňuje testování jak bezpečnostních problémů, tak potenciálních zkreslení nebo nepřesností.
- Flexibilní skórovací engine: Umožňuje skórování výstupů AI pomocí strojového učení nebo přímých LLM pro vlastní testování.
- Víceotáčkové útočné strategie: Simuluje realističtější, trvalé útoky pro hloubkové testování.
- Kapacita paměti: Usnadňuje analýzu a umožňuje delší a složitější interakce.
Dopad na celé odvětví
Vydání společnosti PyrRIT je nastaveno tak, aby vyvolalo vlny v odvětví zabezpečení AI. Microsoft povzbuzuje organizace napříč sektory, aby využívaly PyrRIT ve svém generativním úsilí o zabezpečení AI. Společnost také vyzývá ke spolupráci a zdůrazňuje, že společné úsilí je klíčové pro vybudování robustní obrany proti vznikajícím rizikům AI.
Je důležité poznamenat, že PyrRIT není náhradou za manuální červené týmové spojení generativních systémů AI. Místo toho rozšiřuje stávající odborné znalosti v oblasti AI červeného týmu a automatizuje pro ně únavné úkoly.
Můžete začít s projektem PyrRIT zde.
