Microsoft predstavlja 'PyRIT' skup alata za pomoć u zaštiti Generativnih AI sustava
2 min. čitati
Objavljeno na
Podijelite ovaj članak
Poboljšajte ovaj vodič
Pročitajte našu stranicu za otkrivanje kako biste saznali kako možete pomoći MSPoweruseru da održi urednički tim Čitaj više
Ključne napomene
-
Softverski div predstavlja okvir otvorenog koda kako bi stručnjacima za sigurnost omogućio proaktivno lociranje ranjivosti u modelima umjetne inteligencije.
Microsoft danas najavio izdanje PyRIT-a (Python Risk Identification Toolkit), okvira za automatizaciju otvorenog koda koji sigurnosnim timovima omogućuje prepoznavanje rizika unutar generativnih AI sustava. Ovaj potez naglašava Microsoftovu duboku predanost odgovornom razvoju umjetne inteligencije i izgradnji sigurnih alata za brzo rastuće generativno okruženje umjetne inteligencije.
AI Red Teaming Automatizacija: Neophodnost
Red teaming, proces simulacije napada za testiranje obrane, ključan je za generativnu umjetnu inteligenciju. Međutim, ti su sustavi složeni, s više točaka kvara, za razliku od tradicionalnog softvera. Microsoftovo veliko iskustvo u crvenom udruživanju AI dovelo je do stvaranja PyRIT-a, koji se bavi jedinstvenim izazovima koje postavlja generativna AI.
"Iako automatizacija ne može u potpunosti zamijeniti ljudske redovne timove, ključna je za skaliranje napora i isticanje područja koja zahtijevaju dublje istraživanje", naveo je Microsoft.
PyRIT: ključne značajke i prednosti
- Prilagodljivost: Radi s raznim generativnim AI modelima i može se proširiti za podršku novim vrstama unosa (npr. slike, video).
- Skupovi podataka usmjereni na rizik: Omogućuje testiranje i sigurnosnih problema i potencijalnih pristranosti ili netočnosti.
- Fleksibilni sustav bodovanja: Omogućuje bodovanje izlaza umjetne inteligencije pomoću strojnog učenja ili izravnih LLM-ova za samotestiranje.
- Strategije napada s više poteza: Simulira realističnije, upornije napade za dubinsko testiranje.
- Mogućnost memorije: Olakšava analizu i omogućuje dulje, složenije interakcije.
Utjecaj na cijelu industriju
Izdanje PyRIT-a trebalo bi izazvati valove u sigurnosnoj industriji umjetne inteligencije. Microsoft potiče organizacije u svim sektorima da koriste PyRIT u svojim naporima generativne AI sigurnosti. Tvrtka također poziva na suradnju, naglašavajući da je zajednički napor ključan za izgradnju čvrste obrane od novih rizika AI-ja.
Važno je napomenuti da PyRIT nije zamjena za ručno crveno timiranje generativnih AI sustava. Umjesto toga, povećava postojeću ekspertizu domene crvenog tima AI i automatizira zamorne zadatke za njih.
Možete započeti s projektom PyRIT ovdje.
