Meta spouští Purple Llama; otevřené nástroje důvěry a bezpečnosti pro zodpovědné nasazení AI

Meta AI oznámila spuštění Purple Llama, iniciativy na podporu odpovědného vývoje a používání generativních modelů umělé inteligence. Tento projekt řeší rostoucí popularitu modelů umělé inteligence s otevřeným zdrojovým kódem s více než 100 miliony stažení Lama samotné modely.

Purple Llama se inspiruje konceptem kybernetické bezpečnosti „purple teaming“, který kombinuje útočné a obranné přístupy ke zmírnění rizik. Nabízí nástroje a hodnocení pro dvě klíčové oblasti: kybernetická bezpečnost a zabezpečení vstupu/výstupu.

Když je řeč o LLM kybernetická bezpečnost riziko, je důležité mít způsob, jak kvantifikovat riziko, že se někdo nabourá do modelu AI. Metriky s tím mohou pomoci poskytnutím skóre, které ukazuje pravděpodobnost úspěšného hacku. Kromě toho mohou vývojáři používat nástroje k vyhodnocení frekvence návrhů nezabezpečeného kódu. To může pomoci identifikovat a opravit problémy v modelech AI, které by hackeři mohli zneužít.

K dispozici jsou nástroje na ochranu před škodlivým používáním modelů umělé inteligence. Tyto nástroje mohou pomoci zabránit hackerům v krádeži nebo používání dat k šíření falešných zpráv. Organizace mohou tyto nástroje implementovat, aby ochránily své modely umělé inteligence a zabránily jejich použití k nekalým účelům.

Zadruhé, co jsou zabezpečení vstupu/výstupu?

Zabezpečení vstupu/výstupu (I/O) jsou bezpečnostní opatření implementovaná k ochraně dat před neoprávněným přístupem, manipulací nebo prozrazením v místě vstupu a výstupu ze systému.

Purple Llama momentálně pracuje na pár věcech. Jedním z nich je Llama Guard, což je open-source nástroj, jehož cílem je pomoci vývojářům identifikovat škodlivý obsah a vyhnout se mu. Kromě toho vytvořili pokyny pro filtrování obsahu, které mohou vývojáři dodržovat, aby zajistili, že jejich modely AI nebudou generovat škodlivý obsah.

Meta má odhalil že se zavázali k otevřenému ekosystému pro vývoj AI, což znamená, že chtějí každému usnadnit vývoj a používání modelů AI. Na tomto projektu spolupracují s několika partnery, včetně AI Alliance, AMD, Google Cloud, Hugging Face (nedávno vystavené tokeny Meta AI), IBM, Microsoft a NVIDIA.