Корпорація Майкрософт представляє набір інструментів «PyRIT», щоб допомогти захистити системи Generative AI
2 хв. читати
Опубліковано
Поділитися цією статтею
Удосконалити цей посібник
Прочитайте нашу сторінку розкриття інформації, щоб дізнатися, як ви можете допомогти MSPoweruser підтримувати редакційну команду Читати далі
Основні нотатки
-
Програмний гігант представляє фреймворк з відкритим вихідним кодом, щоб спеціалісти з безпеки могли проактивно виявляти вразливості в моделях ШІ.
Microsoft сьогодні оголошений випуск PyRIT (Python Risk Identification Toolkit), фреймворку автоматизації з відкритим вихідним кодом, який дає змогу командам безпеки визначати ризики в генеративних системах ШІ. Цей крок підкреслює глибоку відданість Microsoft відповідальній розробці штучного інтелекту та створенню безпечних інструментів для швидко зростаючого генеративного штучного інтелекту.
AI Red Teaming Automation: Необхідність
Red teaming, процес імітації атак для перевірки захисту, має вирішальне значення для генеративного ШІ. Однак, на відміну від традиційного програмного забезпечення, ці системи є складними, з кількома точками відмови. Величезний досвід Microsoft у об’єднанні штучного інтелекту привів до створення PyRIT, що вирішує унікальні проблеми, пов’язані з генеративним штучним інтелектом.
«Хоча автоматизація не може повністю замінити людських командників, вона має важливе значення для масштабування зусиль і виділення областей, які потребують глибшого дослідження», — заявили в Microsoft.
PyRIT: основні функції та переваги
- Адаптивність: Працює з різними генеративними моделями ШІ та може бути розширено для підтримки нових типів введення (наприклад, зображень, відео).
- Набори даних, орієнтовані на ризик: Дозволяє тестувати як проблеми безпеки, так і потенційні упередження чи неточності.
- Гнучкий механізм оцінки: Дозволяє оцінювати результати ШІ за допомогою машинного навчання або прямих LLM для самотестування.
- Стратегії багатоходової атаки: Імітує більш реалістичні, постійні атаки для поглибленого тестування.
- Обсяг пам'яті: Полегшує аналіз і забезпечує більш тривалу, складнішу взаємодію.
Вплив на всю галузь
Реліз PyRIT має викликати хвилю в індустрії безпеки ШІ. Корпорація Майкрософт заохочує організації в різних секторах використовувати PyRIT у своїх зусиллях із створення безпеки ШІ. Компанія також запрошує до співпраці, підкреслюючи, що узгоджені зусилля є вирішальними для створення надійного захисту від нових ризиків ШІ.
Важливо зазначити, що PyRIT не є заміною ручного об’єднання генеративних систем штучного інтелекту. Натомість він доповнює наявний досвід команди зі штучного інтелекту та автоматизує для них виснажливі завдання.
Ви можете почати роботу з проектом PyRIT тут.
