Microsoft представляет набор инструментов PyRIT, который поможет защитить системы генеративного искусственного интеллекта

Microsoft сегодня объявило выпуск PyRIT (Python Risk Identification Toolkit), среды автоматизации с открытым исходным кодом, которая позволяет командам безопасности выявлять риски в генеративных системах искусственного интеллекта. Этот шаг подчеркивает глубокую приверженность Microsoft ответственной разработке ИИ и созданию безопасных инструментов для быстро расширяющейся среды генеративного ИИ.

Автоматизация AI Red Teaming: необходимость

«Красная команда» — процесс моделирования атак для проверки защиты — имеет решающее значение для генеративного ИИ. Однако эти системы сложны и имеют множество точек отказа, в отличие от традиционного программного обеспечения. Обширный опыт Microsoft в создании красной команды ИИ привел к созданию PyRIT, решающего уникальные проблемы, возникающие при использовании генеративного ИИ.

«Хотя автоматизация не может полностью заменить людей-красных команд, она необходима для масштабирования усилий и выявления областей, требующих более глубокого исследования», — заявила Microsoft.

PyRIT: ключевые особенности и преимущества

• Адаптивность: Работает с различными генеративными моделями искусственного интеллекта и может быть расширена для поддержки новых типов ввода (например, изображений, видео).
• Наборы данных, ориентированных на риск: Позволяет тестировать как проблемы безопасности, так и потенциальные предвзятости или неточности.
• Гибкая система подсчета очков: Позволяет оценивать результаты ИИ с использованием машинного обучения или прямых LLM для самотестирования.
• Стратегии многоходовой атаки: Имитирует более реалистичные и постоянные атаки для углубленного тестирования.
• Возможности памяти: Облегчает анализ и позволяет осуществлять более длительные и сложные взаимодействия.

Общеотраслевое воздействие

Релиз PyRIT должен произвести фурор в индустрии безопасности искусственного интеллекта. Microsoft призывает организации из разных секторов использовать PyRIT в своих усилиях по обеспечению безопасности генеративного ИИ. Компания также приглашает к сотрудничеству, подчеркивая, что согласованные усилия имеют решающее значение для создания надежной защиты от возникающих рисков ИИ.

Важно отметить, что PyRIT не является заменой ручного объединения генеративных систем искусственного интеллекта. Вместо этого он дополняет существующий опыт специалистов по искусственному интеллекту в предметной области и автоматизирует для них утомительные задачи. 

Вы можете начать работу с проектом PyRIT. здесь.