مایکروسافت از جعبه ابزار PyRIT برای کمک به حفاظت از سیستم‌های هوش مصنوعی مولد رونمایی می‌کند

امروز مایکروسافت اعلام کرد انتشار PyRIT (ابزار شناسایی ریسک پایتون)، یک چارچوب اتوماسیون منبع باز که به تیم های امنیتی برای شناسایی خطرات در سیستم های هوش مصنوعی مولد قدرت می دهد. این حرکت بر تعهد عمیق مایکروسافت به توسعه هوش مصنوعی مسئول و ساخت ابزارهای ایمن برای چشم انداز هوش مصنوعی مولد به سرعت در حال گسترش است.

AI Red Teaming Automation: A Necessity

تیم قرمز، فرآیند شبیه سازی حملات برای آزمایش دفاع، برای هوش مصنوعی مولد بسیار مهم است. با این حال، این سیستم‌ها بر خلاف نرم‌افزارهای سنتی پیچیده هستند و دارای نقاط خرابی متعدد هستند. تجربه گسترده مایکروسافت در تیم‌سازی AI قرمز منجر به ایجاد PyRIT شد که به چالش‌های منحصربه‌فرد ناشی از هوش مصنوعی مولد پرداخت.

مایکروسافت اظهار داشت: «در حالی که اتوماسیون نمی‌تواند به طور کامل جایگزین تیم‌های قرمز انسانی شود، اما برای افزایش تلاش‌ها و برجسته کردن مناطقی که نیاز به بررسی عمیق‌تر دارند، ضروری است.»

PyRIT: ویژگی ها و مزایای کلیدی

• سازگاری: با مدل‌های مختلف هوش مصنوعی مولد کار می‌کند و می‌تواند برای پشتیبانی از انواع ورودی‌های جدید (مانند تصاویر، ویدیو) گسترش یابد.
• مجموعه داده های ریسک محور: تست را هم برای مسائل امنیتی و هم سوگیری ها یا نادرستی های احتمالی را فعال می کند.
• موتور امتیاز دهی انعطاف پذیر: امکان امتیاز دهی به خروجی های هوش مصنوعی با استفاده از یادگیری ماشین یا LLM های مستقیم برای خودآزمایی.
• استراتژی های حمله چند دور: حملات واقعی تر و مداوم را برای آزمایش های عمیق شبیه سازی می کند.
• قابلیت حافظه: تجزیه و تحلیل را تسهیل می کند و امکان تعامل طولانی تر و پیچیده تر را فراهم می کند.

تأثیر صنعت

انتشار PyRIT قرار است موجی در صنعت امنیت هوش مصنوعی ایجاد کند. مایکروسافت سازمان‌ها را در بخش‌های مختلف تشویق می‌کند تا از PyRIT در تلاش‌های امنیتی مولد هوش مصنوعی خود استفاده کنند. این شرکت همچنین دعوت به همکاری می‌کند و تاکید می‌کند که تلاش هماهنگ برای ایجاد دفاعی قوی در برابر خطرات هوش مصنوعی در حال ظهور بسیار مهم است.

توجه به این نکته مهم است که PyRIT جایگزینی برای تیم‌بندی قرمز دستی سیستم‌های هوش مصنوعی مولد نیست. درعوض، تخصص موجود در حوزه یک تیم قرمز هوش مصنوعی را افزایش می دهد و کارهای خسته کننده را برای آنها خودکار می کند. 

می توانید با پروژه PyRIT شروع کنید اینجا کلیک نمایید.