מיקרוסופט חושפת את ערכת הכלים 'PyRIT' כדי לסייע בהגנה על מערכות AI Generative

מיקרוסופט היום הודיע השחרור של PyRIT (Python Risk Identification Toolkit), מסגרת אוטומציה בקוד פתוח המאפשרת לצוותי אבטחה לזהות סיכונים בתוך מערכות בינה מלאכותית. המהלך מדגיש את המחויבות העמוקה של מיקרוסופט לפיתוח בינה מלאכותית אחראית ולבניית כלים מאובטחים לנוף הבינה המלאכותית המתרחבת במהירות.

AI Red Teaming Automation: הכרח

צוות אדום, תהליך הדמיית התקפות לבדיקת הגנות, הוא חיוני עבור AI גנרטיבי. עם זאת, מערכות אלו מורכבות, עם מספר נקודות כשל, בניגוד לתוכנות מסורתיות. הניסיון הרב של מיקרוסופט בשיתוף פעולה אדום בבינה מלאכותית הוביל ליצירת PyRIT, המתמודד עם האתגרים הייחודיים שמציבה הבינה המלאכותית הגנרטיבית.

"אמנם אוטומציה אינה יכולה להחליף באופן מלא את אנשי הצוות האדומים האנושיים, אך היא חיונית להגדלת המאמצים והדגשת אזורים הדורשים חקירה מעמיקה יותר", הצהירה מיקרוסופט.

PyRIT: תכונות ויתרונות מרכזיים

• יכולת הסתגלות: עובד עם דגמי AI גנרטיביים שונים וניתן להרחיב אותו לתמיכה בסוגי קלט חדשים (למשל, תמונות, וידאו).
• מערכי נתונים ממוקדי סיכון: מאפשר בדיקה הן לבעיות אבטחה והן להטיות או אי דיוקים פוטנציאליים.
• מנוע ניקוד גמיש: מאפשר ניקוד של פלטי AI באמצעות למידת מכונה או LLMs ישירים לבדיקה עצמית.
• אסטרטגיות התקפה מרובה פניות: מדמה התקפות מציאותיות ומתמשכות יותר לבדיקות מעמיקות.
• יכולת זיכרון: מקל על ניתוח ומאפשר אינטראקציות ארוכות ומורכבות יותר.

השפעה רחבה על התעשייה

השחרור של PyRIT אמור להכות גלים בתעשיית אבטחת הבינה המלאכותית. מיקרוסופט מעודדת ארגונים בין מגזרים להשתמש ב- PyRIT במאמצי אבטחת הבינה המלאכותית שלהם. החברה גם מזמינה שיתוף פעולה, תוך שימת דגש שמאמץ מרוכז הוא חיוני לבניית הגנות חזקות נגד סיכוני AI מתעוררים.

חשוב לציין ש-PyRIT אינו תחליף לשילוב אדום ידני של מערכות בינה מלאכותית. במקום זאת, היא מגדילה את המומחיות הקיימת של צוותי בינה מלאכותית בתחום התחום וממכנת את המשימות המייגעות עבורם. 

אתה יכול להתחיל עם פרויקט PyRIT כאן.