Microsoft、生成 AI システムの保護に役立つ「PyRIT」ツールキットを発表

今日のマイクロソフト 発表の PyRIT (Python Risk Identification Toolkit) のリリース。これは、セキュリティ チームが生成 AI システム内のリスクを特定できるようにするオープンソースの自動化フレームワークです。この動きは、責任ある AI 開発と、急速に拡大する生成 AI 環境のための安全なツールの構築に対する Microsoft の深い取り組みを強調しています。

AI レッド チーミングの自動化: 必需品

レッド チーミングは、防御をテストするために攻撃をシミュレートするプロセスであり、生成 AI にとって重要です。ただし、これらのシステムは複雑であり、従来のソフトウェアとは異なり、複数の障害点があります。 Microsoft の AI レッド チームにおける豊富な経験が PyRIT の創設につながり、生成 AI によってもたらされる特有の課題に対処しました。

「自動化は人間のレッドチーム担当者を完全に置き換えることはできませんが、取り組みを拡大し、より深い調査が必要な領域を浮き彫りにするためには不可欠です」とマイクロソフトは述べています。

PyRIT: 主な機能と利点

• 適応性： さまざまな生成 AI モデルで動作し、新しい入力タイプ (画像、ビデオなど) をサポートするように拡張できます。
• リスクに焦点を当てたデータセット: セキュリティの問題と潜在的なバイアスや不正確さの両方をテストできます。
• 柔軟なスコアリング エンジン: 機械学習または自己テスト用の直接 LLM を使用して AI 出力のスコアリングを可能にします。
• マルチターン攻撃戦略: より現実的で持続的な攻撃をシミュレートして詳細なテストを行います。
• メモリ能力: 分析が容易になり、より長く複雑な対話が可能になります。

業界全体への影響

PyRIT のリリースは、AI セキュリティ業界に波紋を起こすことになるでしょう。 Microsoft は、さまざまな分野の組織が生成 AI セキュリティの取り組みに PyRIT を活用することを奨励しています。同社はまた、新たな AI リスクに対する堅牢な防御を構築するには、協調した取り組みが重要であることを強調し、コラボレーションを呼びかけています。

PyRIT は、生成 AI システムの手動レッド チーム化に代わるものではないことに注意することが重要です。代わりに、AI レッド チーマーの既存の分野の専門知識を強化し、面倒なタスクを自動化します。 

PyRIT プロジェクトを始めることができます こちら.