Microsoft Azure AI、LLM操作に対抗する「Prompt Shields」を発表

今日のマイクロソフト 発表の Azure OpenAI Service および Azure AI Content Safety プラットフォームのセキュリティが大幅に強化されました。 「プロンプト シールド」と呼ばれるこの新機能は、大規模言語モデル (LLM) をターゲットとしたますます高度化する攻撃に対する強力な防御を提供します。

プロンプト シールズは以下から保護します。

• 直接攻撃: ジェイルブレイク攻撃としても知られるこれらの試みは、LLM に安全プロトコルを無視するか悪意のあるアクションを実行するよう明示的に指示します。
• 間接攻撃: これらの攻撃は、一見通常のテキストに有害な命令を巧妙に埋め込み、LLM を騙して望ましくない動作をさせることを目的としています。

Prompt Shields は Azure OpenAI Service コンテンツ フィルターと統合されており、Azure AI Content Safety で利用できます。高度な機械学習アルゴリズムと自然言語処理のおかげで、Prompt Shields はユーザー プロンプトやサードパーティ データ内の潜在的な脅威を特定し、無効化できます。

スポットライト: 新しい防御テクニック

Microsoft はまた、間接攻撃を阻止するために設計された特殊なプロンプト エンジニアリング アプローチである「スポットライト」も導入しました。区切りやデータマーキングなどのスポットライト技術は、LLM が正当な命令と潜在的に有害な埋め込みコマンドを明確に区別するのに役立ちます。

商品在庫

Prompt Shields は現在、Azure AI Content Safety の一部としてパブリック プレビュー段階にあり、1 月 XNUMX 日に Azure OpenAI サービス内で利用可能になる予定です。 Azure AI Studio への統合は近い将来に計画されています。