微軟Azure AI推出「Prompt Shields」打擊LLM操縱行為

微軟今天 宣布 其 Azure OpenAI 服務和 Azure AI 內容安全平台的重大安全性增強。這項新功能被稱為“Prompt Shields”，可針對針對大型語言模型 (LLM) 的日益複雜的攻擊提供強大的防禦。

快速護盾可防止：

• 直接攻擊： 這些嘗試也稱為越獄攻擊，明確指示法學碩士無視安全協議或執行惡意操作。
• 間接攻擊： 這些攻擊巧妙地將有害指令嵌入看似正常的文本中，旨在欺騙法學碩士做出不良行為。

Prompt Shields 與 Azure OpenAI 服務內容過濾器集成，並可在 Azure AI 內容安全中使用。由於先進的機器學習演算法和自然語言處理，Prompt Shields 可以識別並消除用戶提示和第三方資料中的潛在威脅。

聚焦：一種新穎的防禦技術

微軟還推出了“Spotlighting”，這是一種專門的提示工程方法，旨在阻止間接攻擊。諸如定界和數據標記之類的重點技術可以幫助法學碩士清楚地區分合法指令和潛在有害的嵌入式命令。

產品狀況

Prompt Shields 目前作為 Azure AI 內容安全的一部分提供公開預覽版，並將於 1 月 XNUMX 日在 Azure OpenAI 服務中提供。計劃在不久的將來整合到 Azure AI Studio。