微软Azure AI推出“Prompt Shields”以打击LLM操纵行为

微软今天 公布 其 Azure OpenAI 服务和 Azure AI 内容安全平台的重大安全增强。这项新功能被称为“Prompt Shields”，可以针对针对大型语言模型 (LLM) 的日益复杂的攻击提供强大的防御。

快速护盾可防止：

• 直接攻击： 这些尝试也称为越狱攻击，明确指示法学硕士无视安全协议或执行恶意操作。
• 间接攻击： 这些攻击巧妙地将有害指令嵌入看似正常的文本中，旨在欺骗法学硕士做出不良行为。

Prompt Shields 与 Azure OpenAI 服务内容过滤器集成，并可在 Azure AI 内容安全中使用。得益于先进的机器学习算法和自然语言处理，Prompt Shields 可以识别并消除用户提示和第三方数据中的潜在威胁。

聚焦：一种新颖的防御技术

微软还推出了“Spotlighting”，这是一种专门的提示工程方法，旨在阻止间接攻击。定界和数据标记等重点技术可以帮助法学硕士清楚地区分合法指令和潜在有害的嵌入式命令。

订购

Prompt Shields 目前作为 Azure AI 内容安全的一部分提供公共预览版，并将于 1 月 XNUMX 日在 Azure OpenAI 服务中提供。计划在不久的将来集成到 Azure AI Studio。