Microsoft Azure AI revela 'Prompt Shields' para combater a manipulação de LLM
2 minutos. ler
Publicado em
Compartilhe este artigo
Melhore este guia
Leia nossa página de divulgação para descobrir como você pode ajudar o MSPoweruser a sustentar a equipe editorial Saiba mais
Microsoft hoje anunciou um grande aprimoramento de segurança para suas plataformas Azure OpenAI Service e Azure AI Content Safety. Apelidado de “Prompt Shields”, o novo recurso oferece defesa robusta contra ataques cada vez mais sofisticados direcionados a grandes modelos de linguagem (LLMs).
Prompt Shields protege contra:
- Ataques Diretos: Também conhecidas como ataques de jailbreak, essas tentativas instruem explicitamente o LLM a desconsiderar os protocolos de segurança ou realizar ações maliciosas.
- Ataques indiretos: Esses ataques incorporam sutilmente instruções prejudiciais em textos aparentemente normais, com o objetivo de induzir o LLM a um comportamento indesejável.
O Prompt Shields está integrado aos filtros de conteúdo do Azure OpenAI Service e está disponível no Azure AI Content Safety. Graças a algoritmos avançados de aprendizado de máquina e processamento de linguagem natural, o Prompt Shields pode identificar e neutralizar ameaças potenciais em prompts de usuários e dados de terceiros.
Destaque: uma nova técnica de defesa
A Microsoft também introduziu o “Spotlighting”, uma abordagem especializada de engenharia imediata projetada para impedir ataques indiretos. Técnicas de destaque, como delimitação e marcação de dados, ajudam os LLMs a distinguir claramente entre instruções legítimas e comandos incorporados potencialmente prejudiciais.
Disponibilidade
O Prompt Shields está atualmente em versão prévia pública como parte do Azure AI Content Safety e estará disponível no serviço Azure OpenAI em 1º de abril. A integração no Azure AI Studio está planejada para um futuro próximo.
