Microsoft Azure AI dévoile « Prompt Shields » pour lutter contre la manipulation LLM

Microsoft aujourd'hui annoncé une amélioration majeure de la sécurité pour ses plateformes Azure OpenAI Service et Azure AI Content Safety. Baptisée « Prompt Shields », la nouvelle fonctionnalité offre une défense robuste contre les attaques de plus en plus sophistiquées ciblant les grands modèles de langage (LLM).

Prompt Shields protège contre :

• Attaques directes : Également connues sous le nom d'attaques de jailbreak, ces tentatives demandent explicitement au LLM de ne pas tenir compte des protocoles de sécurité ou d'effectuer des actions malveillantes.
• Attaques indirectes : Ces attaques intègrent subtilement des instructions nuisibles dans un texte apparemment normal, visant à inciter le LLM à adopter un comportement indésirable.

Prompt Shields est intégré aux filtres de contenu Azure OpenAI Service et est disponible dans Azure AI Content Safety. Grâce à des algorithmes avancés d'apprentissage automatique et au traitement du langage naturel, Prompt Shields peut identifier et neutraliser les menaces potentielles dans les invites des utilisateurs et les données tierces.

Spotlighting : une nouvelle technique de défense

Microsoft a également introduit « Spotlighting », une approche d'ingénierie rapide spécialisée conçue pour contrecarrer les attaques indirectes. Les techniques de mise en lumière, telles que la délimitation et le marquage des données, aident les LLM à distinguer clairement les instructions légitimes des commandes intégrées potentiellement dangereuses.

Disponibilité

Prompt Shields est actuellement en préversion publique dans le cadre d'Azure AI Content Safety et sera disponible dans le service Azure OpenAI le 1er avril. L'intégration dans Azure AI Studio est prévue dans un avenir proche.