Microsoft Azure AI presenta 'Prompt Shields' para combatir la manipulación de LLM

Microsoft hoy anunció una importante mejora de seguridad para sus plataformas Azure OpenAI Service y Azure AI Content Safety. La nueva característica, denominada "Prompt Shields", ofrece una defensa sólida contra ataques cada vez más sofisticados dirigidos a modelos de lenguaje grandes (LLM).

Prompt Shields protege contra:

• Ataques directos: También conocidos como ataques de jailbreak, estos intentos instruyen explícitamente al LLM a ignorar los protocolos de seguridad o realizar acciones maliciosas.
• Ataques indirectos: Estos ataques incorporan sutilmente instrucciones dañinas dentro de texto aparentemente normal, con el objetivo de engañar al LLM para que adopte un comportamiento indeseable.

Prompt Shields está integrado con los filtros de contenido del servicio Azure OpenAI y está disponible en Azure AI Content Safety. Gracias a los algoritmos avanzados de aprendizaje automático y al procesamiento del lenguaje natural, Prompt Shields puede identificar y neutralizar amenazas potenciales en las indicaciones de los usuarios y en los datos de terceros.

Destacando: una nueva técnica de defensa

Microsoft también presentó "Spotlighting", un enfoque de ingeniería rápida especializado diseñado para frustrar ataques indirectos. Las técnicas de resaltado, como la delimitación y el marcado de datos, ayudan a los LLM a distinguir claramente entre instrucciones legítimas y comandos integrados potencialmente dañinos.

Disponibilidad

Prompt Shields se encuentra actualmente en versión preliminar pública como parte de Azure AI Content Safety y estará disponible en el servicio Azure OpenAI el 1 de abril. La integración en Azure AI Studio está prevista en un futuro próximo.