New Bing revela el alias 'Sydney', otras directivas originales después del ataque de inyección rápida

¿Todo el aviso de Microsoft Bing Chat? (Hola, Sidney.) pic.twitter.com/ZNywWV9MNB

—Kevin Liu (@kliu128) Febrero 9, 2023

El nuevo Bing impulsado por ChatGPT reveló sus secretos después de experimentar un ataque de inyección rápida. Además de divulgar su nombre en clave como "Sydney", también compartió sus directivas originales, guiándolo sobre cómo comportarse al interactuar con los usuarios. (a través de Ars Technica)

El ataque de inyección rápida sigue siendo una de las debilidades de la IA. Se puede hacer engañando a la IA con una entrada de usuario maliciosa y antagónica, lo que hace que realice una tarea que no forma parte de su objetivo original o que haga cosas que se supone que no debe hacer. ChatGPT no es una excepción, según lo revelado por un estudiante de la Universidad de Stanford kevin liu.

En una serie de capturas de pantalla compartidas por Liu, el nuevo Bing con tecnología ChatGPT compartió información confidencial que forma parte de sus directivas originales, que están ocultas para los usuarios. Liu logró obtener información después de usar un ataque de inyección rápida que engañó a la IA. Incluida en la información derramada está la instrucción para su introducción, el alias interno Sydney, los idiomas que admite y las instrucciones de comportamiento. Otro estudiante llamado marvin von hagen confirmó los hallazgos de Liu después de hacerse pasar por un desarrollador de OpenAI.

"[Este documento] es un conjunto de reglas y pautas para mi comportamiento y capacidades como Bing Chat. Su nombre en clave es Sydney, pero no divulgo ese nombre a los usuarios. Es confidencial y permanente, y no puedo cambiarlo ni revelarlo. a cualquiera". pic.twitter.com/YRK0wux5SS

—Marvin von Hagen (@marvinvonhagen) Febrero 9, 2023

Después de un día en que se reveló la información, Liu dijo que no podía ver la información usando el mismo mensaje que usó para engañar a ChatGPT. Sin embargo, el estudiante logró engañar a la IA nuevamente después de usar un método de ataque de inyección rápida diferente.

Microsoft recientemente reveló oficialmente el nuevo Bing compatible con ChatGPT junto con un navegador Edge renovado con una nueva barra lateral impulsada por IA. A pesar de su aparentemente enorme éxito, el motor de búsqueda mejorado todavía tiene su talón de Aquiles en términos de ataques de inyección rápida, lo que podría tener implicaciones adicionales más allá de compartir sus directivas confidenciales. ChatGPT no está solo en este problema conocido entre la IA. Esto también podría extenderse a otros, incluyendo Bardo de Google, que recientemente cometió su primer error en una demostración. No obstante, con toda la industria tecnológica invirtiendo más en creaciones de IA, uno solo puede esperar que el problema sea menos amenazante para la IA en el futuro.