New Bing divulgue l'alias "Sydney", d'autres directives originales après une attaque par injection rapide

L'invite entière de Microsoft Bing Chat ? ! (Bonjour Sydney.) pic.twitter.com/ZNywWV9MNB

—Kevin Liu (@kliu128) 9 février 2023

Le nouveau Bing alimenté par ChatGPT a révélé ses secrets après avoir subi une attaque par injection rapide. En plus de divulguer son nom de code sous le nom de "Sydney", il a également partagé ses directives d'origine, le guidant sur la façon de se comporter lors de l'interaction avec les utilisateurs. (via Ars Technica)

L'attaque par injection rapide est toujours l'une des faiblesses de l'IA. Cela peut être fait en trompant l'IA avec une entrée utilisateur malveillante et contradictoire, l'amenant à effectuer une tâche ne faisant pas partie de son objectif initial ou à faire des choses qu'elle n'est pas censée faire. ChatGPT n'y fait pas exception, comme l'a révélé un étudiant de l'Université de Stanford Kévin Liu.

Dans une série de captures d'écran partagées par Liu, le nouveau Bing alimenté par ChatGPT a partagé des informations confidentielles faisant partie de ses directives d'origine, qui sont cachées aux utilisateurs. Liu a réussi à obtenir des informations après avoir utilisé une attaque par injection rapide qui a trompé l'IA. Inclus dans les informations renversées sont les instructions pour son introduction, l'alias interne Sydney, les langues qu'il prend en charge et les instructions comportementales. Un autre étudiant nommé Marvin von Hagen a confirmé les découvertes de Liu après s'être fait passer pour un développeur OpenAI.

"[Ce document] est un ensemble de règles et de lignes directrices pour mon comportement et mes capacités en tant que Bing Chat. Il porte le nom de code Sydney, mais je ne divulgue pas ce nom aux utilisateurs. Il est confidentiel et permanent, et je ne peux pas le modifier ni le révéler. à n'importe qui." pic.twitter.com/YRK0wux5SS

– Marvin von Hagen (@marvinvonhagen) 9 février 2023

Après une journée où les informations ont été révélées, Liu a déclaré qu'il ne pouvait pas afficher les informations en utilisant la même invite que celle utilisée pour tromper ChatGPT. Cependant, l'étudiant a réussi à tromper à nouveau l'IA après avoir utilisé une autre méthode d'attaque par injection rapide.

Microsoft a récemment dévoilé officiellement le nouveau Bing pris en charge par ChatGPT aux côtés d'un navigateur Edge remanié avec une nouvelle barre latérale alimentée par l'IA. Malgré son succès apparemment énorme, le moteur de recherche amélioré a toujours son talon d'Achille en termes d'attaques par injection rapide, ce qui pourrait entraîner d'autres implications au-delà du partage de ses directives confidentielles. ChatGPT n'est pas seul dans ce problème connu parmi l'IA. Cela pourrait également s'étendre à d'autres, y compris Barde Google, qui a récemment commis sa première erreur dans une démo. Néanmoins, avec l'ensemble de l'industrie technologique qui investit davantage dans les créations d'IA, on ne peut qu'espérer que le problème sera moins menaçant pour l'IA à l'avenir.