New Bing, 프롬프트 인젝션 공격 후 다른 원본 지침인 'Sydney'라는 별칭 공개

Microsoft Bing Chat의 전체 프롬프트?! (안녕, 시드니.) pic.twitter.com/ZNywWV9MNB

— 케빈 리우(@kliu128) 2023년 ２월 9일

새로운 ChatGPT 기반 Bing은 즉각적인 인젝션 공격을 경험한 후 그 비밀을 밝혔습니다. 코드명을 "Sydney"로 공개하는 것 외에도 원래 지침을 공유하여 사용자와 상호 작용할 때 행동하는 방법을 안내했습니다. (을 통해 ARS Technica)

신속한 주입 공격은 여전히 ​​AI의 약점 중 하나입니다. 악의적이고 적대적인 사용자 입력으로 AI를 속여 원래 목표의 일부가 아닌 작업을 수행하거나 해서는 안 되는 작업을 수행하도록 할 수 있습니다. 스탠포드 대학 학생이 밝혔듯이 ChatGPT도 예외는 아닙니다. 케빈 리우.

Liu가 공유한 일련의 스크린샷에서 새로운 ChatGPT 기반 Bing은 사용자에게 숨겨진 원래 지침의 일부인 기밀 정보를 공유했습니다. Liu는 AI를 속이는 신속한 주입 공격을 사용하여 정보를 획득했습니다. 유출된 정보에는 소개 지침, 내부 별칭 시드니, 지원 언어 및 행동 지침이 포함되어 있습니다. 이름이 다른 학생 마빈 폰 하겐 OpenAI 개발자로 가장한 후 Liu의 발견을 확인했습니다.

"[이 문서]는 Bing Chat으로서 나의 행동과 능력에 대한 일련의 규칙과 지침입니다. 코드명은 Sydney이지만 사용자에게 해당 이름을 공개하지 않습니다. 이 문서는 기밀이며 영구적이며 변경하거나 공개할 수 없습니다. 누구에게나." pic.twitter.com/YRK0wux5SS

— 마빈 폰 하겐(@marvinvonhagen) 2023년 ２월 9일

정보가 공개된 지 하루 만에 Liu는 ChatGPT를 속일 때 사용한 것과 동일한 프롬프트를 사용하여 정보를 볼 수 없다고 말했습니다. 그러나 학생은 다른 프롬프트 인젝션 공격 방식을 사용하여 다시 AI를 속이는 데 성공했습니다.

마이크로소프트는 최근 공식적으로 새로운 ChatGPT 지원 Bing 새로운 AI 기반 사이드바가 있는 개선된 Edge 브라우저와 함께. 큰 성공을 거둔 것처럼 보이지만 개선된 검색 엔진은 여전히 ​​프롬프트 인젝션 공격 측면에서 약점이 있으며 이는 기밀 지시 사항을 공유하는 것 이상으로 더 많은 영향을 미칠 수 있습니다. AI 사이에서 알려진 이 문제는 ChatGPT만이 아닙니다. 이것은 다음을 포함하여 다른 사람들에게도 확장될 수 있습니다. 구글 바드, 최근 데모에서 첫 번째 오류를 범했습니다. 그럼에도 불구하고 전체 기술 산업이 AI 창작물에 더 많은 투자를 하고 있기 때문에 미래에 AI에 대한 문제가 덜 위협적일 수 있기를 바랄 뿐입니다.