GPT4는 DOOM을 플레이하고, 게임 내 적에 대해서는 잊어버리고, 총을 들고 폭발하기 시작합니다.

영국 요크 대학교 연구원인 Adrian de Wynter의 최근 연구 논문에서는 고전적인 4인칭 슈팅 게임 DOOM을 플레이할 때 GPTXNUMX의 기능을 탐구했습니다.

제목이 "GPT-4가 DOOM을 실행하나요?” GPT4가 사전 훈련 없이 게임을 플레이할 수 있는지 알아봅니다. 이를 테스트하기 위해 de Wynter는 이미지를 입력으로 받아들일 수 있는 GPT4의 다중 모드 변형인 GPT-4V를 사용하여 게임 엔진에서 스크린샷을 캡처하고 게임 상태에 대한 구조화된 설명을 반환하는 시스템을 설계했습니다. 

그런 다음 이 정보는 시각적 입력과 이전 기록을 기반으로 결정을 내리는 에이전트 모델에 공급되어 해당 응답을 게임 엔진이 이해할 수 있는 키 입력 명령으로 변환합니다. 

더 쉽게 말하면, 시스템은 게임의 스크린샷을 찍어 이를 사용하여 무슨 일이 일어나고 있는지 파악합니다. 그런 다음 에이전트 모델이라는 시스템의 다른 부분을 사용하여 게임에서 다음에 수행할 작업을 결정합니다. 에이전트 모델은 자신의 결정을 어떤 키를 눌러야 하는지와 같이 게임이 이해할 수 있는 명령으로 전환합니다.

이 시스템은 DOOM 플레이에 대한 가능성을 보여주었지만 몇 가지 한계도 드러냈습니다. 주요 이슈 중 하나는 

• GPT4의 개체 영속성 부족은 게임 내 적이 화면 밖으로 나갈 때 이를 잊어버린다는 것을 의미합니다. 
• 또한 GPT4는 자신의 행동에 대해 추론하고 명확한 설명을 제공하는 데 어려움을 겪었으며 종종 잘못된 정보를 제공했습니다.

이러한 한계에도 불구하고 de Wynter는 다음과 같은 사실이 놀랍다고 생각합니다. GPT4는 DOOM을 플레이할 수 있습니다 사전 교육 없이.