GPT4 玩《DOOM》，忘了遊戲中的敵人，高興地拿起槍開始爆破

英國約克大學研究員 Adrian de Wynter 最近發表的一篇研究論文探討了 GPT4 在玩經典第一人稱射擊遊戲《DOOM》中的能力。

這篇論文的標題是“GPT-4 會運行《DOOM》嗎？」 找出 GPT4 是否可以在沒有事先訓練的情況下玩遊戲。為了測試這一點，de Wynter 設計了一個系統，該系統使用 GPT-4V（GPT4 的多模式變體），可以接受圖像作為輸入，從遊戲引擎捕獲螢幕截圖並返回遊戲狀態的結構化描述。 

然後，這些資訊被輸入到代理模型中，該模型根據視覺輸入和先前的歷史記錄做出決策，將其回應轉換為遊戲引擎可以理解的擊鍵命令。 

簡而言之，系統會截取遊戲的螢幕截圖並使用它們來弄清楚發生了什麼。然後，它使用系統的另一部分（稱為代理模型）來決定遊戲中下一步要做什麼。代理模型將其決策轉化為遊戲可以理解的命令，例如按哪些鍵。

雖然該系統在玩《DOOM》時表現出了良好的前景，但它也暴露出一些限制。主要問題之一是 

• GPT4 缺乏物件持久性，這意味著當遊戲中的敵人離開螢幕時，它會忘記它們。 
• 此外，GPT4 很難對其行為進行推理並提供清晰的解釋，經常提供不正確的資訊。

儘管有這些限制，德溫特認為值得注意的是 GPT4可以玩DOOM 未經事先培訓。