GPT4 joga DOOM, esquece os inimigos do jogo e fica feliz em pegar uma arma e começar a atirar

Um artigo de pesquisa recente de Adrian de Wynter, pesquisador da Universidade de York, na Inglaterra, explorou as capacidades do GPT4 para jogar o clássico jogo de tiro em primeira pessoa DOOM.

O artigo, intitulado “O GPT-4 executará o DOOM?”descobre se o GPT4 pode jogar sem treinamento prévio. Para testar isso, de Wynter projetou um sistema que usa GPT-4V, uma variante multimodal do GPT4 que pode aceitar imagens como entrada, para capturar capturas de tela do mecanismo de jogo e retornar descrições estruturadas do estado do jogo. 

Essas informações são então inseridas em um modelo de Agente que toma decisões com base na entrada visual e no histórico anterior, traduzindo suas respostas em comandos de teclas que o mecanismo de jogo pode entender. 

Em palavras mais fáceis, o sistema tira capturas de tela do jogo e as utiliza para descobrir o que está acontecendo. Depois, utiliza outra parte do sistema, chamada modelo de Agente, para tomar decisões sobre o que fazer a seguir no jogo. O modelo Agente transforma suas decisões em comandos que o jogo pode entender, como quais teclas pressionar.

Embora o sistema tenha se mostrado promissor no jogo DOOM, também revelou algumas limitações. Uma das principais questões foi 

• A falta de permanência de objetos do GPT4 significa que ele se esquece dos inimigos no jogo quando eles saem da tela. 
• Além disso, o GPT4 teve dificuldade em raciocinar e fornecer explicações claras para as suas ações, muitas vezes fornecendo informações incorretas.

Apesar destas limitações, de Wynter considera notável que GPT4 é capaz de jogar DOOM sem treinamento prévio.