GPT4 joue à DOOM, oublie les ennemis du jeu et est heureux de prendre une arme et de commencer à exploser

Un récent article de recherche d'Adrian de Wynter, chercheur à l'Université de York en Angleterre, a exploré les capacités de GPT4 pour jouer au jeu de tir classique à la première personne DOOM.

Le papier, intitulé "GPT-4 exécutera-t-il DOOM ?» découvre si GPT4 peut jouer au jeu sans formation préalable. Pour tester cela, de Wynter a conçu un système qui utilise GPT-4V, une variante multimodale de GPT4 qui peut accepter des images en entrée, pour capturer des captures d'écran du moteur de jeu et renvoyer des descriptions structurées de l'état du jeu. 

Ces informations sont ensuite introduites dans un modèle d'agent qui prend des décisions basées sur l'entrée visuelle et l'historique antérieur, traduisant ses réponses en commandes de frappe que le moteur de jeu peut comprendre. 

En termes plus simples, le système prend des captures d'écran du jeu et les utilise pour comprendre ce qui se passe. Ensuite, il utilise une autre partie du système, appelée le modèle Agent, pour prendre des décisions sur la suite des choses dans le jeu. Le modèle Agent transforme ses décisions en commandes que le jeu peut comprendre, comme les touches sur lesquelles appuyer.

Bien que le système se soit montré prometteur pour jouer à DOOM, il a également révélé certaines limites. L'un des principaux problèmes était 

• Le manque de permanence des objets de GPT4 signifie qu'il oublie les ennemis du jeu lorsqu'ils sortent de l'écran. 
• De plus, GPT4 avait du mal à raisonner et à fournir des explications claires sur ses actions, fournissant souvent des informations incorrectes.

Malgré ces limites, de Wynter considère qu'il est remarquable que GPT4 est capable de jouer à DOOM sans formation préalable.