GPT4 speelt DOOM, vergeet in-game vijanden en pakt graag een pistool en begint te schieten

Een recent onderzoeksartikel van Adrian de Wynter, een onderzoeker aan de Universiteit van York in Engeland, heeft de mogelijkheden van GPT4 onderzocht bij het spelen van het klassieke first-person shooter-spel DOOM.

De krant, getiteld "Zal GPT-4 DOOM uitvoeren?zoekt uit of GPT4 het spel zonder voorafgaande training kan spelen. Om dit te testen ontwierp de Wynter een systeem dat GPT-4V gebruikt, een multimodale variant van GPT4 die afbeeldingen als invoer kan accepteren, om schermafbeeldingen van de game-engine vast te leggen en gestructureerde beschrijvingen van de gamestatus terug te geven. 

Deze informatie wordt vervolgens ingevoerd in een Agent-model dat beslissingen neemt op basis van de visuele input en voorgeschiedenis, waarbij de reacties worden vertaald in toetsaanslagopdrachten die de game-engine kan begrijpen. 

In eenvoudiger woorden: het systeem maakt schermafbeeldingen van het spel en gebruikt deze om erachter te komen wat er aan de hand is. Vervolgens gebruikt het een ander deel van het systeem, het Agent-model genaamd, om beslissingen te nemen over wat er vervolgens in het spel moet gebeuren. Het Agent-model zet zijn beslissingen om in opdrachten die het spel kan begrijpen, zoals welke toetsen moeten worden ingedrukt.

Hoewel het systeem veelbelovend was bij het spelen van DOOM, bracht het ook enkele beperkingen aan het licht. Een van de belangrijkste kwesties was 

• Het gebrek aan objectduurzaamheid van GPT4 betekent dat het vijanden in de game vergeet wanneer ze buiten het scherm verdwijnen. 
• Bovendien had GPT4 moeite om te redeneren en duidelijke verklaringen te geven voor zijn acties, waarbij het vaak onjuiste informatie verstrekte.

Ondanks deze beperkingen vindt De Wynter het opmerkelijk dat GPT4 kan DOOM spelen zonder voorafgaande opleiding.