Ingénieurs, chercheurs et amateurs intrépides de toutes sortes ont prouvé que le classique jeu de tir à la première personne Doom peut être joué sur presque tout, y compris une tondeuse et même des bactéries intestinales. Mercredi, Adrian de Wynter, un scientifique appliqué principal chez Microsoft, a prouvé que le populaire chatbot AI ChatGPT peut jouer à Doom — il n'est tout simplement pas très bon.
Voir sur quels appareils et autres dispositifs Doom peut fonctionner est devenu un passe-temps de plus en plus populaire pour les hackers, les chercheurs et les passionnés de technologie. Pour faire fonctionner Doom avec ChatGPT, de Wynter l'a associé au multimodal de OpenAI GPT-4V (Vision) pour permettre au chatbot de jouer au jeu.
Les résultats de l'expérience Doom/ChatGPT ont montré que malgré les avancées de GPT-4 et de sa variante améliorée en vision, le modèle d'IA ne pouvait pas exécuter indépendamment Doom en raison de limitations dans l'entrée et le rendu d'images.
«Par exemple, si le modèle tombait dans une piscine d'acide, puis restait coincé sur un mur, il ‘oublierait’ qu'il subit des dégâts à cause de l'acide,» a déclaré de Wynter, «et resterait coincé et mourrait.»
Un autre problème auquel de Wynter était confronté était l'habitude du modèle d'IA de halluciner et d'inventer des explications pour ses actions, ou de mentir en prétendant avoir accompli une action. Cela laissait le Space Marine de Doom à la merci de monstres enragés.
GPT-4, a expliqué de Wynter, a réussi à atteindre la dernière salle du jeu… mais seulement une fois. La simplicité de Doom, a-t-il dit, facilite le travail en raison de sa portabilité, et sa nature open-source permet d'avoir de meilleurs points de référence pour mesurer les agents intelligents car Doom nécessite des capacités de raisonnement poussées—comme la planification dans l'urgence.
«C'est intéressant !» de Wynter a déclaré à GG de Decrypt. «Cela a principalement commencé comme un mème (‘Est-ce que mon grille-pain peut exécuter Doom ?’) en raison de sa portabilité et de son code source ouvert. C'est principalement pour cela qu'il reste le jeu de choix.»
De Wynter a souligné que le projet a été réalisé uniquement dans le cadre de ses recherches à l'Université de York et n'a aucun lien avec son travail chez Microsoft.
«Le débogage a pris beaucoup de temps. J'ai généralement vidé les images et les ai simplement vérifiées pour m'assurer que rien ne se cassait,» a-t-il déclaré, notant des problèmes constants, notamment le modèle essayant de sortir de la carte par la fenêtre. «Finalement, j'ai abandonné et transformé les images en GIFs.«
Le projet de De Wynter est juste le dernier d'une série d'expériences visant à jouer à Doom dans des endroits inhabituels.
L'année dernière, après le lancement du protocole Ordinals, une version simplifiée de Doom a été inscrite sur la blockchain Bitcoin en tant qu'Inscription 466. Plus tôt cette année, un projet similaire a ajouté une version complète de Doom à la blockchain Dogecoin.
Bien que cette tentative d'IA de jouer à Doom puisse être ponctuelle, de Wynter a déclaré qu'il avait des idées pour des expériences de jeu futures utilisant de grands modèles de langage (LLM).
« Mon principal intérêt de recherche est lié aux capacités de raisonnement et de planification des LLM, donc les jeux, en général, sont un excellent banc d'essai pour cela », a-t-il déclaré. « Les jeux de stratégie sont un peu mis de côté pour le moment, mais je me demande si des jeux plus simples (ou d'autres modèles) pourraient donner de meilleurs résultats. »
Édité par Andrew Hayward