Microsoft essaie ChatGPT sur des robots et les résultats sont impressionnants

Des chercheurs de Microsoft récemment examiné ChatGPT sur les bras de robot, les drones et les robots assistants à domicile. La société a partagé que la conclusion générale de l'expérience a donné d'excellents résultats, signifiant un brillant avenir pour ChatGPT dans le domaine de la robotique.

L'arrivée de ChatGPT a marqué la naissance de l'ère de l'IA moderne à l'échelle mondiale. Après que Microsoft a annoncé l'intégration du modèle de langage IA dans Bing, d'autres sociétés comme Google ont commencé à partager leurs propres œuvres tournant autour de la technologie. Une poignée de Entreprises chinoises ont également été signalés en train de rechercher et de développer leurs propres projets de type ChatGPT. Avec cela, Microsoft a réalisé que la seule façon de rester au top de ce jeu est d'aller de l'avant et d'appliquer ChatGPT dans d'autres domaines : la robotique.

Dans le travail partagé par Microsoft Autonomous Systems and Robotics Research Group, ChatGPT s'est vu confier diverses tâches à l'aide de différentes plateformes. Les tests impliquaient également différents principes de conception, notamment des structures d'incitation spéciales, des API de haut niveau et des commentaires humains via des textes. Le groupe a indiqué que même si la technologie "avait encore besoin d'aide", les résultats du projet ont prouvé que "ChatGPT peut faire beaucoup par lui-même".

"En suivant notre ensemble de principes de conception, ChatGPT peut générer du code pour des scénarios robotiques", a partagé le groupe. "Sans aucun réglage fin, nous tirons parti des connaissances du LLM (grand modèle de langage) pour contrôler différents facteurs de forme de robots pour une variété de tâches."

L'un des tests exécutés dans le cadre du projet consistait à donner le contrôle de ChatGPT à un drone et à un simulateur Microsoft AirSim. Dans certaines des vidéos partagées, ChatGPT a pu exécuter des commandes pour trouver une boisson, identifier une boisson en fonction de descriptions et suggérer une "option saine". Il a également réussi à suivre avec succès la commande textuelle pour prendre un selfie devant une surface réfléchissante et inspecter une étagère dans un motif de tondeuse à gazon. Lorsqu'ils sont utilisés dans un scénario d'inspection industrielle simulée, les chercheurs ont rapporté des résultats favorables au test d'évitement d'obstacles aériens et ont ajouté qu'il "était capable d'analyser efficacement l'intention de haut niveau de l'utilisateur et les indices géométriques pour contrôler le drone avec précision".

Dans un scénario plus incroyable, ChatGPT a réussi le test de manipulation en empilant des blocs et en les utilisant pour créer le logo à quatre couleurs de Microsoft à l'aide de sa base de connaissances.

"Nous avons utilisé les commentaires conversationnels pour apprendre au modèle comment composer les API fournies à l'origine en fonctions de haut niveau plus complexes : ce ChatGPT codé par lui-même", a expliqué le groupe. "... Le modèle a montré un exemple fascinant de rapprochement entre les domaines textuel et physique lorsqu'il a été chargé de construire le logo Microsoft à partir de blocs de bois. Non seulement il a été capable de rappeler le logo à partir de sa base de connaissances interne, mais il a pu "dessiner" le logo (sous forme de code SVG), puis utiliser les compétences acquises ci-dessus pour déterminer quelles actions de robot existantes peuvent composer sa forme physique. ”

Alors que les résultats du projet semblent prometteurs, Microsoft a souligné que le travail n'est "qu'une petite fraction" des choses qui peuvent être faites lorsque de grands modèles de langage sont utilisés sur des robots. De plus, la société a rappelé que ChatGPT n'est pas encore tout à fait prêt à aider les robots à effectuer des tâches, avertissant les passionnés et les autres chercheurs de "toujours prendre les précautions de sécurité nécessaires".