Microsoft probiert ChatGPT an Robotern aus und die Ergebnisse sind beeindruckend

Forscher bei Microsoft kürzlich getestet ChatGPT zu Roboterarmen, Drohnen und Robotern für Heimassistenten. Das Unternehmen teilte mit, dass der allgemeine Abschluss des Experiments hervorragende Ergebnisse lieferte, was eine glänzende Zukunft für ChatGPT im Bereich der Robotik bedeutet.

Die Ankunft von ChatGPT signalisierte weltweit die Geburt der modernen KI-Ära. Nachdem Microsoft angekündigt hatte, das KI-Sprachmodell in zu integrieren Bing, andere Unternehmen mögen Google begannen, ihre eigenen Arbeiten rund um die Technologie zu teilen. Eine Handvoll Chinesische Firmen wurde auch berichtet, dass sie ihre eigenen ChatGPT-ähnlichen Projekte erforschten und entwickelten. Damit hat Microsoft erkannt, dass der einzige Weg, um an der Spitze dieses Spiels zu bleiben, darin besteht, weiterzumachen und ChatGPT in anderen Bereichen anzuwenden: Robotik.

In der gemeinsamen Arbeit der Microsoft Autonomous Systems and Robotics Research Group, ChatGPT erhielt verschiedene Aufgaben auf verschiedenen Plattformen. Die Tests umfassten auch verschiedene Designprinzipien, einschließlich spezieller Eingabeaufforderungsstrukturen, High-Level-APIs und menschlichem Feedback durch Texte. Die Gruppe berichtete, dass die Technologie zwar „noch etwas Hilfe braucht“, aber die Ergebnisse des Projekts bewiesen, dass „ChatGPT selbst viel leisten kann“.

„Durch die Befolgung unserer Designprinzipien kann ChatGPT Code für Robotikszenarien generieren“, teilte die Gruppe mit. „Ohne Feinabstimmung nutzen wir das Wissen des LLM (Large Language Model), um verschiedene Roboterformfaktoren für eine Vielzahl von Aufgaben zu steuern.“

Einer der im Rahmen des Projekts durchgeführten Tests bestand darin, einer Drohne und einem Microsoft AirSim-Simulator die ChatGPT-Steuerung zu geben. In einigen der geteilten Videos konnte ChatGPT Befehle ausführen, um ein Getränk zu finden, ein Getränk anhand von Beschreibungen zu identifizieren und eine „gesunde Option“ vorzuschlagen. Es gelang ihm auch, dem Textbefehl zu folgen, ein Selfie vor einer reflektierenden Oberfläche zu machen und ein Regal in einem Rasenmähermuster zu inspizieren. Bei der Verwendung in einem simulierten industriellen Inspektionsszenario berichteten die Forscher von günstigen Ergebnissen im Hindernisvermeidungstest aus der Luft und fügten hinzu, dass es „in der Lage war, die allgemeine Absicht und die geometrischen Hinweise des Benutzers effektiv zu analysieren, um die Drohne genau zu steuern“.

In einem unglaublicheren Szenario hat ChatGPT den Manipulationstest bestanden, indem es Blöcke gestapelt und sie verwendet hat, um mit Hilfe seiner Wissensdatenbank das vierfarbige Logo von Microsoft zu erstellen.

„Wir nutzten Konversationsfeedback, um dem Modell beizubringen, wie die ursprünglich bereitgestellten APIs in komplexere High-Level-Funktionen komponiert werden: dass ChatGPT selbst codiert“, erklärte die Gruppe. „… Das Modell zeigte ein faszinierendes Beispiel für die Überbrückung der textuellen und physischen Domänen, als es beauftragt wurde, das Microsoft-Logo aus Holzklötzen zu bauen. Es war nicht nur in der Lage, das Logo aus seiner internen Wissensdatenbank abzurufen, es war auch in der Lage, das Logo (als SVG-Code) zu „zeichnen“ und dann die oben erlernten Fähigkeiten zu nutzen, um herauszufinden, welche vorhandenen Roboteraktionen seine physische Form bilden können. ”

Während die Ergebnisse des Projekts vielversprechend aussehen, betonte Microsoft, dass die Arbeit „nur ein kleiner Bruchteil“ dessen ist, was getan werden kann, wenn große Sprachmodelle auf Robotern verwendet werden. Darüber hinaus erinnerte das Unternehmen daran, dass ChatGPT noch nicht vollständig bereit ist, Robotern bei der Ausführung von Aufgaben zu helfen, und warnte Enthusiasten und andere Forscher, „immer die notwendigen Sicherheitsvorkehrungen zu treffen“.