Microsoft försöker ChatGPT på robotar och resultaten är imponerande

Forskare på Microsoft nyligen testade ChatGPT på robotarmar, drönare och hemassistentrobotar. Företaget delade att den allmänna slutsatsen av experimentet gav utmärkta resultat, vilket betyder en ljus framtid för ChatGPT inom robotikområdet.

Ankomsten av ChatGPT signalerade födelsen av den moderna AI-eran globalt. Efter att Microsoft tillkännagav att integrera AI-språkmodellen i bing, andra företag gillar Google började dela med sig av sina egna verk som kretsade kring tekniken. En handfull av Kinesiska företag rapporterades också forska och utveckla sina egna ChatGPT-liknande projekt. Med detta har Microsoft insett att det enda sättet att hålla sig på toppen av det här spelet är att gå vidare och tillämpa ChatGPT på andra områden: robotik.

I arbetet som delas av Microsoft Autonomous Systems and Robotics Research Group, ChatGPT fick olika uppgifter på olika plattformar. Testerna involverade också olika designprinciper, inklusive speciella uppmaningsstrukturer, API:er på hög nivå och mänsklig feedback genom texter. Gruppen rapporterade att även om tekniken "fortfarande behöver lite hjälp", visade resultaten av projektet att "ChatGPT kan göra mycket själv."

"Genom att följa vår uppsättning designprinciper kan ChatGPT generera kod för robotscenarier", delade gruppen. "Utan någon finjustering använder vi LLM:s (stora språkmodell) kunskap för att kontrollera olika robotars formfaktorer för en mängd olika uppgifter."

Ett av testerna som utfördes i projektet innebar att ge ChatGPT-kontroll till en drönare och Microsoft AirSim-simulator. I några av de delade videorna kunde ChatGPT utföra kommandon från att hitta en drink, identifiera en drink baserat på beskrivningar och föreslå ett "hälsosamt alternativ". Den lyckades också framgångsrikt följa textkommandot att ta en selfie framför en reflekterande yta och inspektera en hylla i ett gräsklipparmönster. När de användes i ett simulerat industriellt inspektionsscenario, rapporterade forskare gynnsamma resultat i testet för undvikande av hinder från luften och lade till att det "effektivt kunde analysera användarens avsikt på hög nivå och geometriska ledtrådar för att kontrollera drönaren exakt."

I ett mer otroligt scenario klarade ChatGPT manipulationstestet genom att stapla block och använda dem för att skapa Microsofts fyrfärgade logotyp med hjälp av sin kunskapsbas.

"Vi använde samtalsfeedback för att lära modellen hur man komponerar de ursprungligen tillhandahållna API:erna till mer komplexa funktioner på hög nivå: att ChatGPT kodade av sig själv", förklarade gruppen. "...Modellen visade ett fascinerande exempel på att överbrygga de textuella och fysiska domänerna när den fick i uppdrag att bygga Microsofts logotyp av träblock. Den kunde inte bara återkalla logotypen från sin interna kunskapsbas, den kunde "rita" logotypen (som SVG-kod) och sedan använda de färdigheter som lärt sig ovan för att ta reda på vilka befintliga robotåtgärder som kan utgöra dess fysiska form. ”

Även om resultaten av projektet ser lovande ut, betonade Microsoft att arbetet "bara är en liten bråkdel" av de saker som kan göras när stora språkmodeller används på robotar. Dessutom påminde företaget om att ChatGPT ännu inte är helt redo att hjälpa robotar att utföra uppgifter, varna entusiaster och andra forskare att "alltid vidta nödvändiga säkerhetsåtgärder."