Microsoft prøver ChatGPT på roboter, og resultatene er imponerende

Forskere ved Microsoft nylig testet ChatGPT på robotarmer, droner og hjemmeassistentroboter. Selskapet delte at den generelle konklusjonen av eksperimentet ga utmerkede resultater, noe som betyr en lys fremtid for ChatGPT i robotverdenen.

Ankomsten av ChatGPT signaliserte fødselen av den moderne AI-æraen globalt. Etter at Microsoft annonserte å integrere AI-språkmodellen i Bing, andre selskaper liker Google begynte å dele sine egne verk som dreide seg om teknologien. En håndfull av kinesiske firmaer ble også rapportert at de forsket på og utviklet sine egne ChatGPT-lignende prosjekter. Med dette har Microsoft innsett at den eneste måten å holde seg på toppen av dette spillet er ved å gå videre og bruke ChatGPT på andre områder: robotikk.

I arbeidet delt av Microsoft Autonomous Systems and Robotics Research Group, ChatGPT fikk ulike oppgaver ved hjelp av ulike plattformer. Testene involverte også forskjellige designprinsipper, inkludert spesielle oppfordringsstrukturer, API-er på høyt nivå og menneskelig tilbakemelding gjennom tekster. Gruppen rapporterte at mens teknologien "fortsatt trenger litt hjelp", viste resultatene av prosjektet at "ChatGPT kan gjøre mye av seg selv."

"Ved å følge vårt sett med designprinsipper kan ChatGPT generere kode for robotscenarier," delte gruppen. "Uten noen finjustering utnytter vi LLMs (stor språkmodell) kunnskap for å kontrollere forskjellige roboters formfaktorer for en rekke oppgaver."

En av testene som ble utført i prosjektet innebar å gi ChatGPT-kontroll til en drone og Microsoft AirSim-simulator. I noen av videoene som ble delt, var ChatGPT i stand til å utføre kommandoer fra å finne en drink, identifisere en drink basert på beskrivelser og foreslå et "sunt alternativ." Den klarte også å følge tekstkommandoen om å ta en selfie foran en reflekterende overflate og inspisere en hylle i et gressklippermønster. Når det ble brukt i et simulert industriell inspeksjonsscenario, rapporterte forskere gunstige resultater i testen for unngåelse av hindringer fra luften og la til at den "var i stand til effektivt å analysere brukerens intensjon på høyt nivå og geometriske signaler for å kontrollere dronen nøyaktig."

I et mer utrolig scenario besto ChatGPT manipulasjonstesten ved å stable blokker og bruke dem til å lage Microsofts firefargede logo ved hjelp av kunnskapsbasen.

"Vi brukte samtaletilbakemeldinger for å lære modellen hvordan man komponerer de opprinnelig leverte APIene til mer komplekse funksjoner på høyt nivå: ChatGPT kodet av seg selv," forklarte gruppen. "...Modellen viste et fascinerende eksempel på å bygge bro mellom tekstlige og fysiske domener da den fikk i oppgave å bygge Microsoft-logoen av treklosser. Ikke bare var den i stand til å huske logoen fra sin interne kunnskapsbase, den var i stand til å "tegne" logoen (som SVG-kode), og deretter bruke ferdighetene lært ovenfor for å finne ut hvilke eksisterende robothandlinger som kan komponere dens fysiske form. ”

Mens resultatene av prosjektet ser lovende ut, understreket Microsoft at arbeidet er «bare en liten brøkdel» av tingene som kan gjøres når store språkmodeller brukes på roboter. I tillegg minnet selskapet om at ChatGPT ennå ikke er helt klar til å hjelpe roboter med å utføre oppgaver, advare entusiaster og andre forskere om å "alltid ta de nødvendige sikkerhetstiltakene."