Microsoft пробует ChatGPT на роботах, и результаты впечатляют

Исследователи Microsoft недавно проверенный ChatGPT о роботах-манипуляторах, дронах и роботах-помощниках. Компания сообщила, что общий вывод эксперимента дал отличные результаты, что означает светлое будущее ChatGPT в области робототехники.

Появление ChatGPT ознаменовало начало эпохи современного ИИ во всем мире. После того, как Microsoft объявила об интеграции языковой модели ИИ в Bing, другие компании, такие как Google начали делиться своими работами, связанными с технологиями. Горстка Китайские фирмы также сообщалось об исследовании и разработке собственных проектов, подобных ChatGPT. При этом Microsoft осознала, что единственный способ оставаться на вершине этой игры — идти вперед и применять ChatGPT в других областях: робототехнике.

В работе, которой поделилась Microsoft Autonomous Systems and Robotics Research Group, ChatGPT были поставлены различные задачи с использованием различных платформ. В тестах также использовались различные принципы проектирования, в том числе специальные структуры подсказок, высокоуровневые API и человеческая обратная связь через тексты. Группа сообщила, что, хотя технология «все еще нуждается в некоторой помощи», результаты проекта доказали, что «ChatGPT может многое сделать сам».

«Следуя нашему набору принципов проектирования, ChatGPT может генерировать код для сценариев робототехники», — поделилась группа. «Без какой-либо тонкой настройки мы используем знания LLM (большая языковая модель) для управления различными форм-факторами роботов для различных задач».

Один из тестов, выполненных в рамках проекта, заключался в передаче управления ChatGPT дрону и симулятору Microsoft AirSim. В некоторых видео, которыми поделились, ChatGPT мог выполнять команды поиска напитка, идентификации напитка на основе описания и предложения «здорового варианта». Ему также удалось успешно выполнить текстовую команду, чтобы сделать селфи перед отражающей поверхностью и осмотреть полку в виде газонокосилки. При использовании в смоделированном сценарии промышленной инспекции исследователи сообщили о положительных результатах теста на уклонение от воздушных препятствий и добавили, что он «способен эффективно анализировать высокоуровневые намерения пользователя и геометрические подсказки для точного управления дроном».

В еще более невероятном сценарии ChatGPT прошел тест на манипулирование, сложив блоки и используя их для создания четырехцветного логотипа Microsoft с помощью своей базы знаний.

«Мы использовали диалоговую обратную связь, чтобы научить модель компоновать изначально предоставленные API в более сложные высокоуровневые функции, которые ChatGPT закодировал сам», — пояснила группа. «…Модель показала захватывающий пример соединения текстовой и физической областей при создании логотипа Microsoft из деревянных блоков. Мало того, что он смог вспомнить логотип из своей внутренней базы знаний, он смог «нарисовать» логотип (в виде кода SVG), а затем использовать навыки, полученные выше, чтобы выяснить, какие существующие действия робота могут составлять его физическую форму. ”

Хотя результаты проекта выглядят многообещающе, Microsoft подчеркнула, что работа — это «лишь малая часть» того, что можно сделать, когда большие языковые модели используются на роботах. Кроме того, компания напомнила, что ChatGPT еще не полностью готова помогать роботам в выполнении задач, предупреждая энтузиастов и других исследователей «всегда принимать необходимые меры предосторожности».