Microsoft 的 SIGMA 专为现实世界的任务而设计。这就是人工智能通过 HoloLens 进入你的眼睛的方式

Me 用于 HoloLens 2 的实际任务

阅读时间图标 2分钟读


读者帮助支持 MSpoweruser。如果您通过我们的链接购买,我们可能会获得佣金。 工具提示图标

阅读我们的披露页面,了解如何帮助 MSPoweruser 维持编辑团队 查看更多

重点说明

  • 微软推出 SIGMA,一个用于现实世界任务的开源平台
  • SIGMA 融合混合现实和人工智能,通过 HoloLens 2 提供分步指导
  • 任务可以是预定义的或动态的,语言和视觉模型有助于对象检测和用户查询

微软研究人员刚刚 公布 周一,它推出了 SIGMA。它是情境交互式指导、监控和协助的缩写,是一个专为现实世界任务而设计的“开源研究平台和测试平台原型”。 

现在可用 GitHub上SIGMA是一款专为HoloLens 2设计的交互工具,融合了混合现实和AI技术。它通过提供指导和回答问题来帮助用户执行分步任务,或者更简单地说,它让人工智能进入你的眼睛。 

然后可以预先定义或动态生成任务,SIGMA 使用语言和视觉模型来检测和突出显示环境中的相关对象。它还可以使用 Detic 和 SEEM 等视觉模型回答用户问题并检测环境中与任务相关的对象。

“SIGMA 旨在作为一个研究平台。我们开源该系统的目标是帮助其他研究人员跨越构建全栈交互式应用程序的基本工程挑战,”微软表示。

SIGMA 基于情景智能平台框架构建,可实现快速原型设计并提供可视化、调试和维护工具。该系统采用客户端-服务器架构设计,允许在桌面服务器上处理来自 HoloLens 2 的数据流,从而绕过设备限制。 

长期以来,微软一直处于人工智能竞赛的前沿。这家总部位于雷德蒙德的公司 数十亿美元 在投资 OpenAI 时,其 AI模型数量,并 副驾驶人工智能工具 Windows 11/10 和移动设备中仅举几例。