Le SIGMA de Microsoft est conçu pour les tâches du monde réel. C'est ainsi que l'IA entre dans vos yeux grâce à HoloLens

Les chercheurs de Microsoft viennent de annoncé lundi qu'elle a lancé SIGMA. Abréviation de Situed Interactive Guidance, Monitoring, and Assistance, il s'agit d'une « plate-forme de recherche open source et d'un prototype de banc d'essai » conçu pour des tâches du monde réel. 

Maintenant disponible sur GitHub, SIGMA est un outil interactif conçu pour HoloLens 2 qui allie réalité mixte et technologie IA. Il aide les utilisateurs à effectuer des tâches étape par étape en fournissant des conseils et en répondant aux questions, ou en termes plus simples, il laisse l'IA entrer dans vos yeux. 

Les tâches peuvent alors être prédéfinies ou générées dynamiquement, et SIGMA utilise des modèles de langage et de vision pour détecter et mettre en évidence les objets pertinents dans l'environnement. Il peut également répondre aux questions des utilisateurs et détecter des objets pertinents pour une tâche dans l'environnement à l'aide de modèles de vision tels que Detic et SEEM.

« SIGMA a été conçu pour servir de plateforme de recherche. Notre objectif en rendant le système open source est d'aider d'autres chercheurs à surmonter les défis d'ingénierie de base liés à la création d'une application interactive complète », explique Microsoft.

Construit sur le framework Platform for Situé Intelligence, SIGMA permet un prototypage rapide et fournit des outils de visualisation, de débogage et de maintenance. Le système est conçu avec une architecture client-serveur, permettant aux flux de données de HoloLens 2 d'être traités sur un serveur de bureau, contournant les limitations des appareils. 

Microsoft est à l'avant-garde de la course à l'IA depuis un certain temps. La société basée à Redmond milliards de dollars en investissement dans OpenAI, son nombre de modèles d'IAainsi que, Outil d'IA Copilot dans Windows 11/10 et les appareils mobiles pour n'en nommer que quelques-uns.