Le projet Fusion4D de Microsoft Research peut permettre une téléprésence immersive haute fidélité
2 minute. lis
Publié le
Partagez cet article
Améliorer ce guide
Lisez notre page de divulgation pour savoir comment vous pouvez aider MSPoweruser à soutenir l'équipe éditoriale En savoir plus
Microsoft Research a récemment révélé des détails sur son dernier projet appelé Fusion4D qui est un nouveau pipeline pour la capture de performances multi-vues en direct, générant des reconstructions de haute qualité cohérentes dans le temps en temps réel. Leur algorithme prend en charge à la fois la reconstruction incrémentielle, améliorant l'estimation de la surface au fil du temps, ainsi que le paramétrage du mouvement de scène non rigide.
Notre approche est très robuste aux changements de mouvement et de topologie importants d'une image à l'autre, ce qui nous permet de reconstruire des scènes extrêmement difficiles. Nous démontrons des avantages par rapport aux techniques en temps réel connexes qui déforment un modèle généré en ligne ou fusionnent continuellement des données de profondeur de manière non rigide dans un modèle de référence unique. Enfin, nous montrons des résultats de reconstruction géométrique comparables à ceux des méthodes hors ligne qui nécessitent des ordres de grandeur de temps de traitement supplémentaires et beaucoup plus de caméras RGBD.
MSR pense que ce travail peut permettre de nouveaux types d'expériences de capture de performances en direct, telles que la diffusion d'événements en direct, y compris des sports et des concerts en 3D, ainsi que la capacité de capturer des humains en direct et de les restituer dans d'autres emplacements géographiques pour permettre une expérience immersive haute fidélité. téléprésence. En savoir plus sur ce projet auprès de Recherche Microsoft.
Il est également important de noter que la plupart des chercheurs qui ont travaillé sur ce projet chez Microsoft Research ont quitté l'entreprise pour démarrer une nouvelle société nommée PerceptifIO. Retrouvez ci-dessous la liste des chercheurs ayant contribué à ce projet. À l'exception de Yury Degtyarev et Pushmeet Kohli, toutes les autres personnes sont maintenant en PerceptifIO.
Mingsong Dou (2), Sameh Khamis (2), Yury Degtyarev (1), Philip Davidson (2) Sean Ryan Fanello (2), Adarsh Kowdle (2), Sergio Orts Escolano (2), Christoph Rhemann (2), David Kim (2), Jonathan Taylor (2), Pushmeet Kohli (1), Vladimir Tankovich (2), Shahram Izadi (2)
(1) Microsoft Research (2) perceptiveIO
