Colaborarea Microsoft și Volkswagen: Povestea din spatele caracteristicii platformei mobile ale HoloLens 2

Căștile cu realitate mixtă pot fi cu adevărat utile, dar capacitatea lor se confruntă cu limitări atunci când sunt utilizate într-un anumit scenariu: un mediu în mișcare. Microsoft și Volkswagen am găsit o soluție pentru aceasta printr-un efort comun care ne-a adus modul „platformă în mișcare” pt HoloLens 2.

Volkswagen vede realitatea augmentată ca pe o componentă majoră a viitoarelor concepte de mobilitate. Deci, a început diferiți pași pentru a explora tehnologia. În 2015, a desfășurat un proiect de cercetare folosind vehicule auto-pilotate și realitate augmentată pentru Sistem Race Trainer a preda conducerea pe un circuit de curse. De asemenea, a introdus display head-up cu realitate augmentată în ID-ul său. familie de mașini electrice în 2020, în care diferite informații despre mediul din fața vehiculului (cum ar fi săgețile de navigare și marcajele benzii) sunt proiectate pe parbriz.

„Credem că informațiile de realitate mixtă sunt cele mai intuitive informații pe care le-am putea oferi pentru a îmbunătăți experiența de utilizare a clienților noștri”, a declarat Andro Kleen, șeful echipei de știință a datelor de la Dr. Volkswagen Group Innovation, pentru Microsoft. „Pentru că ceea ce vezi acolo și ceea ce trebuie să procesezi este foarte aproape de ceea ce văd și procesează oamenii în mod normal. Nu este atât de abstract.”

Cu aspirația de a obține mai mult din tehnologie, producătorul german de autovehicule a folosit HoloLens pentru un alt proiect de cercetare, unde a fost pus într-un vehicul în mișcare. Lucrurile nu au mers bine, din păcate. Senzorii își pierdeau capacitatea de urmărire, iar hologramele dispăreau. Problema a indicat că cei doi senzori legați de mișcare ai dispozitivului se confruntă cu confuzie în semnalele pe care le captau în timp ce vehiculul se mișca. Cu aceasta, Volkswagen a cerut ajutor Microsoft, iar călătoria companiilor a început în 2018.

„Am avut discuții ample”, spune Marc Pollefeys, director de știință Microsoft și expert în viziune 3D computerizată și învățare automată, iar acum directorul Mixed Reality and AI Lab al Microsoft din Zurich, Elveția. „Au prezentat cazurile lor de utilizare și ceea ce sperau să permită. Au fost dornici să colaboreze cu noi pentru a găsi o soluție și pentru a putea folosi HoloLens în acele situații.”

Cu pandemia provocând ravagii pe tot globul, cercetarea se pare că s-a confruntat cu diverse probleme. Restricțiile Covid-19 din Elveția au împiedicat echipa să testeze tehnologia în interiorul unui vehicul cu alți pasageri, așa că Joshua Elsdon – un inginer de software senior Microsoft parte a proiectului – a trebuit să lucreze la ea și să efectueze teste în apartamentul său din Zurich.

„A trebuit să facem multe teste în apartamentul meu. Acestea nu sunt condiții ideale de dezvoltare”, spune Elsdon. „Toate aceste lucruri au fost făcute de la distanță și distribuite în diferite țări, ceea ce a fost interesant.”

Ulterior, echipa a testat prototipul pe Puget Sound mergând pe bărci de agrement, apoi cu Volkswagen în interiorul vehiculelor.

„Am conectat un sistem de poziționare care urmărește locația vehiculului”, spune Michael Wittkämper, expert în realitate augmentată Volkswagen. „În acest fel am reușit să plasăm și elemente 3D, cum ar fi informații despre puncte de interes în afara mașinii. Acest lucru deschide posibilități complet noi de a afișa nu numai holograme în câmpul vizual al șoferului orientat spre înainte, ci și oriunde se uită utilizatorul care poartă ochelari.”

Totul a devenit un succes, permițând Microsoft să lanseze caracteristica platformei de mutare. În prezent, tehnologia reprezintă o mare atracție pentru companiile maritime, care folosesc HoloLens pentru a conecta echipajele de întreținere de pe navă pentru a consulta experți din alte locații. Microsoft are planuri mai mari pentru noua caracteristică în viitor, în special atunci când sunt implicate medii în mișcare. Pollefeys a mai spus că compania speră să-l facă funcțional în viața de zi cu zi prin intermediul unor ochelari inteligenți portabili. Cu toate acestea, cu curentul etichete de preț al HoloLens 2 (3,500 USD până la 5,199 USD), planul ar putea fi încă departe de realitate, mai ales dacă Microsoft dorește ca dispozitivul să ajungă la consumatorii obișnuiți de pe piață.