Motorul de procesare neuronală Snapdragon de la Qualcomm va permite experiențe AR mai bune

Apple ARKit va fi cea mai mare platformă AR din lume când va fi lansat mai târziu în acest an. Sute de milioane de dispozitive iPhone și iPad vor fi compatibile cu ARKit, datorită procesorului și GPU-ului puternic care sunt deja disponibile pe aceste dispozitive. Pentru a permite detectarea foarte precisă a scenei și urmărirea obiectelor, trebuie să rulați algoritmi bazați pe rețele neuronale de pe dispozitiv. Acești algoritmi nu pot fi executați în întregime pe CPU la fel ca orice alt algoritm, deoarece necesită mai multă putere și consumă mai multă baterie. Deoarece Apple cunoaște exact hardware-ul din interiorul acestor dispozitive, au optimizat ARKit-ul pentru a rula bine pe dispozitivele iOS într-un mod eficient din punct de vedere energetic.

Google, pe de altă parte, nu poate face același lucru, deoarece ecosistemul lor Android este construit pe o mare varietate de modele CPU și GPU de la diferiți furnizori, cum ar fi Qualcomm, Samsung, MediaTek etc., iar capacitățile lor variază dramatic. Qualcomm, cel mai popular producător de procesoare mobile, încearcă să rezolve această problemă folosind SDK-ul Neural Processing Engine (NPE). Snapdragon NPE este un cadru software de deep learning conceput pentru platformele mobile Snapdragon. Ajută dezvoltatorii să ruleze unul sau mai multe modele de rețele neuronale antrenate în Caffe/Caffe2 sau TensorFlow pe platformele mobile Snapdragon, indiferent dacă este vorba despre CPU, GPU sau DSP. Acceptă atât rețele neuronale convoluționale, cât și straturi personalizate.

• Snapdragon NPE este conceput pentru a ajuta dezvoltatorii să economisească timp și efort în optimizarea performanței rețelelor neuronale antrenate pe dispozitivele cu Snapdragon.
• Face acest lucru furnizând instrumente pentru conversia și execuția modelului, precum și API-uri pentru direcționarea nucleului cu profilul de putere și performanță pentru a se potrivi experienței dorite de utilizator.
• Dezvoltatorii pot profita de experiențele utilizatorului de deep learning, cum ar fi transferurile de stil și filtrele (realitate augmentată), detectarea scenei, recunoașterea facială, înțelegerea limbajului natural, urmărirea și evitarea obiectelor, gesturi și recunoașterea textului, pentru a numi câteva.

Facebook, de exemplu, plănuiește să integreze Snapdragon NPE în camera aplicației Facebook pentru a accelera funcțiile AR bazate pe Caffe2. Ca rezultat, ei pot obține performanțe de 5 ori mai bune pe GPU Adreno, în comparație cu o implementare generică a procesorului, rezultând o aplicare mai fluidă, fără întreruperi și mai realistă a caracteristicilor AR atunci când captează fotografii și videoclipuri live.

Snapdragon NPE SDK include următoarele:

• Runtime Android și Linux pentru execuția modelului de rețea neuronală
• Suport de accelerare pentru Qualcomm Hexagon DSP, Qualcomm Adreno GPU și Qualcomm Kryo, procesoare
• Suport pentru modele în formatele Caffe, Caffe2 și TensorFlow³
• API-uri pentru controlul încărcării, execuției și programarii pe runtime
• Instrumente desktop pentru conversia modelului
• Benchmark de performanță pentru identificarea blocajelor
• Exemplu de cod și tutoriale
• Documentație HTML

Snapdragon NPE este compatibil cu platformele mobile din seria Snapdragon 600 și 800. Conform estimărilor mele, vor exista cel puțin 200 de milioane de dispozitive mobile active care rulează procesoare din seria Snapdragon 600 și 800. Sperăm că dezvoltatorii vor profita de această platformă NPE pentru a crea experiențe RA grozave pe dispozitivele mobile. Puteți descărca SDK-ul aici.

Într-o notă conexă, Microsoft la începutul acestei săptămâni a anunțat că următoarea versiune a HoloLens va include a doua versiune a HPU care va include un coprocesor AI pentru a implementa în mod nativ și flexibil rețelele neuronale profunde. Citiți mai multe despre asta aici.