Qualcommov Snapdragon Neural Processing Engine omogućit će bolja AR iskustva

Apple ARKit će biti najveća AR platforma na svijetu kada bude lansirana kasnije ove godine. Stotine milijuna iPhone i iPad uređaja bit će kompatibilni s ARKit-om, zahvaljujući moćnom CPU-u i GPU-u koji su već dostupni na ovim uređajima. Da biste omogućili vrlo precizno otkrivanje scene i praćenje objekata, morate pokrenuti algoritme na uređaju koji upravljaju neuronskom mrežom. Ovi se algoritmi ne mogu u potpunosti pokrenuti na CPU-u kao i svaki drugi algoritam jer zahtijevaju više energije i troše više baterije. Budući da Apple točno poznaje hardver unutar ovih uređaja, optimizirali su ARKit da radi dobro na iOS uređajima na energetski učinkovit način.

Google s druge strane ne može učiniti isto jer je njihov Android ekosustav izgrađen na širokom rasponu CPU i GPU modela različitih dobavljača kao što su Qualcomm, Samsung, MediaTek itd., a njihove mogućnosti dramatično variraju. Qualcomm, najpopularniji proizvođač mobilnih procesora, pokušava riješiti ovaj problem pomoću Neural Processing Engine (NPE) SDK. Snapdragon NPE je softverski okvir za duboko učenje dizajniran za Snapdragon mobilne platforme. Pomaže programerima da pokrenu jedan ili više modela neuronske mreže obučenih u Caffe/Caffe2 ili TensorFlow na Snapdragon mobilnim platformama, bilo da se radi o CPU, GPU ili DSP. Podržava i konvolucijske neuronske mreže i prilagođene slojeve.

• Snapdragon NPE je projektiran da pomogne programerima da uštede vrijeme i trud u optimizaciji performansi obučenih neuronskih mreža na uređajima sa Snapdragonom.
• To čini pružanjem alata za pretvorbu i izvođenje modela, kao i API-je za ciljanje jezgre s profilom snage i performansi kako bi odgovarao željenom korisničkom iskustvu.
• Programeri mogu iskoristiti korisnička iskustva dubinskog učenja kao što su prijenosi stilova i filteri (proširena stvarnost), prepoznavanje scene, prepoznavanje lica, razumijevanje prirodnog jezika, praćenje i izbjegavanje objekata, gestikulacija i prepoznavanje teksta da spomenemo samo neke.

Facebook, na primjer, planira integrirati Snapdragon NPE u kameru Facebook aplikacije kako bi ubrzao AR značajke koje pokreće Caffe2. Kao rezultat toga, mogu postići 5x bolje performanse na Adreno GPU-u, u usporedbi s generičkom implementacijom CPU-a, što rezultira fluidnijom, neprimetnijom i realnijom primjenom AR značajki pri snimanju fotografija i video zapisa uživo.

Snapdragon NPE SDK uključuje sljedeće:

• Android i Linux vremena izvođenja za izvođenje modela neuronske mreže
• Podrška za ubrzanje za Qualcomm Hexagon DSP, Qualcomm Adreno GPU i Qualcomm Kryo, CPU-e
• Podrška za modele u formatima Caffe, Caffe2 i TensorFlow³
• API-ji za kontrolu učitavanja, izvršenja i rasporeda na vrijeme izvođenja
• Desktop alati za konverziju modela
• Mjerilo performansi za identifikaciju uskog grla
• Primjer koda i tutorijala
• HTML dokumentacija

Snapdragon NPE kompatibilan je s mobilnim platformama serije Snapdragon 600 i 800. Prema mojoj procjeni, bit će najmanje 200 milijuna aktivnih mobilnih uređaja sa procesorima serije Snapdragon 600 i 800. Nadamo se da će programeri iskoristiti ovu NPE platformu kako bi stvorili sjajna AR iskustva na mobilnim uređajima. Možete preuzeti SDK ovdje.

S tim u vezi, Microsoft je ranije ovog tjedna najavio da će sljedeća verzija HoloLensa sadržavati drugu verziju HPU-a koja će uključivati ​​AI koprocesor za izvornu i fleksibilnu implementaciju Deep Neural Networks. Pročitajte više o tome ovdje.