De Snapdragon Neural Processing Engine van Qualcomm zal betere AR-ervaringen mogelijk maken

Apple ARKit wordt het grootste AR-platform ter wereld wanneer het later dit jaar wordt gelanceerd. Honderden miljoenen iPhone- en iPad-apparaten zullen compatibel zijn met ARKit, dankzij de krachtige CPU en GPU die al beschikbaar zijn op deze apparaten. Om zeer nauwkeurige scènedetectie en objecttracking mogelijk te maken, moet u neurale netwerkgestuurde algoritmen op het apparaat uitvoeren. Deze algoritmen kunnen niet volledig op de CPU worden uitgevoerd, net als elk ander algoritme, omdat ze meer stroom nodig hebben en meer batterij verbruiken. Omdat Apple de hardware in deze apparaten precies kent, hebben ze de ARKit geoptimaliseerd om op een energiezuinige manier goed te werken op de iOS-apparaten.

Google kan daarentegen niet hetzelfde doen, omdat hun Android-ecosysteem is gebouwd op een grote verscheidenheid aan CPU- en GPU-modellen van verschillende leveranciers zoals Qualcomm, Samsung, MediaTek, enz., En hun mogelijkheden variëren enorm. Qualcomm, de meest populaire fabrikant van mobiele processors, probeert dit probleem op te lossen met behulp van de Neural Processing Engine (NPE) SDK. De Snapdragon NPE is een deep learning-softwareframework dat is ontworpen voor Snapdragon Mobile Platforms. Het helpt ontwikkelaars om een ​​of meer neurale netwerkmodellen te gebruiken die zijn getraind in Caffe/Caffe2 of TensorFlow op mobiele Snapdragon-platforms, of dat nu de CPU, GPU of DSP is. Het ondersteunt zowel convolutionele neurale netwerken als aangepaste lagen.

• De Snapdragon NPE is ontwikkeld om ontwikkelaars te helpen tijd en moeite te besparen bij het optimaliseren van de prestaties van getrainde neurale netwerken op apparaten met Snapdragon.
• Het doet dit door tools te bieden voor modelconversie en uitvoering, evenals API's voor het targeten van de kern met het kracht- en prestatieprofiel dat overeenkomt met de gewenste gebruikerservaring.
• Ontwikkelaars kunnen profiteren van diepgaande gebruikerservaringen zoals stijloverdracht en filters (augmented reality), scènedetectie, gezichtsherkenning, begrip van natuurlijke taal, het volgen en vermijden van objecten, gebaren en tekstherkenning om er maar een paar te noemen.

Facebook is bijvoorbeeld van plan om de Snapdragon NPE te integreren in de camera van de Facebook-app om Caffe2-aangedreven AR-functies te versnellen. Als gevolg hiervan kunnen ze 5x betere prestaties behalen op de Adreno GPU, vergeleken met een generieke CPU-implementatie, wat resulteert in een vloeiendere, naadloze en realistische toepassing van AR-functies bij het maken van foto's en live video's.

Snapdragon NPE SDK bevat het volgende:

• Android- en Linux-runtimes voor uitvoering van neurale netwerkmodellen
• Versnellingsondersteuning voor Qualcomm Hexagon DSP's, Qualcomm Adreno GPU's en Qualcomm Kryo, CPU's
• Ondersteuning voor modellen in de formaten Caffe, Caffe2 en TensorFlow³
• API's voor het regelen van het laden, uitvoeren en plannen op de runtimes
• Desktoptools voor modelconversie
• Prestatiebenchmark voor identificatie van knelpunten
• Voorbeeldcode en tutorials
• HTML-documentatie

De Snapdragon NPE is compatibel met de Snapdragon 600- en 800-serie mobiele platforms. Volgens mijn schatting zullen er minstens 200 miljoen actieve mobiele apparaten zijn met Snapdragon 600- en 800-serie processors. Hopelijk zullen ontwikkelaars profiteren van dit NPE-platform om geweldige AR-ervaringen op mobiele apparaten te creëren. U kunt de SDK downloaden hier.

In verband hiermee kondigde Microsoft eerder deze week aan dat de volgende versie van HoloLens de tweede versie van de HPU zal bevatten die een AI-coprocessor zal bevatten om Deep Neural Networks native en flexibel te implementeren. Lees er meer over hier.