Qualcomms Snapdragon Neural Processing Engine vil muliggøre bedre AR-oplevelser

Apple ARKit bliver den største AR-platform i verden, når den lanceres senere på året. Hundredvis af millioner af iPhone- og iPad-enheder vil være kompatible med ARKit, takket være den kraftfulde CPU og GPU, der allerede er tilgængelige på disse enheder. For at muliggøre meget nøjagtig scenedetektering og objektsporing skal du køre neurale netværksdrevne algoritmer på enheden. Disse algoritmer kan ikke køres helt på CPU ligesom enhver anden algoritme, da de kræver mere strøm og bruger mere batteri. Da Apple nøjagtigt kender hardwaren i disse enheder, har de optimeret ARKit til at køre godt på iOS-enhederne på en strømeffektiv måde.

Google på den anden side kan ikke gøre det samme, da deres Android-økosystem er bygget på en bred vifte af CPU- og GPU-modeller fra forskellige leverandører som Qualcomm, Samsung, MediaTek osv., og deres muligheder varierer dramatisk. Qualcomm, den mest populære mobile processorproducent, forsøger at løse dette problem ved hjælp af Neural Processing Engine (NPE) SDK. Snapdragon NPE er en deep learning-softwareramme designet til Snapdragon Mobile Platforms. Det hjælper udviklere med at køre en eller flere neurale netværksmodeller trænet i Caffe/Caffe2 eller TensorFlow på Snapdragon mobile platforme, uanset om det er CPU, GPU eller DSP. Det understøtter både foldende neurale netværk og brugerdefinerede lag.

• Snapdragon NPE er udviklet til at hjælpe udviklere med at spare tid og kræfter med at optimere ydeevnen af ​​trænede neurale netværk på enheder med Snapdragon.
• Det gør den ved at levere værktøjer til modelkonvertering og -udførelse samt API'er til at målrette kernen med kraft- og ydeevneprofilen, der matcher den ønskede brugeroplevelse.
• Udviklere kan drage fordel af deep learning brugeroplevelser som stiloverførsel og filtre (augmented reality), scenegenkendelse, ansigtsgenkendelse, naturlig sprogforståelse, objektsporing og -undgåelse, gestus og tekstgenkendelse for at nævne nogle få.

Facebook planlægger for eksempel at integrere Snapdragon NPE i kameraet i Facebook-appen for at accelerere Caffe2-drevne AR-funktioner. Som et resultat kan de opnå 5x bedre ydeevne på Adreno GPU'en sammenlignet med en generisk CPU-implementering, hvilket resulterer i en mere flydende, sømløs og realistisk anvendelse af AR-funktioner ved optagelse af fotos og live-videoer.

Snapdragon NPE SDK inkluderer følgende:

• Android- og Linux-køretider til udførelse af neurale netværksmodeller
• Accelerationsunderstøttelse for Qualcomm Hexagon DSP'er, Qualcomm Adreno GPU'er og Qualcomm Kryo, CPU'er
• Understøttelse af modeller i formaterne Caffe, Caffe2 og TensorFlow³
• API'er til styring af indlæsning, udførelse og planlægning på kørselstiderne
• Desktopværktøjer til modelkonvertering
• Performance benchmark for flaskehalsidentifikation
• Eksempelkode og tutorials
• HTML-dokumentation

Snapdragon NPE er kompatibel med Snapdragon 600- og 800-seriens mobile platforme. Ifølge mit skøn vil der være mindst 200 millioner aktive mobile enheder, der kører Snapdragon 600- og 800-seriens processorer. Forhåbentlig vil udviklere drage fordel af denne NPE-platform til at skabe fantastiske AR-oplevelser på mobile enheder. Du kan downloade SDK link..

På en relateret note annoncerede Microsoft tidligere på ugen, at den næste version af HoloLens vil indeholde den anden version af HPU'en, der vil omfatte en AI-coprocessor til indbygget og fleksibelt implementering af Deep Neural Networks. Læs mere om det link..