Il motore di elaborazione neurale Snapdragon di Qualcomm consentirà esperienze AR migliori

Apple ARKit sarà la più grande piattaforma AR al mondo quando verrà lanciata entro la fine dell'anno. Centinaia di milioni di dispositivi iPhone e iPad saranno compatibili con ARKit, grazie alle potenti CPU e GPU già disponibili su questi dispositivi. Per abilitare il rilevamento delle scene e il tracciamento degli oggetti estremamente accurati, è necessario eseguire algoritmi basati sulla rete neurale sul dispositivo. Questi algoritmi non possono essere eseguiti interamente sulla CPU come qualsiasi altro algoritmo poiché richiedono più potenza e consumano più batteria. Poiché Apple conosce esattamente l'hardware all'interno di questi dispositivi, ha ottimizzato ARKit per funzionare bene sui dispositivi iOS in modo efficiente dal punto di vista energetico.

Google, d'altra parte, non può fare lo stesso poiché il loro ecosistema Android è basato su un'ampia varietà di modelli di CPU e GPU di diversi fornitori come Qualcomm, Samsung, MediaTek, ecc. E le loro capacità variano notevolmente. Qualcomm, il produttore di processori mobile più popolare, sta cercando di risolvere questo problema utilizzando l'SDK Neural Processing Engine (NPE). Snapdragon NPE è un framework software di deep learning progettato per piattaforme mobili Snapdragon. Aiuta gli sviluppatori a eseguire uno o più modelli di rete neurale addestrati in Caffe/Caffe2 o TensorFlow su piattaforme mobili Snapdragon, indipendentemente dal fatto che si tratti di CPU, GPU o DSP. Supporta sia le reti neurali convoluzionali che i livelli personalizzati.

• Snapdragon NPE è progettato per aiutare gli sviluppatori a risparmiare tempo e fatica nell'ottimizzazione delle prestazioni delle reti neurali addestrate sui dispositivi con Snapdragon.
• Lo fa fornendo strumenti per la conversione e l'esecuzione del modello, nonché API per indirizzare il core con il profilo di potenza e prestazioni per abbinare l'esperienza utente desiderata.
• Gli sviluppatori possono sfruttare esperienze utente di deep learning come trasferimenti e filtri di stile (realtà aumentata), rilevamento di scene, riconoscimento facciale, comprensione del linguaggio naturale, rilevamento ed evitamento degli oggetti, gesti e riconoscimento del testo, solo per citarne alcuni.

Facebook, ad esempio, sta pianificando di integrare Snapdragon NPE nella fotocamera dell'app Facebook per accelerare le funzionalità AR basate su Caffe2. Di conseguenza, possono ottenere prestazioni 5 volte migliori sulla GPU Adreno, rispetto a un'implementazione CPU generica, risultando in un'applicazione più fluida, perfetta e realistica delle funzionalità AR durante l'acquisizione di foto e video dal vivo.

Snapdragon NPE SDK include quanto segue:

• Runtime Android e Linux per l'esecuzione del modello di rete neurale
• Supporto dell'accelerazione per DSP Qualcomm Hexagon, GPU Qualcomm Adreno e Qualcomm Kryo, CPU
• Supporto per modelli nei formati Caffe, Caffe2 e TensorFlow³
• API per il controllo del caricamento, dell'esecuzione e della pianificazione sui runtime
• Strumenti desktop per la conversione del modello
• Benchmark delle prestazioni per l'identificazione dei colli di bottiglia
• Esempio di codice e tutorial
• Documentazione HTML

Snapdragon NPE è compatibile con le piattaforme mobili Snapdragon serie 600 e 800. Secondo la mia stima, ci saranno almeno 200 milioni di dispositivi mobili attivi con processori Snapdragon serie 600 e 800. Si spera che gli sviluppatori traggano vantaggio da questa piattaforma NPE per creare fantastiche esperienze AR su dispositivi mobili. È possibile scaricare l'SDK qui.

In una nota correlata, Microsoft all'inizio di questa settimana ha annunciato che la prossima versione di HoloLens presenterà la seconda versione dell'HPU che includerà un coprocessore AI per implementare in modo nativo e flessibile le reti neurali profonde. Leggi di più a riguardo qui.