Qualcommin Snapdragon Neural Processing Engine mahdollistaa paremman AR-kokemuksen
3 min. lukea
Julkaistu
Jaa tämä artikkeli
Paranna tätä ohjetta
Lue ilmoitussivumme saadaksesi selville, kuinka voit auttaa MSPoweruseria ylläpitämään toimitustiimiä Lue lisää
Apple ARKit tulee olemaan maailman suurin AR-alusta, kun se julkaistaan myöhemmin tänä vuonna. Sadat miljoonat iPhone- ja iPad-laitteet ovat yhteensopivia ARKitin kanssa tehokkaan CPU:n ja GPU:n ansiosta, jotka ovat jo saatavilla näissä laitteissa. Jotta voit ottaa erittäin tarkan kohtauksen tunnistuksen ja objektien seurannan käyttöön, sinun on suoritettava laitteella hermoverkkoohjattuja algoritmeja. Näitä algoritmeja ei voida saada toimimaan kokonaan prosessorilla, kuten muitakin algoritmeja, koska ne vaativat enemmän tehoa ja kuluttavat enemmän akkua. Koska Apple tuntee tarkasti näiden laitteiden sisällä olevat laitteistot, he ovat optimoineet ARKitin toimimaan hyvin iOS-laitteissa energiatehokkaalla tavalla.
Google toisaalta ei voi tehdä samaa, koska heidän Android-ekosysteeminsä on rakennettu useiden eri valmistajien, kuten Qualcommin, Samsungin, MediaTekin jne., suoritin- ja grafiikkasuoritinmalleihin, ja niiden ominaisuudet vaihtelevat dramaattisesti. Qualcomm, suosituin mobiiliprosessorien valmistaja, yrittää ratkaista tämän ongelman käyttämällä Neural Processing Engine (NPE) SDK:ta. Snapdragon NPE on syväoppimisen ohjelmistokehys, joka on suunniteltu Snapdragon Mobile Platforms -alustoille. Se auttaa kehittäjiä ajamaan yhtä tai useampaa hermoverkkomallia, jotka on koulutettu Caffe/Caffe2:lla tai TensorFlow'lla Snapdragonin mobiilialustoilla, olipa kyseessä sitten CPU, GPU tai DSP. Se tukee sekä konvoluutiohermoverkkoja että mukautettuja kerroksia.
- Snapdragon NPE on suunniteltu auttamaan kehittäjiä säästämään aikaa ja vaivaa koulutettujen hermoverkkojen suorituskyvyn optimoinnissa Snapdragon-laitteissa.
- Se tekee tämän tarjoamalla työkaluja mallien muuntamiseen ja suorittamiseen sekä sovellusliittymiä ytimeen kohdistamiseksi teho- ja suorituskykyprofiililla halutun käyttökokemuksen mukaan.
- Kehittäjät voivat hyödyntää syväoppivia käyttäjäkokemuksia, kuten tyylin siirtoja ja suodattimia (lisätty todellisuus), kohtausten havaitsemista, kasvojentunnistusta, luonnollisen kielen ymmärtämistä, esineiden seurantaa ja välttämistä, eleistä ja tekstintunnistusta muutamia mainitaksemme.
Facebook esimerkiksi suunnittelee integroivansa Snapdragon NPE:n Facebook-sovelluksen kameraan nopeuttaakseen Caffe2-käyttöisiä AR-ominaisuuksia. Tämän seurauksena ne voivat saavuttaa 5x paremman suorituskyvyn Adreno GPU:ssa verrattuna yleiseen CPU-toteutukseen, mikä johtaa sulavampaan, saumattomampaan ja realistisempaan AR-ominaisuuksien käyttöön valokuvien ja live-videoiden tallentamisessa.
Snapdragon NPE SDK sisältää seuraavat:
- Android- ja Linux-ajoajat hermoverkkomallin suorittamiseen
- Kiihdytyksen tuki Qualcomm Hexagon DSP:ille, Qualcomm Adreno GPU:ille ja Qualcomm Kryolle, prosessoreille
- Tuki malleille Caffe-, Caffe2- ja TensorFlow-muodoissa3
- API:t latauksen, suorituksen ja ajonaikataulun ohjaamiseen
- Työpöytätyökalut mallin muuntamiseen
- Suorituskykymittari pullonkaulojen tunnistamiseen
- Esimerkkikoodi ja opetusohjelmat
- HTML-dokumentaatio
Snapdragon NPE on yhteensopiva Snapdragon 600- ja 800-sarjan mobiilialustojen kanssa. Arvioni mukaan aktiivisia mobiililaitteita tulee olemaan ainakin 200 miljoonaa, joissa on Snapdragon 600- ja 800-sarjan prosessorit. Toivottavasti kehittäjät hyödyntävät tätä NPE-alustaa luodakseen mahtavia AR-kokemuksia mobiililaitteissa. Voit ladata SDK:n tätä.
Asiaan liittyen Microsoft ilmoitti aiemmin tällä viikolla, että HoloLensin seuraava versio sisältää HPU:n toisen version, joka sisältää tekoälyn apuprosessorin Deep Neural Networksin natiivisti ja joustavasti toteuttamiseksi. Lue lisää siitä tätä.
