Qualcomm'un Snapdragon Sinir İşleme Motoru daha iyi AR deneyimleri sağlayacak
3 dk. okuman
Yayınlandı
Bu makaleyi paylaş
Bu kılavuzu geliştirin
MSPoweruser'ın editör ekibini ayakta tutmasına nasıl yardımcı olabileceğinizi öğrenmek için açıklama sayfamızı okuyun. Daha fazla
Apple ARKit, bu yıl piyasaya çıktığında dünyanın en büyük AR platformu olacak. Yüz milyonlarca iPhone ve iPad cihazı, bu cihazlarda halihazırda bulunan güçlü CPU ve GPU sayesinde ARKit ile uyumlu olacak. Yüksek doğrulukta sahne algılama ve nesne izlemeyi etkinleştirmek için cihaz üzerinde sinir ağı güdümlü algoritmalar çalıştırmanız gerekir. Bu algoritmalar, daha fazla güç gerektirdiğinden ve daha fazla pil tükettiğinden, diğer algoritmalar gibi tamamen CPU üzerinde çalıştırılamaz. Apple, bu cihazların içindeki donanımı tam olarak bildiğinden, ARKit'i iOS cihazlarda güç açısından verimli bir şekilde iyi çalışacak şekilde optimize ettiler.
Öte yandan Google, Android ekosistemi Qualcomm, Samsung, MediaTek, vb. gibi farklı satıcılardan çok çeşitli CPU ve GPU modelleri üzerine kurulduğundan ve yetenekleri önemli ölçüde değiştiğinden aynı şeyi yapamaz. En popüler mobil işlemci üreticisi Qualcomm, bu sorunu Neural Processing Engine (NPE) SDK'sını kullanarak çözmeye çalışıyor. Snapdragon NPE, Snapdragon Mobil Platformları için tasarlanmış bir derin öğrenme yazılımı çerçevesidir. Geliştiricilerin, CPU, GPU veya DSP olsun, Snapdragon mobil platformlarında Caffe/Caffe2 veya TensorFlow'da eğitilmiş bir veya daha fazla sinir ağı modelini çalıştırmasına yardımcı olur. Hem evrişimli sinir ağlarını hem de özel katmanları destekler.
- Snapdragon NPE, geliştiricilerin Snapdragon'lu cihazlarda eğitimli sinir ağlarının performansını optimize etmede zamandan ve emekten tasarruf etmelerine yardımcı olmak için tasarlanmıştır.
- Bunu, istenen kullanıcı deneyimini eşleştirmek için güç ve performans profili ile çekirdeği hedeflemek için API'lerin yanı sıra model dönüştürme ve yürütme araçları sağlayarak yapar.
- Geliştiriciler, stil aktarımları ve filtreler (artırılmış gerçeklik), sahne algılama, yüz tanıma, doğal dil anlama, nesne izleme ve kaçınma, el hareketi ve metin tanıma gibi derin öğrenme kullanıcı deneyimlerinden birkaçını kullanabilir.
Örneğin Facebook, Caffe2 destekli AR özelliklerini hızlandırmak için Snapdragon NPE'yi Facebook uygulamasının kamerasına entegre etmeyi planlıyor. Sonuç olarak, fotoğraf ve canlı video çekerken AR özelliklerinin daha akıcı, sorunsuz ve gerçekçi bir şekilde uygulanmasıyla sonuçlanan genel bir CPU uygulamasına kıyasla Adreno GPU'da 5 kat daha iyi performans elde edebilirler.
Snapdragon NPE SDK şunları içerir:
- Sinir ağı modeli yürütmesi için Android ve Linux çalışma zamanları
- Qualcomm Hexagon DSP'ler, Qualcomm Adreno GPU'lar ve Qualcomm Kryo, CPU'lar için hızlandırma desteği
- Caffe, Caffe2 ve TensorFlow formatlarındaki modeller için destek3
- Çalışma zamanlarında yükleme, yürütme ve zamanlamayı denetlemek için API'ler
- Model dönüştürme için masaüstü araçları
- Darboğaz tanımlaması için performans karşılaştırması
- Örnek kod ve öğreticiler
- HTML Belgeleri
Snapdragon NPE, Snapdragon 600 ve 800 Serisi Mobil Platformlarla uyumludur. Tahminime göre Snapdragon 200 ve 600 serisi işlemcileri çalıştıran en az 800 milyon aktif mobil cihaz olacak. Geliştiricilerin mobil cihazlarda harika AR deneyimleri oluşturmak için bu NPE platformundan yararlanacağını umuyoruz. SDK'yı indirebilirsiniz okuyun.
İlgili bir notta, Microsoft bu haftanın başlarında HoloLens'in bir sonraki sürümünün, Derin Sinir Ağlarını yerel ve esnek bir şekilde uygulamak için bir AI yardımcı işlemcisi içerecek olan HPU'nun ikinci sürümünü içereceğini duyurdu. Bu konuda daha fazlasını okuyun okuyun.
