Mesin Pemrosesan Neural Snapdragon Qualcomm akan memungkinkan pengalaman AR yang lebih baik

Apple ARKit akan menjadi platform AR terbesar di dunia saat diluncurkan akhir tahun ini. Ratusan juta perangkat iPhone dan iPad akan kompatibel dengan ARKit, berkat CPU dan GPU yang kuat yang sudah tersedia di perangkat ini. Untuk mengaktifkan deteksi pemandangan dan pelacakan objek yang sangat akurat, Anda perlu menjalankan algoritme berbasis jaringan saraf di perangkat. Algoritme ini tidak dapat dijalankan sepenuhnya pada CPU seperti halnya algoritme lainnya karena memerlukan lebih banyak daya dan menghabiskan lebih banyak baterai. Karena Apple mengetahui persis perangkat keras di dalam perangkat ini, mereka telah mengoptimalkan ARKit untuk berjalan dengan baik di perangkat iOS dengan cara yang hemat daya.

Google di sisi lain tidak dapat melakukan hal yang sama karena ekosistem Android mereka dibangun di atas berbagai model CPU dan GPU dari vendor yang berbeda seperti Qualcomm, Samsung, MediaTek, dll, dan kemampuannya sangat bervariasi. Qualcomm, pembuat prosesor seluler paling populer sedang mencoba menyelesaikan masalah ini menggunakan SDK Neural Processing Engine (NPE). Snapdragon NPE adalah kerangka kerja perangkat lunak pembelajaran mendalam yang dirancang untuk Platform Seluler Snapdragon. Ini membantu pengembang menjalankan satu atau beberapa model jaringan saraf yang terlatih dalam Caffe/Caffe2 atau TensorFlow pada platform seluler Snapdragon, baik itu CPU, GPU, atau DSP. Ini mendukung jaringan saraf convolutional dan lapisan khusus.

• Snapdragon NPE dirancang untuk membantu pengembang menghemat waktu dan tenaga dalam mengoptimalkan kinerja jaringan saraf terlatih pada perangkat dengan Snapdragon.
• Ini dilakukan dengan menyediakan alat untuk konversi dan eksekusi model serta API untuk menargetkan inti dengan profil kekuatan dan kinerja agar sesuai dengan pengalaman pengguna yang diinginkan.
• Pengembang dapat memanfaatkan pengalaman pengguna pembelajaran mendalam seperti transfer gaya dan filter (augmented reality), deteksi adegan, pengenalan wajah, pemahaman bahasa alami, pelacakan dan penghindaran objek, isyarat, dan pengenalan teks untuk beberapa nama.

Facebook misalnya berencana untuk mengintegrasikan Snapdragon NPE ke dalam kamera aplikasi Facebook untuk mempercepat fitur AR bertenaga Caffe2. Hasilnya, mereka dapat mencapai kinerja 5x lebih baik pada GPU Adreno, dibandingkan dengan implementasi CPU generik yang menghasilkan aplikasi fitur AR yang lebih lancar, mulus, dan realistis saat mengambil foto dan video langsung.

Snapdragon NPE SDK mencakup yang berikut ini:

• Waktu proses Android dan Linux untuk eksekusi model jaringan saraf
• Dukungan akselerasi untuk DSP Qualcomm Hexagon, GPU Qualcomm Adreno dan Qualcomm Kryo, CPU
• Dukungan untuk model dalam format Caffe, Caffe2 dan TensorFlow³
• API untuk mengontrol pemuatan, eksekusi, dan penjadwalan pada waktu proses
• Alat desktop untuk konversi model
• Tolok ukur kinerja untuk identifikasi kemacetan
• Contoh kode dan tutorial
• Dokumentasi HTML

Snapdragon NPE kompatibel dengan Platform Mobile Snapdragon 600 dan 800 Series. Menurut perkiraan saya, setidaknya akan ada 200 juta perangkat seluler aktif yang menjalankan prosesor seri Snapdragon 600 dan 800. Mudah-mudahan, pengembang akan memanfaatkan platform NPE ini untuk menciptakan pengalaman AR yang luar biasa di perangkat seluler. Anda dapat mengunduh SDK di sini.

Pada catatan terkait, Microsoft awal pekan ini mengumumkan bahwa versi HoloLens berikutnya akan menampilkan versi kedua dari HPU yang akan menyertakan coprocessor AI untuk mengimplementasikan Deep Neural Networks secara native dan fleksibel. Baca lebih lanjut tentang itu di sini.