เครื่องมือประมวลผลประสาท Snapdragon ของ Qualcomm จะช่วยให้ประสบการณ์ AR ดีขึ้น

Apple ARKit จะเป็นแพลตฟอร์ม AR ที่ใหญ่ที่สุดในโลกเมื่อเปิดตัวในปลายปีนี้ อุปกรณ์ iPhone และ iPad หลายร้อยล้านเครื่องจะเข้ากันได้กับ ARKit ต้องขอบคุณ CPU และ GPU อันทรงพลังที่พร้อมใช้งานบนอุปกรณ์เหล่านี้แล้ว ในการเปิดใช้งานการตรวจจับฉากและการติดตามวัตถุที่แม่นยำสูง คุณต้องเรียกใช้อัลกอริธึมที่ขับเคลื่อนด้วยเครือข่ายประสาทในอุปกรณ์ อัลกอริธึมเหล่านี้ไม่สามารถทำงานบน CPU ได้ทั้งหมดเหมือนกับอัลกอริธึมอื่น ๆ เนื่องจากต้องใช้พลังงานมากขึ้นและใช้พลังงานแบตเตอรี่มากขึ้น เนื่องจาก Apple รู้จักฮาร์ดแวร์ภายในอุปกรณ์เหล่านี้อย่างถ่องแท้ พวกเขาจึงได้ปรับ ARKit ให้ทำงานได้ดีบนอุปกรณ์ iOS ด้วยวิธีประหยัดพลังงาน

ในทางกลับกัน Google ไม่สามารถทำเช่นเดียวกันได้เนื่องจากระบบนิเวศ Android ของพวกเขาสร้างขึ้นจาก CPU และ GPU หลากหลายรุ่นจากผู้จำหน่ายต่างๆ เช่น Qualcomm, Samsung, MediaTek เป็นต้น และความสามารถของพวกเขาแตกต่างกันอย่างมาก Qualcomm ผู้ผลิตโปรเซสเซอร์มือถือยอดนิยมกำลังพยายามแก้ปัญหานี้โดยใช้ Neural Processing Engine (NPE) SDK Snapdragon NPE เป็นเฟรมเวิร์กซอฟต์แวร์การเรียนรู้เชิงลึกที่ออกแบบมาสำหรับแพลตฟอร์มมือถือ Snapdragon ช่วยให้นักพัฒนาเรียกใช้โมเดลโครงข่ายประสาทเทียมอย่างน้อยหนึ่งรุ่นที่ได้รับการฝึกฝนใน Caffe/Caffe2 หรือ TensorFlow บนแพลตฟอร์มมือถือ Snapdragon ไม่ว่าจะเป็น CPU, GPU หรือ DSP รองรับทั้งโครงข่ายประสาทเทียมและเลเยอร์ที่กำหนดเอง

• Snapdragon NPE ได้รับการออกแบบมาเพื่อช่วยให้นักพัฒนาประหยัดเวลาและความพยายามในการเพิ่มประสิทธิภาพการทำงานของเครือข่ายประสาทเทียมที่ได้รับการฝึกอบรมบนอุปกรณ์ที่มี Snapdragon
• ซึ่งทำได้โดยการจัดหาเครื่องมือสำหรับการแปลงโมเดลและการดำเนินการ ตลอดจน API สำหรับการกำหนดเป้าหมายคอร์ด้วยโปรไฟล์ด้านกำลังและประสิทธิภาพเพื่อให้ตรงกับประสบการณ์ของผู้ใช้ที่ต้องการ
• นักพัฒนาสามารถใช้ประโยชน์จากประสบการณ์การเรียนรู้เชิงลึกของผู้ใช้ เช่น การถ่ายโอนรูปแบบและตัวกรอง (ความเป็นจริงเสริม) การตรวจจับฉาก การจดจำใบหน้า การเข้าใจภาษาธรรมชาติ การติดตามและการหลีกเลี่ยงวัตถุ ท่าทางสัมผัส และการจดจำข้อความ เป็นต้น

ตัวอย่างเช่น Facebook กำลังวางแผนที่จะรวม Snapdragon NPE เข้ากับกล้องของแอพ Facebook เพื่อเร่งคุณสมบัติ AR ที่ขับเคลื่อนด้วย Caffe2 เป็นผลให้พวกเขาสามารถบรรลุประสิทธิภาพที่ดีขึ้น 5 เท่าบน Adreno GPU เมื่อเทียบกับการใช้งาน CPU ทั่วไปส่งผลให้ใช้คุณสมบัติ AR ที่ราบรื่นและสมจริงยิ่งขึ้นเมื่อถ่ายภาพและวิดีโอสด

Snapdragon NPE SDK มีดังต่อไปนี้:

• รันไทม์ของ Android และ Linux สำหรับการดำเนินการโมเดลโครงข่ายประสาทเทียม
• รองรับการเร่งความเร็วสำหรับ Qualcomm Hexagon DSP, Qualcomm Adreno GPUs และ Qualcomm Kryo, CPU
• รองรับรุ่นต่างๆ ในรูปแบบ Caffe, Caffe2 และ TensorFlow³
• APIs สำหรับควบคุมการโหลด การดำเนินการ และการจัดตารางเวลาบนรันไทม์
• เครื่องมือเดสก์ท็อปสำหรับการแปลงโมเดล
• เกณฑ์มาตรฐานประสิทธิภาพสำหรับการระบุปัญหาคอขวด
• โค้ดตัวอย่างและแบบฝึกหัด
• เอกสาร HTML

Snapdragon NPE เข้ากันได้กับแพลตฟอร์มมือถือ Snapdragon 600 และ 800 Series ตามการประมาณการของฉัน จะมีอุปกรณ์มือถือที่ใช้งานอย่างน้อย 200 ล้านเครื่องที่ใช้โปรเซสเซอร์ Snapdragon 600 และ 800 ซีรีส์ หวังว่านักพัฒนาจะใช้ประโยชน์จากแพลตฟอร์ม NPE นี้เพื่อสร้างประสบการณ์ AR ที่ยอดเยี่ยมบนอุปกรณ์มือถือ คุณสามารถดาวน์โหลด SDK โปรดคลิกที่นี่เพื่ออ่านรายละเอียดเพิ่มเติม.

ในบันทึกที่เกี่ยวข้อง Microsoft เมื่อต้นสัปดาห์นี้ประกาศว่า HoloLens เวอร์ชันถัดไปจะมี HPU รุ่นที่สองซึ่งจะรวมตัวประมวลผลร่วม AI เพื่อใช้งาน Deep Neural Networks อย่างเป็นธรรมชาติและยืดหยุ่น อ่านเพิ่มเติมเกี่ยวกับมัน โปรดคลิกที่นี่เพื่ออ่านรายละเอียดเพิ่มเติม.