Công cụ xử lý thần kinh Snapdragon của Qualcomm sẽ mang lại trải nghiệm AR tốt hơn

Apple ARKit sẽ trở thành nền tảng AR lớn nhất trên thế giới khi nó được ra mắt vào cuối năm nay. Hàng trăm triệu thiết bị iPhone và iPad sẽ tương thích với ARKit, nhờ vào CPU và GPU mạnh mẽ đã có sẵn trên các thiết bị này. Để kích hoạt tính năng phát hiện cảnh và theo dõi đối tượng có độ chính xác cao, bạn cần chạy các thuật toán hướng mạng thần kinh trên thiết bị. Các thuật toán này không thể được thực hiện hoàn toàn chạy trên CPU giống như bất kỳ thuật toán nào khác vì chúng đòi hỏi nhiều năng lượng hơn và tiêu thụ nhiều pin hơn. Vì Apple biết chính xác phần cứng bên trong các thiết bị này, họ đã tối ưu hóa ARKit để chạy tốt trên các thiết bị iOS một cách tiết kiệm điện năng.

Mặt khác, Google không thể làm điều tương tự vì hệ sinh thái Android của họ được xây dựng trên nhiều loại CPU và GPU từ các nhà cung cấp khác nhau như Qualcomm, Samsung, MediaTek, v.v. và khả năng của chúng rất khác nhau. Qualcomm, nhà sản xuất bộ xử lý di động phổ biến nhất đang cố gắng giải quyết vấn đề này bằng cách sử dụng SDK Công cụ xử lý thần kinh (NPE). Snapdragon NPE là một khung phần mềm học sâu được thiết kế cho Nền tảng di động Snapdragon. Nó giúp các nhà phát triển chạy một hoặc nhiều mô hình mạng thần kinh được đào tạo về Caffe / Caffe2 hoặc TensorFlow trên nền tảng di động Snapdragon, cho dù đó là CPU, GPU hay DSP. Nó hỗ trợ cả mạng nơ-ron phức hợp và các lớp tùy chỉnh.

• Snapdragon NPE được thiết kế để giúp các nhà phát triển tiết kiệm thời gian và công sức trong việc tối ưu hóa hiệu suất của các mạng thần kinh được đào tạo trên các thiết bị có Snapdragon.
• Nó thực hiện điều này bằng cách cung cấp các công cụ để chuyển đổi và thực thi mô hình cũng như các API để nhắm mục tiêu lõi với cấu hình sức mạnh và hiệu suất để phù hợp với trải nghiệm người dùng mong muốn.
• Các nhà phát triển có thể tận dụng trải nghiệm người dùng học sâu như chuyển kiểu và bộ lọc (thực tế tăng cường), phát hiện cảnh, nhận dạng khuôn mặt, hiểu ngôn ngữ tự nhiên, theo dõi và tránh đối tượng, cử chỉ và nhận dạng văn bản để đặt tên cho một số.

Ví dụ, Facebook đang có kế hoạch tích hợp Snapdragon NPE vào camera của ứng dụng Facebook để tăng tốc các tính năng AR hỗ trợ Caffe2. Do đó, chúng có thể đạt được hiệu suất tốt hơn gấp 5 lần trên GPU Adreno, so với việc triển khai CPU thông thường, giúp ứng dụng các tính năng AR trôi chảy, liền mạch và thực tế hơn khi chụp ảnh và quay video trực tiếp.

Snapdragon NPE SDK bao gồm những thứ sau:

• Thời gian chạy Android và Linux để thực thi mô hình mạng thần kinh
• Hỗ trợ tăng tốc cho Qualcomm Hexagon DSP, Qualcomm Adreno GPU và Qualcomm Kryo, CPU
• Hỗ trợ cho các mô hình ở các định dạng Caffe, Caffe2 và TensorFlow³
• Các API để kiểm soát tải, thực thi và lập lịch trên thời gian chạy
• Công cụ máy tính để bàn để chuyển đổi mô hình
• Tiêu chuẩn hiệu suất để xác định nút cổ chai
• Mã mẫu và hướng dẫn
• Tài liệu HTML

Snapdragon NPE tương thích với các Nền tảng Di động Dòng Snapdragon 600 và 800. Theo ước tính của tôi, sẽ có ít nhất 200 triệu thiết bị di động đang hoạt động chạy bộ vi xử lý Snapdragon 600 và 800 series. Hy vọng rằng các nhà phát triển sẽ tận dụng nền tảng NPE này để tạo ra những trải nghiệm AR tuyệt vời trên thiết bị di động. Bạn có thể tải xuống SDK tại đây.

Trên một lưu ý liên quan, đầu tuần này, Microsoft đã thông báo rằng phiên bản tiếp theo của HoloLens sẽ có phiên bản thứ hai của HPU, bao gồm một bộ đồng xử lý AI để triển khai Deep Neural Networks nguyên bản và linh hoạt. Đọc thêm về nó tại đây.