Qualcomm의 Snapdragon 신경 처리 엔진은 더 나은 AR 경험을 가능하게 합니다.

Apple ARKit은 올해 말 출시될 때 세계에서 가장 큰 AR 플랫폼이 될 것입니다. 수억 대의 iPhone 및 iPad 장치는 이미 ARKit에서 사용할 수 있는 강력한 CPU 및 GPU 덕분에 ARKit과 호환됩니다. 고도로 정확한 장면 감지 및 객체 추적을 가능하게 하려면 온디바이스 신경망 기반 알고리즘을 실행해야 합니다. 이러한 알고리즘은 더 많은 전력이 필요하고 더 많은 배터리를 소모하기 때문에 다른 알고리즘과 마찬가지로 CPU에서 완전히 실행될 수 없습니다. Apple은 이러한 장치 내부의 하드웨어를 정확히 알고 있기 때문에 ARKit을 최적화하여 iOS 장치에서 전력 효율적인 방식으로 잘 실행되도록 했습니다.

반면에 Google은 Android 에코시스템이 Qualcomm, Samsung, MediaTek 등과 같은 다양한 공급업체의 다양한 CPU 및 GPU 모델을 기반으로 구축되고 기능이 크게 다르기 때문에 동일한 작업을 수행할 수 없습니다. 가장 인기 있는 모바일 프로세서 제조사인 Qualcomm은 NPE(Neural Processing Engine) SDK를 사용하여 이 문제를 해결하려고 합니다. Snapdragon NPE는 Snapdragon 모바일 플랫폼용으로 설계된 딥 러닝 소프트웨어 프레임워크입니다. 개발자가 CPU, GPU, DSP 등 Snapdragon 모바일 플랫폼에서 Caffe/Caffe2 또는 TensorFlow로 훈련된 하나 이상의 신경망 모델을 실행할 수 있도록 도와줍니다. 컨볼루션 신경망과 맞춤형 레이어를 모두 지원합니다.

• Snapdragon NPE는 개발자가 Snapdragon이 있는 장치에서 훈련된 신경망의 성능을 최적화하는 데 시간과 노력을 절약할 수 있도록 설계되었습니다.
• 원하는 사용자 경험과 일치하는 성능 및 성능 프로필로 코어를 대상으로 하는 API뿐만 아니라 모델 변환 및 실행을 위한 도구를 제공하여 이를 수행합니다.
• 개발자는 스타일 전송 및 필터(증강 현실), 장면 감지, 얼굴 인식, 자연어 이해, 객체 추적 및 회피, 제스처, 텍스트 인식과 같은 딥 러닝 사용자 경험을 활용할 수 있습니다.

예를 들어 Facebook은 Snapdragon NPE를 Facebook 앱의 카메라에 통합하여 Caffe2 기반 AR 기능을 가속화할 계획입니다. 결과적으로 일반 CPU 구현과 비교하여 Adreno GPU에서 5배 더 나은 성능을 달성하여 사진 및 라이브 비디오를 캡처할 때 AR 기능을 보다 유연하고 매끄럽고 사실적으로 적용할 수 있습니다.

Snapdragon NPE SDK에는 다음이 포함됩니다.

• 신경망 모델 실행을 위한 Android 및 Linux 런타임
• Qualcomm Hexagon DSP, Qualcomm Adreno GPU 및 Qualcomm Kryo, CPU에 대한 가속 지원
• Caffe, Caffe2 및 TensorFlow 형식의 모델 지원³
• 런타임에서 로딩, 실행 및 스케줄링을 제어하기 위한 API
• 모델 변환을 위한 데스크탑 도구
• 병목 현상 식별을 위한 성능 벤치마크
• 샘플 코드 및 자습서
• HTML 문서

Snapdragon NPE는 Snapdragon 600 및 800 시리즈 모바일 플랫폼과 호환됩니다. 내 추정에 따르면 Snapdragon 200 및 600 시리즈 프로세서를 실행하는 활성 모바일 장치가 최소 800억 개 있을 것입니다. 개발자들이 이 NPE 플랫폼을 활용하여 모바일 장치에서 훌륭한 AR 경험을 만들 수 있기를 바랍니다. SDK를 다운로드할 수 있습니다. 여기에서 지금 확인해 보세요..

이와 관련하여 이번 주 초 Microsoft는 HoloLens의 다음 버전에 Deep Neural Networks를 기본적으로 유연하게 구현하기 위한 AI 보조 프로세서가 포함된 두 번째 버전의 HPU가 포함될 것이라고 발표했습니다. 자세히 알아보기 여기에서 지금 확인해 보세요..