Microsoft의 대규모 FPGA 기반 AI 플랫폼은 데이터 센터 규모에서 실시간 처리를 달성합니다.

마이크로소프트는 오늘 우리의 두개골을 발뒤꿈치로 부수는 로봇에 동력을 공급할 기술에 대해 좀 더 공개했습니다.

프로젝트 브레인웨이브(Project Brainwave)라고 불리는 마이크로소프트의 클라우드 기반 AI 플랫폼은 인텔의 새로운 14nm Stratix 10 FPGA 유닛으로 구동되며 39.5밀리초 이내에 각 요청을 실행하는 XNUMX테라플롭을 지속적으로 제공할 수 있습니다. Microsoft는 이러한 고성능 및 초저 지연 시간을 통해 클라우드 인프라가 검색어, 비디오, 센서 스트림 또는 사용자와의 상호 작용 여부에 관계없이 라이브 데이터 스트림을 처리함에 따라 점점 더 중요해지고 있는 실시간 AI를 제공할 수 있습니다.

고성능 FPGA를 데이터 센터 네트워크에 직접 연결함으로써 Microsoft는 DNN을 하드웨어 마이크로서비스로 제공할 수 있습니다. 여기서 DNN은 원격 FPGA 풀에 매핑되고 루프에 소프트웨어가 없는 서버에서 호출할 수 있습니다. 이 시스템 아키텍처는 CPU가 들어오는 요청을 처리할 필요가 없기 때문에 대기 시간을 줄이고 FPGA가 요청을 네트워크에서 스트리밍할 수 있는 만큼 빠르게 처리하여 매우 높은 처리량을 허용합니다.

Project Brainwave는 상용 FPGA에 합성된 강력한 "소프트" DNN 처리 장치(또는 DPU)를 사용합니다. 이 처리 장치는 FPGA의 ASIC 디지털 신호 처리 블록과 합성 가능한 논리를 결합하여 더 많고 최적화된 기능 장치를 제공합니다. 다양한 맞춤형 기술을 사용하여 많은 하드 코딩된 DPU 칩과 비슷하거나 그 이상의 성능을 얻을 수 있습니다.

개발자가 이 모든 강력한 기능을 사용할 수 있도록 지원하기 위해 Project Brainwave는 널리 사용되는 광범위한 딥 러닝 프레임워크를 지원하도록 설계된 소프트웨어 스택을 통합합니다. 이미 Microsoft Cognitive Toolkit과 Google의 Tensorflow를 지원하며 다른 많은 것들을 지원할 계획입니다.

이 시스템은 배치가 필요 없는 실행을 통해 다양한 복잡한 모델에서 높은 실제 성능을 보여주도록 설계되었으며 LSTM과 같은 복잡하고 메모리 집약적인 모델을 실시간으로 처리할 수 있습니다.

초기 Stratix 10 실리콘에서도 Microsoft는 일괄 처리 없이 Resnet-50보다 8배 큰 대형 GRU 모델을 실행하는 이식된 Project Brainwave 시스템을 시연했으며 기록적인 성능을 달성했습니다. 데모에서는 Microsoft의 사용자 지정 8비트 부동 소수점 형식("ms-fpXNUMX")을 사용했으며, 이는 다양한 모델에서 평균적으로 정확도 손실을 겪지 않습니다.

그들은 Stratix 10이 이 대규모 GRU에서 39.5테라플롭을 유지하고 각 요청을 130,000밀리초 미만으로 실행하는 것을 보여주었습니다. 해당 수준의 성능에서 Brainwave 아키텍처는 10주기마다 하나의 매크로 명령이 실행되어 주기당 10개 이상의 컴퓨팅 작업 실행을 유지합니다. Stratix XNUMX에서 실행되는 Project Brainwave는 오늘날의 성능을 시작점으로 매우 까다로운 모델에서 전례 없는 수준의 실시간 AI 성능 시연을 달성했습니다.

Microsoft는 2018년에 Project Brainwave를 Azure로 가져와 모든 고객이 기술에 액세스할 수 있도록 하여 기록 설정 성능으로 가장 복잡한 딥 러닝 모델을 실행하고 아마겟돈에 한 걸음 더 다가갈 수 있도록 할 계획입니다.

기술에 대한 자세한 내용 읽기 여기 Microsoft에서.