Microsoft의 ONNX Runtime Web은 웹 브라우저에 Generative AI를 제공합니다.

ONNX Runtime Web은 이제 웹 브라우저에서 실행되는 기계 학습 모델에 대한 하드웨어 가속을 가능하게 하는 웹 API인 WebGPU를 지원합니다. ONNX Runtime Web은 웹 개발자가 기계 학습 모델을 웹 브라우저에 직접 배포할 수 있게 해주는 JavaScript 라이브러리로, 하드웨어 가속을 활용하는 여러 백엔드를 제공합니다. CPU 추론을 위해 기본 ONNX 런타임 CPU 엔진을 WebAssembly(WASM) 백엔드로 컴파일합니다. 이제 서버에 의존하지 않고 웹 브라우저 내에서 실시간으로 고품질 이미지를 생성하거나 개체를 분할하는 것을 상상할 수 있습니다.

이전에는 복잡한 기계 학습 모델, 특히 대규모 생성 모델은 제한된 계산 능력으로 인해 웹 브라우저에서 효율적으로 실행될 수 없었습니다. 그러나 WebGPU는 이러한 작업을 위해 장치의 GPU 성능을 잠금 해제하여 성능을 크게 향상시킬 수 있습니다.

WebGPU는 컴퓨팅 셰이더와 같은 고급 기능을 통해 보다 효율적인 방식으로 보다 복잡한 기계 학습 워크로드를 처리할 수 있습니다. 반정밀도(FP16) 지원으로 연산 속도를 높이는 동시에 GPU 메모리 사용량과 대역폭 요구 사항을 줄입니다. WebGPU는 병렬 계산 작업을 위해 GPU 성능을 활용하여 웹 브라우저 내에서 직접 더 효율적이고 확장 가능한 기계 학습 애플리케이션을 추론할 것을 약속합니다.

이 당신을 위해 무엇을 의미 하는가?

이제 이미지 생성과 같은 실시간 애플리케이션을 통해 브라우저에서 더 빠르고 강력한 AI를 경험할 수 있습니다. 이렇게 하면 처리를 위해 데이터를 서버로 보낼 필요가 없어 데이터를 비공개로 안전하게 유지할 수 있습니다. 

이제 WebGPU는 Mac용 Chrome 113 및 Edge 113, Windows, ChromeOS, Android용 Chrome 121에 기본적으로 포함됩니다. ONNX Runtime Web을 통해 브라우저 호환성을 확인하고 WebGPU 가속을 위한 리소스를 찾으세요.

이러한 발전은 웹 브라우저 내에서 강력한 AI 기능을 쉽게 사용할 수 있고 액세스할 수 있는 미래를 위한 길을 열어줍니다.

더 자세한 내용은 여기에서 지금 확인해 보세요..