Microsoft 的 ONNX Runtime Web 将生成式 AI 引入 Web 浏览器
2分钟读
发表于
分享此文章
改进本指南
重点说明
- ONNX Runtime Web 中的 WebGPU 集成提高了 Web 浏览器中复杂机器学习模型的性能。
- WebGPU 利用设备的 GPU 来加快执行速度，从而有可能支持新的基于浏览器的 AI 应用程序。
- 该技术还处于早期阶段，目前受 Chrome 和 Edge 浏览器支持。
ONNX Runtime Web 现在支持 WebGPU，这是一种 Web API，可为在 Web 浏览器中运行的机器学习模型启用硬件加速。 ONNX Runtime Web 是一个 JavaScript 库，允许 Web 开发人员直接在 Web 浏览器中部署机器学习模型，提供利用硬件加速的多个后端。对于 CPU 推理，它将本机 ONNX 运行时 CPU 引擎编译到 WebAssembly (WASM) 后端。现在，人们可以想象在 Web 浏览器中实时生成高质量图像或分割对象，而无需依赖服务器。
此前，复杂的机器学习模型，尤其是大型生成模型，由于计算能力有限，无法在网络浏览器中高效运行。但 WebGPU 可以释放设备 GPU 的能力来执行这些任务，从而显着提高性能。
WebGPU 能够通过计算着色器等高级功能以更有效的方式处理更复杂的机器学习工作负载。它对半精度 (FP16) 的支持减少了 GPU 内存使用和带宽要求，同时加速了算术。 WebGPU 承诺通过利用 GPU 能力执行并行计算任务，直接在 Web 浏览器中推断更高效、可扩展的机器学习应用程序。
这对你是什么意思呢？
现在，您可以通过图像生成等实时应用程序在浏览器中体验更快、更强大的人工智能。这样无需将数据发送到服务器进行处理，从而确保数据的私密性和安全性。
WebGPU 现在默认包含在适用于 Mac、Windows、ChromeOS 的 Chrome 113 和 Edge 113 以及适用于 Android 的 Chrome 121 中。只需确保浏览器兼容性并使用 ONNX Runtime Web 查找用于 WebGPU 加速的资源即可。
这一进步无疑为未来铺平了道路，让您可以在网络浏览器中轻松使用和访问强大的人工智能功能。
更深入的细节是 相关信息.
