Microsoftov ONNX Runtime Web prinaša Generative AI v spletni brskalnik
2 min. prebrati
Objavljeno dne
Dajte v skupno rabo ta članek
Izboljšajte ta vodnik
Preberite našo stran za razkritje, če želite izvedeti, kako lahko pomagate MSPoweruser vzdrževati uredniško skupino Preberi več
Ključne opombe
- Integracija WebGPU v ONNX Runtime Web izboljša učinkovitost kompleksnih modelov strojnega učenja v spletnih brskalnikih.
- WebGPU uporablja GPE naprave za hitrejše izvajanje, kar lahko omogoči nove aplikacije AI, ki temeljijo na brskalniku.
- Ta tehnologija je v zgodnji fazi, trenutno jo podpirata brskalnika Chrome in Edge.
ONNX Runtime Web zdaj podpira WebGPU, spletni API, ki omogoča pospeševanje strojne opreme za modele strojnega učenja, ki se izvajajo v spletnih brskalnikih. ONNX Runtime Web je knjižnica JavaScript, ki bo spletnim razvijalcem omogočila uvajanje modelov strojnega učenja neposredno v spletne brskalnike, pri čemer ponuja več ozadij, ki izkoriščajo strojno pospeševanje. Za sklepanje CPE-ja prevede izvorni CPE-motor ONNX Runtime v zaledje WebAssembly (WASM). Zdaj si lahko predstavljamo ustvarjanje visokokakovostnih slik ali segmentiranje predmetov v realnem času, vse v vašem spletnem brskalniku, brez zanašanja na strežnike.
Prej kompleksni modeli strojnega učenja, zlasti veliki generativni modeli, niso mogli učinkovito delovati v spletnih brskalnikih zaradi svoje omejene računalniške moči. Toda WebGPU odklene moč grafičnega procesorja vaše naprave za ta opravila, kar lahko bistveno poveča zmogljivost.
WebGPU je z naprednimi funkcijami, kot je računalniški senčnik, sposoben učinkoviteje obravnavati zahtevnejše delovne obremenitve strojnega učenja. Njegova podpora za polovično natančnost (FP16) zmanjša uporabo pomnilnika GPE in zahteve glede pasovne širine, hkrati pa pospeši aritmetiko. WebGPU obljublja sklepanje o učinkovitejših in razširljivih aplikacijah za strojno učenje neposredno v spletnem brskalniku z izkoriščanjem moči GPE za vzporedne računske naloge.
Kaj to pomeni za vas?
Zdaj lahko v svojem brskalniku izkusite hitrejši in zmogljivejši AI z aplikacijami v realnem času, kot je ustvarjanje slik. To zagotavlja, da so vaši podatki zasebni in varni, saj jih ne pošiljate strežnikom v obdelavo.
WebGPU je zdaj privzeto vključen v Chrome 113 in Edge 113 za Mac, Windows, ChromeOS in Chrome 121 za Android. Samo zagotovite združljivost brskalnika in poiščite vire za pospeševanje WebGPU z ONNX Runtime Web.
Ta napredek zagotovo utira pot v prihodnost, kjer so zmogljive zmogljivosti AI takoj na voljo in dostopne v vašem spletnem brskalniku.
Bolj poglobljene podrobnosti so tukaj.
