Partnerja NVIDIA in Google za optimizacijo novega Google Gemma na grafičnih procesorjih NVIDIA
2 min. prebrati
Objavljeno dne
Dajte v skupno rabo ta članek
Izboljšajte ta vodnik
Preberite našo stran za razkritje, če želite izvedeti, kako lahko pomagate MSPoweruser vzdrževati uredniško skupino Preberi več
Ključne opombe
- Microsoft se odreče NVIDIA, Google pa jih sprejme za optimizacijo svojega novega modela AI.
- NVIDIA TensorRT-LLM pospeši Googlovo Gemmo na različnih platformah, vključno z lokalnimi osebnimi računalniki.
- Razvijalci dobijo dostop do orodij za natančno prilagajanje in uvajanje Gemme za posebne potrebe.
Medtem ko je Microsoft pred kratkim objavil svojo odločitev, da se bo oddaljil od grafičnih procesorjev NVIDIA v korist svojih čipov po meri, je Google ubral nasprotni pristop in sodeloval z NVIDIA pri optimizaciji svojega novega lahkega jezikovnega modela, Gemma, na grafičnih procesorjih NVIDIA.
Gemma je lahki jezikovni model razvil Google. Za razliko od tradicionalnih velikih jezikovnih modelov (LLM), ki zahtevajo ogromne računalniške vire, se Gemma ponaša z manjšo velikostjo (2 milijardi in 7 milijard različic parametrov), hkrati pa ponuja impresivne zmogljivosti.
Namen tega sodelovanja je znatno izboljšati dostopnost in učinkovitost Gemme, tako da postane hitrejša in širše dostopna na različnih platformah.
Ta odprtokodna knjižnica optimizira sklepanje LLM, kar omogoča hitrejše delovanje na grafičnih procesorjih NVIDIA v podatkovnih centrih, oblačnih okoljih in celo osebnih računalnikih, opremljenih z grafičnimi procesorji NVIDIA RTX. Cilj sodelovanja je več kot 100 milijonov grafičnih procesorjev NVIDIA RTX po vsem svetu in platforme v oblaku, ki vključujejo grafične procesorje H100 in prihajajoče H200.
NVIDIA-in paket AI Enterprise, vključno z ogrodjem NeMo in TensorRT-LLM, razvijalcem omogoča natančno nastavitev in uvajanje Gemme za posebne primere uporabe.
Uporabniki lahko neposredno komunicirajo z Gemmo prek NVIDIA AI Playground in kmalu prek predstavitve Chat with RTX, kar jim omogoča personalizacijo chatbotov s svojimi podatki.
z Microsoft se distancira od NVIDIA, Googlova poteza za optimizacijo svoje tehnologije na grafičnih procesorjih NVIDIA nakazuje potencialno krepitev njihovega partnerstva. To bi lahko pripeljalo do nadaljnjega napredka AI in jezikovnega modeliranja, kar bi koristilo tako razvijalcem kot uporabnikom.
Poleg tega osredotočanje na lokalno obdelavo prek grafičnih procesorjev RTX omogoča uporabnikom večji nadzor nad njihovimi podatki in zasebnostjo, s čimer se lahko odpravijo težave, povezane s storitvami LLM v oblaku.
Več tukaj.
