NVIDIA i Google partneri za optimizaciju nove Google Gemme na NVIDIA GPU-ovima
2 min. čitati
Objavljeno na
Podijelite ovaj članak
Poboljšajte ovaj vodič
Pročitajte našu stranicu za otkrivanje kako biste saznali kako možete pomoći MSPoweruseru da održi urednički tim Čitaj više
Ključne napomene
- Microsoft se odriče NVIDIA-e, a Google ih prihvaća za optimizaciju svog novog modela umjetne inteligencije.
- NVIDIA-in TensorRT-LLM ubrzava Googleovu Gemmu na raznim platformama, uključujući lokalna računala.
- Programeri dobivaju pristup alatima za fino podešavanje i implementaciju Gemme za specifične potrebe.
Dok je Microsoft nedavno objavio svoju odluku da se udalji od NVIDIA GPU-a u korist svojih prilagođenih čipova, Google je zauzeo suprotan pristup, surađujući s NVIDIA-om kako bi optimizirao svoj novi lagani jezični model, Gemma, na NVIDIA GPU-u.
Pupoljak je lagani jezični model razvio Google. Za razliku od tradicionalnih velikih jezičnih modela (LLM) koji zahtijevaju goleme računalne resurse, Gemma se može pohvaliti manjom veličinom (2 milijarde i 7 milijardi verzija parametara), a istovremeno nudi impresivne mogućnosti.
Ova suradnja ima za cilj značajno poboljšati pristupačnost i izvedbu Gemme, čineći je bržom i dostupnijom na različitim platformama.
Ova biblioteka otvorenog koda optimizira zaključivanje LLM-a, omogućavajući brže performanse na NVIDIA GPU-ovima u podatkovnim centrima, okruženjima oblaka, pa čak i osobnim računalima opremljenim NVIDIA RTX GPU-ovima. Suradnja cilja na više od 100 milijuna NVIDIA RTX GPU-a globalno i platforme u oblaku s H100 i nadolazećim H200 GPU-ima.
NVIDIA-in AI Enterprise paket, uključujući NeMo framework i TensorRT-LLM, omogućuje razvojnim programerima fino podešavanje i implementaciju Gemme za specifične slučajeve upotrebe.
Korisnici mogu izravno komunicirati s Gemmom putem NVIDIA AI Playgrounda i, uskoro, putem Chat with RTX demo, što im omogućuje da personaliziraju chatbotove sa svojim podacima.
S Microsoft se distancira od NVIDIE, Googleov potez da optimizira svoju tehnologiju na NVIDIA GPU-ima sugerira potencijalno jačanje njihovog partnerstva. To bi moglo dovesti do daljnjeg napretka umjetne inteligencije i modeliranja jezika, od čega će imati koristi i programeri i korisnici.
Dodatno, fokusiranje na lokalnu obradu putem RTX GPU-a omogućuje korisnicima veću kontrolu nad njihovim podacima i privatnošću, potencijalno rješavajući probleme povezane s LLM uslugama temeljenim na oblaku.
more ovdje.
