NVIDIA și Google se asociază pentru a optimiza noul Google Gemma pe GPU-urile NVIDIA
2 min. citit
Publicat în data de
Distribuiți acest articol
Îmbunătățiți acest ghid
Citiți pagina noastră de dezvăluire pentru a afla cum puteți ajuta MSPoweruser să susțină echipa editorială Află mai multe
Note cheie
- Microsoft renunță la NVIDIA, iar Google le acceptă pentru optimizarea noului său model AI.
- TensorRT-LLM de la NVIDIA accelerează Gemma de la Google pe diverse platforme, inclusiv PC-uri locale.
- Dezvoltatorii au acces la instrumente pentru reglarea fină și implementarea Gemma pentru nevoi specifice.
În timp ce Microsoft și-a anunțat recent decizia de a renunța la GPU-urile NVIDIA în favoarea cipurilor sale personalizate, Google a adoptat o abordare opusă, colaborând cu NVIDIA pentru a optimiza noul său model de limbaj ușor, Gemma, pe GPU-urile NVIDIA.
Mugur este model de limbaj ușor dezvoltat de Google. Spre deosebire de modelele tradiționale de limbaj mari (LLM) care necesită resurse de calcul imense, Gemma se mândrește cu o dimensiune mai mică (versiuni cu 2 miliarde și 7 miliarde de parametri), oferind în același timp capabilități impresionante.
Această colaborare își propune să îmbunătățească în mod semnificativ accesibilitatea și performanța Gemma, făcându-l mai rapid și mai disponibil pe diverse platforme.
Această bibliotecă open-source optimizează inferența LLM, permițând performanțe mai rapide pe GPU-urile NVIDIA din centrele de date, mediile cloud și chiar computerele personale echipate cu GPU-uri NVIDIA RTX. Colaborarea vizează peste 100 de milioane de GPU-uri NVIDIA RTX la nivel global și platforme cloud care includ GPU-uri H100 și viitoarele H200.
Suita AI Enterprise de la NVIDIA, inclusiv cadrul NeMo și TensorRT-LLM, dă putere dezvoltatorilor să ajusteze și să implementeze Gemma pentru cazuri de utilizare specifice.
Utilizatorii pot interacționa direct cu Gemma prin NVIDIA AI Playground și, în curând, prin demo Chat with RTX, permițându-le să personalizeze chatbot-urile cu datele lor.
cu Microsoft se distanțează de NVIDIA, mișcarea Google de a-și optimiza tehnologia pe GPU-urile NVIDIA sugerează potențiala consolidarea parteneriatului lor. Acest lucru ar putea duce la noi progrese în modelarea AI și a limbajului, avantajând atât dezvoltatorii, cât și utilizatorii.
În plus, concentrarea asupra procesării locale prin GPU-uri RTX oferă utilizatorilor un control mai mare asupra datelor și confidențialitatea lor, abordând posibil problemele asociate cu serviciile LLM bazate pe cloud.
Mai Mult aici.
