NVIDIA a Google spolupracují na optimalizaci nového Google Gemma na GPU NVIDIA

Zatímco Microsoft nedávno oznámil své rozhodnutí odklonit se od GPU NVIDIA ve prospěch vlastních čipů, Google zvolil opačný přístup a ve spolupráci s NVIDIA optimalizoval svůj nový odlehčený jazykový model Gemma na GPU NVIDIA.

Pupen je odlehčený jazykový model vyvinutý společností Google. Na rozdíl od tradičních velkých jazykových modelů (LLM), které vyžadují obrovské výpočetní zdroje, se Gemma může pochlubit menší velikostí (verze 2 miliardy a 7 miliard parametrů) a zároveň nabízí působivé možnosti.

Cílem této spolupráce je výrazně zlepšit dostupnost a výkon Gemmy, zrychlit ji a zpřístupnit ji na různých platformách.

Tato knihovna s otevřeným zdrojovým kódem optimalizuje vyvozování LLM a umožňuje rychlejší výkon na GPU NVIDIA v datových centrech, cloudových prostředích a dokonce i na osobních počítačích vybavených GPU NVIDIA RTX. Spolupráce se zaměřuje na více než 100 milionů GPU NVIDIA RTX po celém světě a cloudové platformy s H100 a připravovanými GPU H200.

Sada AI Enterprise od NVIDIA, včetně rámce NeMo a TensorRT-LLM, umožňuje vývojářům vyladit a nasadit Gemmu pro konkrétní případy použití.

Uživatelé mohou přímo komunikovat s Gemmou prostřednictvím NVIDIA AI Playground a brzy také prostřednictvím ukázky Chat with RTX, což jim umožní personalizovat chatboty pomocí jejich dat.

S Microsoft se distancuje od NVIDIAKrok společnosti Google k optimalizaci své technologie na GPU NVIDIA naznačuje možné posílení jejich partnerství. To by mohlo vést k dalšímu pokroku v oblasti umělé inteligence a jazykového modelování, z čehož budou mít prospěch vývojáři i uživatelé.

Zaměření na místní zpracování prostřednictvím GPU RTX navíc uživatelům umožňuje větší kontrolu nad jejich daty a soukromím, což může potenciálně řešit problémy spojené s cloudovými službami LLM.

Více zde.