NVIDIA y Google se asocian para optimizar el nuevo Google Gemma en las GPU NVIDIA
2 minuto. leer
Publicado el
Compartir este artículo
Mejorar esta guía
Lea nuestra página de divulgación para descubrir cómo puede ayudar a MSPoweruser a sostener el equipo editorial. Leer más
Notas clave
- Microsoft abandona a NVIDIA y Google los acoge para optimizar su nuevo modelo de IA.
- TensorRT-LLM de NVIDIA acelera Gemma de Google en varias plataformas, incluidas las PC locales.
- Los desarrolladores obtienen acceso a herramientas para ajustar e implementar Gemma para necesidades específicas.
Si bien Microsoft anunció recientemente su decisión de alejarse de las GPU NVIDIA en favor de sus chips personalizados, Google ha adoptado el enfoque opuesto, colaborando con NVIDIA para optimizar su nuevo modelo de lenguaje liviano, Gemma, en las GPU NVIDIA.
Gema es un modelo de lenguaje ligero desarrollado por Google. A diferencia de los modelos de lenguajes grandes (LLM) tradicionales que requieren inmensos recursos computacionales, Gemma cuenta con un tamaño más pequeño (versiones de 2 mil millones y 7 mil millones de parámetros) al tiempo que ofrece capacidades impresionantes.
Esta colaboración tiene como objetivo mejorar significativamente la accesibilidad y el rendimiento de Gemma, haciéndolo más rápido y más disponible en varias plataformas.
Esta biblioteca de código abierto optimiza la inferencia LLM, lo que permite un rendimiento más rápido en las GPU NVIDIA en centros de datos, entornos de nube e incluso computadoras personales equipadas con GPU NVIDIA RTX. La colaboración tiene como objetivo más de 100 millones de GPU NVIDIA RTX en todo el mundo y plataformas en la nube con GPU H100 y las próximas GPU H200.
La suite AI Enterprise de NVIDIA, que incluye el marco NeMo y TensorRT-LLM, permite a los desarrolladores ajustar e implementar Gemma para casos de uso específicos.
Los usuarios pueden interactuar directamente con Gemma a través de NVIDIA AI Playground y, próximamente, a través de la demostración Chat with RTX, lo que les permitirá personalizar los chatbots con sus datos.
Con Microsoft se distancia de NVIDIA, la decisión de Google de optimizar su tecnología en las GPU NVIDIA sugiere fortalecer potencialmente su asociación. Esto podría conducir a mayores avances en la IA y el modelado del lenguaje, beneficiando tanto a los desarrolladores como a los usuarios.
Además, centrarse en el procesamiento local a través de GPU RTX brinda a los usuarios un mayor control sobre sus datos y privacidad, lo que potencialmente aborda las preocupaciones asociadas con los servicios LLM basados en la nube.
Más esta página.
