NVIDIA e Google fazem parceria para otimizar o novo Google Gemma em GPUs NVIDIA
2 minutos. ler
Publicado em
Compartilhe este artigo
Melhore este guia
Leia nossa página de divulgação para descobrir como você pode ajudar o MSPoweruser a sustentar a equipe editorial Saiba mais
Notas chave
- A Microsoft abandona a NVIDIA e o Google a adota para otimizar seu novo modelo de IA.
- O TensorRT-LLM da NVIDIA acelera o Gemma do Google em várias plataformas, incluindo PCs locais.
- Os desenvolvedores obtêm acesso a ferramentas para ajustar e implantar o Gemma para necessidades específicas.
Embora a Microsoft tenha anunciado recentemente sua decisão de abandonar as GPUs NVIDIA em favor de seus chips personalizados, o Google adotou a abordagem oposta, colaborando com a NVIDIA para otimizar seu novo modelo de linguagem leve, Gemma, em GPUs NVIDIA.
jóia é um modelo de linguagem leve desenvolvido pelo Google. Ao contrário dos modelos tradicionais de grandes linguagens (LLMs) que exigem imensos recursos computacionais, o Gemma possui um tamanho menor (2 bilhões e 7 bilhões de versões de parâmetros), ao mesmo tempo que oferece recursos impressionantes.
Esta colaboração visa melhorar significativamente a acessibilidade e o desempenho do Gemma, tornando-o mais rápido e mais amplamente disponível em diversas plataformas.
Esta biblioteca de código aberto otimiza a inferência LLM, permitindo desempenho mais rápido em GPUs NVIDIA em data centers, ambientes de nuvem e até mesmo em computadores pessoais equipados com GPUs NVIDIA RTX. A colaboração visa mais de 100 milhões de GPUs NVIDIA RTX em todo o mundo e plataformas em nuvem com GPUs H100 e H200.
O pacote AI Enterprise da NVIDIA, incluindo a estrutura NeMo e o TensorRT-LLM, permite que os desenvolvedores ajustem e implantem o Gemma para casos de uso específicos.
Os usuários podem interagir diretamente com Gemma por meio do NVIDIA AI Playground e, em breve, por meio da demonstração Chat with RTX, permitindo-lhes personalizar chatbots com seus dados.
Com o Microsoft se distanciando da NVIDIA, a decisão do Google de otimizar sua tecnologia em GPUs NVIDIA sugere um potencial fortalecimento de sua parceria. Isso poderia levar a mais avanços na IA e na modelagem de linguagem, beneficiando tanto desenvolvedores quanto usuários.
Além disso, o foco no processamento local por meio de GPUs RTX capacita os usuários com maior controle sobre seus dados e privacidade, potencialmente abordando preocupações associadas a serviços LLM baseados em nuvem.
