Intel Gaudi 2 esmaga Nvidia H100 em treinamento de IA; Stable Diffusion 3 também funciona mais rápido e mais barato

A Nvidia H100 tem sido o assunto da cidade há algum tempo. O chefe da empresa, Jensen Huang, chegou a dizer que é o melhor chip para treinamento e inferência de IA – ainda melhor que o Intel Gaudi 2.

Ele estava registrado dizendo durante seu discurso principal na Cúpula Econômica SIEPR de 2024 que o H1000 é “tão bom que mesmo quando os chips do concorrente são gratuitos, não é barato o suficiente”.

No entanto, isso não revela necessariamente toda a verdade, ou pelo menos foi o que a Stability AI disse recentemente. A empresa start-up de IA, que também lançou os modelos Stable Diffusion, afirmou que os chips Gaudi 2 da Intel também apresentaram desempenho impressionante para Stable Diffusion 3, executando a arquitetura do transformador de difusão multimodal mais rápido do que os H100s da Nvidia em treinamento escalonado pré-FP8. 

O econômico Gaudi3 também está configurado para oferecer melhorias significativas de velocidade, com inferência de 673 tok/s observada no próximo modelo StableBeluga 2.5 70b, sua versão aprimorada do LLaMA 2 70B que é construído no modelo Stable Beluga 2. 

Posicionados entre o A100 e o H100 da Nvidia em termos de desempenho, os chips Gaudi2 oferecem desempenho sólido com 96 Gb VRAM e interconexão mais barata de 2.4 Tb/s, tornando-os uma escolha atraente para tarefas de IA.

Muito parecido com o DALL-E 3 da OpenAI, o Stable Diffusion 3 é o próximo modelo de texto para imagem do Stability AI que estará disponível em breve para visualização antecipada. Ele virá em tamanhos diferentes, de parâmetros de 800M a 8B.

Você pode ler mais sobre as descobertas do Stability AI aqui.