Microsoft registra DeepSpeed, sua biblioteca de 1 trilhão de parâmetros de IA

A Microsoft solicitou uma marca registrada para DeepSpeed, sua biblioteca de IA otimizada que permite o treinamento de modelos de IA em larga escala em hardware modesto.

A marca registrada, registrada em 8 de dezembro de 2020, faz referência a “Fornecimento de uso temporário de software de computador on-line não descarregável para processamento de inteligência artificial e aprendizado profundo,” sugerindo que a Microsoft pode estar pensando em disponibilizar o DeepSpeed ​​por meio de um serviço de nuvem online.

O DeepSpeed, lançado em fevereiro deste ano, é uma biblioteca Python que permite a criação de modelos de deep learning com um trilhão de parâmetros, mais de cinco vezes mais do que o maior modelo atual do mundo, usando apenas 800 placas gráficas Nvidia V100. Sem o DeepSpeed, a mesma tarefa exigiria 4,000 Nvidia A100s, que são até 2.5 vezes mais rápidos que o V100, processando por 100 dias.

A ferramenta é particularmente útil depois que o GPT-3 mostrou que os modelos continuam a melhorar quanto maior a rede neural e o conjunto de dados. Isso, no entanto, ameaçou tirar as inovações mais recentes do alcance de equipes menores com menos recursos, mas o DeepSpeed ​​permitiu que essas equipes competissem com serviços muito maiores com hardware mínimo. Uma mudança para o processamento em nuvem pode tornar o treinamento de IA de modelo grande ainda mais acessível.

Leia mais sobre DeepSpeed ​​na Microsoft SUA PARTICIPAÇÃO FAZ A DIFERENÇA, e veja a marca registrada SUA PARTICIPAÇÃO FAZ A DIFERENÇA.

via Alúmia