Microsoft registra DeepSpeed, su biblioteca de inteligencia artificial de 1 billón de parámetros

Microsoft ha solicitado una marca comercial para DeepSpeed, su biblioteca de IA optimizada que permite el entrenamiento de modelos de IA a gran escala en hardware modesto.

La marca, presentada el 8 de diciembre de 2020, hace referencia a “proporcionar el uso temporal de software informático no descargable en línea para el procesamiento de inteligencia artificial y el aprendizaje profundo,” lo que sugiere que Microsoft puede estar pensando en hacer que DeepSpeed ​​esté disponible a través de un servicio en la nube en línea.

DeepSpeed, lanzado en febrero de este año, es una biblioteca de Python que permite la creación de modelos de aprendizaje profundo con un billón de parámetros, más de cinco veces más que en el modelo actual más grande del mundo, utilizando solo 800 tarjetas gráficas Nvidia V100. Sin DeepSpeed, la misma tarea requeriría 4,000 Nvidia A100, que son hasta 2.5 veces más rápidas que la V100, funcionando durante 100 días.

La herramienta es particularmente útil después de que GPT-3 mostró que los modelos continúan mejorando cuanto más grandes son la red neuronal y el conjunto de datos. Sin embargo, esto amenazó con dejar las últimas innovaciones fuera del alcance de los equipos más pequeños con menos recursos, pero DeepSpeed ​​ha permitido que estos equipos compitan con servicios mucho más grandes con un hardware mínimo. Un cambio al procesamiento en la nube podría hacer que el entrenamiento de IA de modelos grandes sea aún más accesible.

Más información sobre DeepSpeed ​​en Microsoft esta página, y ver la marca registrada esta página.

vía Aluminio