Microsoft marchia DeepSpeed, la loro libreria AI da 1 trilione di parametri

Microsoft ha richiesto un marchio per DeepSpeed, la sua libreria di intelligenza artificiale ottimizzata che consente l'addestramento di modelli di intelligenza artificiale su larga scala su hardware modesto.

Il marchio, depositato l'8 dicembre 2020, fa riferimento a “fornitura di un uso temporaneo di software per computer online non scaricabili per l'elaborazione dell'intelligenza artificiale e l'apprendimento profondo," suggerendo che Microsoft potrebbe pensare di rendere disponibile DeepSpeed ​​tramite un servizio cloud online.

DeepSpeed, rilasciata a febbraio di quest'anno, è una libreria Python che consente la creazione di modelli di deep learning con un trilione di parametri, più di cinque volte di più rispetto all'attuale modello più grande del mondo, utilizzando solo 800 schede grafiche Nvidia V100. Senza DeepSpeed, la stessa attività richiederebbe 4,000 Nvidia A100, che sono fino a 2.5 volte più veloci del V100, in crunch per 100 giorni.

Lo strumento è particolarmente utile dopo che GPT-3 ha mostrato che i modelli continuano a migliorare quanto più grande è la rete neurale e il set di dati. Ciò, tuttavia, ha minacciato di spingere le ultime innovazioni fuori dalla portata dei team più piccoli con meno risorse, ma DeepSpeed ​​ha consentito a questi team di competere con servizi molto più grandi con hardware minimo. Il passaggio all'elaborazione su cloud potrebbe rendere ancora più accessibile la formazione sull'IA di modelli di grandi dimensioni.

Ulteriori informazioni su DeepSpeed ​​in Microsoft quie vedere il marchio qui.

via Alumia