Microsoft marchează DeepSpeed, biblioteca lor de 1 trilion de parametri AI

Microsoft a solicitat o marcă comercială pentru DeepSpeed, biblioteca lor optimizată AI, care permite antrenarea modelelor AI la scară largă pe hardware modest.

Marca, depusă la 8 decembrie 2020, face referire la „furnizarea de utilizare temporară a software-ului de calculator online care nu poate fi descărcat pentru procesarea inteligenței artificiale și învățarea profundă,” sugerând că Microsoft s-ar putea gândi să facă DeepSpeed ​​disponibil printr-un serviciu cloud online.

DeepSpeed, lansat în februarie anul acesta, este o bibliotecă Python care permite crearea de modele de deep learning cu un trilion de parametri, de peste cinci ori mai mulți decât în ​​cel mai mare model actual din lume, folosind doar 800 de plăci grafice Nvidia V100. Fără DeepSpeed, aceeași sarcină ar necesita 4,000 de Nvidia A100, care sunt de până la 2.5 ori mai rapide decât V100, strângând timp de 100 de zile.

Instrumentul este deosebit de util după ce GPT-3 a arătat că modelele continuă să îmbunătățească rețeaua neuronală și setul de date mai mari. Totuși, acest lucru a amenințat să împingă cele mai recente inovații la îndemâna echipelor mai mici, cu mai puține resurse, dar DeepSpeed ​​a permis acestor echipe să concureze cu servicii mult mai mari cu hardware minim. O trecere la procesarea în cloud ar putea face formarea cu AI pentru modele mari și mai accesibilă.

Citiți mai multe despre DeepSpeed ​​la Microsoft aiciși vedeți marca comercială aici.

de Alumia