Microsoft și NVIDIA anunță cel mai mare și mai puternic model de limbă instruit până în prezent
1 min. citit
Publicat în data de
Distribuiți acest articol
Îmbunătățiți acest ghid
Citiți pagina noastră de dezvăluire pentru a afla cum puteți ajuta MSPoweruser să susțină echipa editorială Află mai multe
Microsoft și NVIDIA au anunțat astăzi modelul de generație a limbajului natural Megatron-Turing (MT-NLG) alimentat cu DeepSpeed și Megatron, cel mai mare și mai puternic model de limbaj monolitic antrenat până în prezent. Acest model include 530 de miliarde de parametri, de trei ori numărul de parametri comparativ cu cel mai mare model existent, GPT-3. Antrenarea unui model atât de mare implică diverse provocări. NVIDIA și Microsoft au lucrat la multe inovații și descoperiri de-a lungul tuturor axelor AI.
De exemplu, lucrând strâns împreună, NVIDIA și Microsoft au obținut o eficiență de formare fără precedent prin convergerea unei infrastructuri de antrenament de ultimă generație, accelerată de GPU, cu o stivă de software de învățare distribuită de ultimă oră. Am construit corpuri de instruire de înaltă calitate, în limbaj natural, cu sute de miliarde de jetoane și am dezvoltat în comun rețete de instruire pentru a îmbunătăți eficiența și stabilitatea optimizării.
Puteți afla mai multe despre acest proiect din linkurile de mai jos.
