Microsoft a NVIDIA oznamují největší a nejvýkonnější jazykový model, který byl doposud vyškolen
1 min. číst
Publikované dne
Sdílejte tento článek
Vylepšete tuto příručku
Přečtěte si naši informační stránku a zjistěte, jak můžete pomoci MSPoweruser udržet redakční tým Dozvědět se více
Společnosti Microsoft a NVIDIA dnes oznámily model Megatron-Turing Natural Language Generation (MT-NLG) poháněný technologií DeepSpeed a Megatron, největší a nejvýkonnější model monolitického transformátorového jazyka, který byl doposud vyškolen. Tento model obsahuje 530 miliard parametrů, což je 3x více parametrů ve srovnání se stávajícím největším modelem GPT-3. Trénink takto velkého modelu zahrnuje různé výzvy. NVIDIA a Microsoft pracovaly na mnoha inovacích a průlomech podél všech os AI.
Například díky úzké spolupráci NVIDIA a Microsoft dosáhly nebývalé efektivity školení konvergencí nejmodernější školicí infrastruktury s akcelerací GPU se špičkovým softwarovým balíkem distribuovaného učení. Vybudovali jsme vysoce kvalitní korpusy pro výuku přirozeného jazyka se stovkami miliard tokenů a společně vyvinuli školicí recepty pro zlepšení efektivity a stability optimalizace.
Více o tomto projektu se můžete dozvědět z níže uvedených odkazů.
