Microsoft ja NVIDIA julkistavat suurimman ja tehokkaimman tähän mennessä koulutetun kielimallin
1 min. lukea
Julkaistu
Jaa tämä artikkeli
Paranna tätä ohjetta
Lue ilmoitussivumme saadaksesi selville, kuinka voit auttaa MSPoweruseria ylläpitämään toimitustiimiä Lue lisää
Microsoft ja NVIDIA julkistivat tänään DeepSpeed- ja Megatron-käyttöisen Megatron-Turing Natural Language Generation -mallin (MT-NLG), joka on suurin ja tehokkain tähän mennessä koulutettu monoliittinen muuntajakielimalli. Tämä malli sisältää 530 miljardia parametria, 3 kertaa enemmän parametreja verrattuna nykyiseen suurin malliin, GPT-3. Näin suuren mallin kouluttamiseen liittyy erilaisia haasteita. NVIDIA ja Microsoft kehittivät monia innovaatioita ja läpimurtoja kaikilla tekoälyakseleilla.
Esimerkiksi tiiviissä yhteistyössä NVIDIA ja Microsoft saavuttivat ennennäkemättömän koulutustehokkuuden yhdistämällä huippuluokan GPU-kiihdytetyn koulutusinfrastruktuurin huippuluokan hajautetun oppimisohjelmistopinon kanssa. Rakensimme laadukkaita, luonnollisia kieltenharjoittelukorporoita, joissa on satoja miljardeja tokeneita, ja kehitimme yhdessä koulutusreseptejä optimoinnin tehokkuuden ja vakauden parantamiseksi.
Voit oppia lisää tästä projektista alla olevista linkeistä.
