A Microsoft és az NVIDIA bejelentette az eddigi legnagyobb és legerősebb nyelvi modellt
1 perc olvas
Publikálva
Ossza meg ezt a cikket
Javítsa ezt az útmutatót
Olvassa el közzétételi oldalunkat, hogy megtudja, hogyan segítheti az MSPowerusert a szerkesztői csapat fenntartásában Tovább
A Microsoft és az NVIDIA ma bejelentette a DeepSpeed- és Megatron-meghajtású Megatron-Turing Natural Language Generation modellt (MT-NLG), amely a legnagyobb és legerősebb monolit transzformátor nyelvi modell, amelyet eddig betanítottak. Ez a modell 530 milliárd paramétert tartalmaz, háromszor annyi paramétert, mint a jelenlegi legnagyobb modell, a GPT-3. Egy ilyen nagy modell képzése különféle kihívásokkal jár. Az NVIDIA és a Microsoft számos újításon és áttörésen dolgozott az AI minden tengelyén.
Például szoros együttműködésben az NVIDIA és a Microsoft példátlan képzési hatékonyságot ért el a legmodernebb GPU-gyorsítású képzési infrastruktúra és a legmodernebb elosztott tanulási szoftverkészlet konvergálásával. Kiváló minőségű, természetes nyelvoktató korpuszokat építettünk több százmilliárd tokennel, és közösen fejlesztettünk képzési recepteket az optimalizálás hatékonyságának és stabilitásának javítása érdekében.
Erről a projektről többet megtudhat az alábbi linkeken.
