Microsoft dan NVIDIA mengumumkan model bahasa terbesar dan paling kuat yang dilatih hingga saat ini
1 menit Baca
Ditampilkan di
Bagikan artikel ini
Sempurnakan panduan ini
Baca halaman pengungkapan kami untuk mengetahui bagaimana Anda dapat membantu MSPoweruser mempertahankan tim editorial Baca lebih lanjut
Microsoft dan NVIDIA hari ini mengumumkan model Megatron-Turing Natural Language Generation (MT-NLG) yang didukung oleh DeepSpeed dan Megatron, model bahasa transformator monolitik terbesar dan paling kuat yang dilatih hingga saat ini. Model ini mencakup 530 miliar parameter, 3x jumlah parameter dibandingkan model terbesar yang ada, GPT-3. Pelatihan model sebesar itu melibatkan berbagai tantangan. NVIDIA dan Microsoft mengerjakan banyak inovasi dan terobosan di semua sumbu AI.
Misalnya, bekerja sama secara erat, NVIDIA dan Microsoft mencapai efisiensi pelatihan yang belum pernah terjadi sebelumnya dengan menggabungkan infrastruktur pelatihan akselerasi GPU yang canggih dengan tumpukan perangkat lunak pembelajaran terdistribusi yang mutakhir. Kami membangun korpora pelatihan bahasa alami berkualitas tinggi dengan ratusan miliar token, dan resep pelatihan yang dikembangkan bersama untuk meningkatkan efisiensi dan stabilitas pengoptimalan.
Anda dapat mempelajari lebih lanjut tentang proyek ini dari tautan di bawah ini.
