Microsoft และ NVIDIA ประกาศเปิดตัวโมเดลภาษาที่ใหญ่ที่สุดและทรงพลังที่สุดที่ได้รับการฝึกฝนมาจนถึงปัจจุบัน
1 นาที. อ่าน
เผยแพร่เมื่อ
แชร์บทความนี้
ปรับปรุงคู่มือนี้
อ่านหน้าการเปิดเผยข้อมูลของเราเพื่อดูว่าคุณจะช่วย MSPoweruser รักษาทีมบรรณาธิการได้อย่างไร อ่านเพิ่มเติม
Microsoft และ NVIDIA ได้ประกาศเปิดตัวโมเดลการสร้างภาษาธรรมชาติ Megatron-Turing Natural Language (MT-NLG) ที่ขับเคลื่อนด้วย DeepSpeed และ Megatron ซึ่งเป็นโมเดลภาษาหม้อแปลงไฟฟ้าเสาหินที่ใหญ่ที่สุดและทรงพลังที่สุดที่ได้รับการฝึกฝนมาจนถึงปัจจุบัน โมเดลนี้มีพารามิเตอร์ 530 พันล้านรายการ ซึ่งมากกว่าจำนวนพารามิเตอร์ 3 เท่าเมื่อเทียบกับรุ่นที่ใหญ่ที่สุดที่มีอยู่คือ GPT-3 การฝึกอบรมแบบจำลองขนาดใหญ่ดังกล่าวเกี่ยวข้องกับความท้าทายต่างๆ NVIDIA และ Microsoft ทำงานเกี่ยวกับนวัตกรรมและความก้าวหน้ามากมายตามแกน AI ทั้งหมด
ตัวอย่างเช่น การทำงานร่วมกันอย่างใกล้ชิด NVIDIA และ Microsoft บรรลุประสิทธิภาพการฝึกอบรมที่ไม่เคยมีมาก่อนโดยการรวมโครงสร้างพื้นฐานการฝึกอบรมที่เร่งด้วย GPU ที่ล้ำสมัยเข้ากับสแต็คซอฟต์แวร์การเรียนรู้แบบกระจายที่ทันสมัย เราสร้างองค์กรการฝึกอบรมภาษาธรรมชาติคุณภาพสูงด้วยโทเค็นหลายแสนล้านรายการ และพัฒนาสูตรการฝึกอบรมร่วมกันเพื่อปรับปรุงประสิทธิภาพและความเสถียรในการเพิ่มประสิทธิภาพ
คุณสามารถเรียนรู้เพิ่มเติมเกี่ยวกับโครงการนี้ได้จากลิงก์ด้านล่าง
ที่มา: ไมโครซอฟท์, Nvidia
