Microsoft và NVIDIA công bố mô hình ngôn ngữ lớn nhất và mạnh mẽ nhất được đào tạo cho đến nay

Microsoft và NVIDIA hôm nay đã công bố mô hình Thế hệ ngôn ngữ tự nhiên Megatron-Turing hỗ trợ DeepSpeed ​​và Megatron (MT-NLG), mô hình ngôn ngữ biến áp nguyên khối lớn nhất và mạnh mẽ nhất được đào tạo cho đến nay. Mô hình này bao gồm 530 tỷ thông số, gấp 3 lần số thông số so với mô hình lớn nhất hiện có, GPT-3. Việc đào tạo mô hình lớn như vậy bao gồm nhiều thách thức khác nhau. NVIDIA và Microsoft đã làm việc trên nhiều cải tiến và đột phá dọc theo tất cả các trục AI.

Ví dụ, khi hợp tác chặt chẽ với nhau, NVIDIA và Microsoft đã đạt được hiệu quả đào tạo chưa từng có bằng cách hội tụ cơ sở hạ tầng đào tạo tăng tốc GPU hiện đại với ngăn xếp phần mềm học tập phân tán tiên tiến. Chúng tôi đã xây dựng kho tài liệu đào tạo ngôn ngữ tự nhiên, chất lượng cao với hàng trăm tỷ mã thông báo và đồng phát triển các công thức đào tạo để cải thiện tính ổn định và hiệu quả tối ưu hóa.

Bạn có thể tìm hiểu thêm về dự án này từ các liên kết bên dưới.

nguồn: microsoft, Nvidia