Microsoft ve NVIDIA, bugüne kadar eğitilmiş en büyük ve en güçlü dil modelini duyurdu
1 dk. okuman
Yayınlandı
Bu makaleyi paylaş
Bu kılavuzu geliştirin
MSPoweruser'ın editör ekibini ayakta tutmasına nasıl yardımcı olabileceğinizi öğrenmek için açıklama sayfamızı okuyun. Daha fazla
Microsoft ve NVIDIA bugün, bugüne kadar eğitilmiş en büyük ve en güçlü monolitik dönüştürücü dil modeli olan DeepSpeed ve Megatron destekli Megatron-Turing Natural Language Generation (MT-NLG) modelini duyurdu. Bu model, mevcut en büyük model olan GPT-530 ile karşılaştırıldığında parametre sayısının 3 katı olan 3 milyar parametre içerir. Bu kadar büyük bir modeli eğitmek çeşitli zorlukları içerir. NVIDIA ve Microsoft, tüm AI eksenlerinde birçok yenilik ve atılım üzerinde çalıştı.
Örneğin, NVIDIA ve Microsoft, yakın işbirliği içinde çalışarak, son teknoloji ürünü GPU hızlandırmalı eğitim altyapısını son teknoloji dağıtılmış öğrenme yazılımı yığınıyla birleştirerek benzeri görülmemiş bir eğitim verimliliği elde etti. Yüz milyarlarca jetonla yüksek kaliteli, doğal dil eğitimi kurumu oluşturduk ve optimizasyon verimliliğini ve kararlılığını artırmak için birlikte geliştirilen eğitim tarifleri.
Aşağıdaki bağlantılardan bu proje hakkında daha fazla bilgi edinebilirsiniz.
