Apple'ın OpenELM açık kaynak modeli, parametreler açısından Microsoft'un Phi-3'üyle nasıl karşılaştırılır?
Tesadüf?
2 dk. okuman
Yayınlandı
Bu makaleyi paylaş
Bu kılavuzu geliştirin
MSPoweruser'ın editör ekibini ayakta tutmasına nasıl yardımcı olabileceğinizi öğrenmek için açıklama sayfamızı okuyun. Daha fazla
Önemli notlar
- Apple, HuggingFace'te OpenELM'yi sekiz farklı versiyonla piyasaya sürdü.
- Her model farklı parametrelerle geliyor: 270 milyon, 450 milyon, 1.1 milyar ve 3 milyar.
- Microsoft'un Phi-3 modeli ise 3.8 milyar, 7 milyar ve 14 milyar parametreli versiyonları içeriyor.
Microsoft'un lansmanından kısa bir süre sonra Phi-3 ailesiDaha hafif kullanım için tasarlanmış bir dizi küçük, açık kaynaklı model olan Apple, trene katıldı. iPhone üreticileri en son açık kaynaklı yapay zeka modeli olan OpenELM'yi (sessizce) piyasaya sürdü.
Açık Kaynak Verimli Dil Modelleri'nin kısaltması olan OpenELM, her biri sekiz farklı türde gelir önceden eğitilmiş ve talimat ayarlı dört alır. Apple'ın araştırmacıları şuraya modelin, parametreleri transformatör modelinin her katmanında verimli bir şekilde dağıtmak için katman bazında ölçeklendirme stratejisi kullandığını ve bu modelleri SarılmaYüz.
Belgelerde "Örneğin, yaklaşık bir milyar parametrelik bir parametre bütçesi ile OpenELM, OLMo'ya kıyasla doğrulukta %2.36'lık bir iyileşme sergilerken, 2 kat daha az ön eğitim tokenı gerektirir" ifadesi yer alıyor.
Boyutlarına gelince, her model farklı parametrelerle geliyor: 270 milyon, 450 milyon, 1.1 milyar ve 3 milyar. Her zaman en iyi ölçüm standardı olmasa da yapay zeka modellerindeki parametreler, bunları karşılaştırmanın başlangıcıdır.
Açıkçası, OpenELM diğer açık kaynaklı modeller kadar etkileyici (parametreler açısından) değil: Llama 3Meta AI'yı destekleyen 70 milyar parametre sayısı maksimuma çıkarıldı ve Microsoft destekli Mixtral, 8x22B modeli 176B parametreleriyle.
Microsoft'un Phi-3 modelinin en küçük versiyonu olan Phi-3-mini, 3.8 milyar parametreye sahiptir ve bir hafta boyunca eğitildi Nvidia'nın H100 GPU'larını kullanıyor. Karşılaştırıldığında, orta versiyonda 14 milyar parametre, küçük versiyonda ise 7 milyar parametre bulunmaktadır.
