Microsoft, sınıfındaki diğer modellerden daha iyi performans gösteren Phi-3 model ailesini tanıtıyor
2 dk. okuman
Yayınlandı
Bu makaleyi paylaş
Bu kılavuzu geliştirin
MSPoweruser'ın editör ekibini ayakta tutmasına nasıl yardımcı olabileceğinizi öğrenmek için açıklama sayfamızı okuyun. Daha fazla
Aralık 2023'te Microsoft, Phi-2 2.7 milyardan az parametreye sahip temel dil modelleri arasında en gelişmiş performansı sağlayan 13 milyar parametreli model. Geçtiğimiz dört ayda piyasaya sürülen diğer birkaç model Phi-2'den daha iyi performans gösterdi. Yakın zamanda Meta, daha önce piyasaya sürülen tüm açık kaynaklı modellerden daha iyi performans gösteren Llama-3 model ailesini piyasaya sürdü.
Dün gece Microsoft Research, Phi-3 model ailesini duyurdu. teknik rapor. Phi-3 ailesinde üç model bulunmaktadır:
- phi-3-mini (3.8B)
- phi-3-küçük (7B)
- phi-3-orta (14B)
3 milyar parametreli dil modeline sahip phi-3.8-mini, 3.3 trilyon token üzerinde eğitiliyor. Karşılaştırmalara göre phi-3-mini, Mixtral 8x7B ve GPT-3.5'i geride bırakıyor. Microsoft, bu modelin bir telefona kurulabilecek kadar küçük olduğunu iddia ediyor. Microsoft, phi-2 için kullanılan veri kümesinin yoğun şekilde filtrelenmiş web verileri ve sentetik verilerden oluşan büyütülmüş bir sürümünü kullandı. Microsoft'un Teknik Belgedeki kıyaslama sonuçlarına göre, phi-3-small ve phi-3-medium sırasıyla 75.3 ve 78.2 gibi etkileyici bir MMLU puanı elde ediyor.
LLM yetenekleri açısından, Phi-3-mini modeli çok daha büyük modellerle benzer seviyede dil anlama ve muhakeme yeteneği elde etse de, bazı görevler için hala temel olarak boyutuyla sınırlıdır. Model, örneğin TriviaQA'da düşük performansla görülebilen kapsamlı gerçek bilgiyi depolama kapasitesine sahip değildir. Ancak bu zayıflığın bir arama motoruyla artırılarak giderilebileceğine inanıyoruz.
