Meta'nın yaklaşmakta olan Llama-3 400B modeli potansiyel olarak GPT-4 Turbo ve Claude 3 Opus'u yenebilir

Meta, şimdiye kadarki en güçlü yapay zeka modeli olan Lama-3 400B parametreleriyle. onun içinde duyuru Perşembe günü, açık kaynaklı model yakında WhatsApp ve Instagram'a gelecek olan Meta AI asistan aracını güçlendirecek. 

Ancak gerçek şu ki, şu anda piyasada çok sayıda güçlü yapay zeka modeli var. GPT-4 Turbo OpenAI'den 128k içerik penceresi uzun süredir ortalıkta ve Anthropic'ten Claude 3 Opus da mevcut. artık Amazon Bedrock'ta.

Peki bu modeller çeşitli kriterlere göre birbirleriyle nasıl karşılaştırılıyor? Bu güçlü modellerin çeşitli seçeneklerde nasıl test edildiğinin bir karşılaştırmasını burada bulabilirsiniz. Bu rakamlar şuradan alınmıştır: kamuya açık bilgiler ve Meta'nın duyuru.

Gördüğünüz gibi Llama-3 400B aslında bu kıyaslamalarda biraz geride kalıyor; MMLU'da 86.1, GPQA'da 48, HumanEval'de 84.1 ve MATH'de 57.8 puan alıyor. 

Ancak hala eğitim aşamasında olduğu göz önüne alındığında, tam olarak kullanıma sunulduğunda büyük iyileştirmeler yapılması ihtimali oldukça yüksek. Açık kaynaklı bir model için bu etkileyiciliğin çok ötesinde bir şey. 

MMLU, çok çeşitli konuları kapsayan, modellerin farklı konuları doğrudan öğretmeden ne kadar iyi anladığını test eder. GPQA ise modelleri biyoloji, fizik ve kimyada ne kadar iyi performans gösterdiklerine göre sıralarken HumanEval nasıl kodladıklarına odaklanıyor.