Meta's Llama 3.1 tekee vaikuttavan suoran vertailun GPT-4o- ja Claude 3.5 -sonetteihin

Meta on juuri käynnistynyt Llama 3.1 -sarja aiemmin tässä kuussa, molemmilla 405B ja 70B versiot. Avoimen lähdekoodin mallissa se on melko vaikuttavaa.

Large Model Systems Organisation (LMSys Org), joukkolähdetetty avoin alusta, joka vertaa suuria kielimalleja (LLM) laajasti testattu kaksi versiota viime viikon aikana. Ja odotetusti molemmat versiot saavuttivat uskomattomia tuloksia.

Meta-Llama-3.1-405b-Instruct on kolmanneksi paras kokonaistulostaulukossa Gemini-Advanced-0514:n rinnalla, joten se on ensimmäinen avoimen lähdekoodin malli, joka on saavuttanut tällaisen virstanpylvään. Kaksi muuta, GPT-4o ja sen miniversio pysyy ensimmäisellä sijalla, jota seuraa Claude 3.5 Sonet toisella sijalla.

405B-malli rekisteröi vaikuttavia tuloksia luokissa, kuten koodaus, matematiikka, ohjeiden seuraaminen ja kovat kehotteet. Vain englanninkielisellä areenalla, kuten avoin alusta kuvaa, Metan malli vastaa jopa OpenAI:n GPT-4o:ta. Se on ainoa malli, jolla on vaikuttava 88.6 pistemäärä MMLU-vertailussa, lähellä GPT-4o:ta, Claude 3.5 Sonnetia ja Gemini 1.5 Prota.

Meta-Llama-3.1-70B-Instruct iskee yllättäen myös reilusti painonsa yläpuolelle. Malli on parantunut paljon julkaisun jälkeen, ja se sijoittui yhdeksänneksi Claude 3 Opuksen ja GPT-4:n rinnalla.

LMSys Org testaa malleja antamalla yhteisön arvioida niitä suorien, avoimien ja yhteisölähtöisten parivertailujen avulla. LMSYS:n ja UC Berkeley SkyLabin toukokuussa 2023 luoma avoimen lähdekoodin alusta on osallistunut miljooniin käyttäjiin ja testannut yli 90 chatbotia.

Metapomo Mark Zuckerberg avoimen lähdekoodin sen Llama-mallit aiemmin tänä vuonna. Ja nyt Facebook-emoyhtiö käynnisti Llama 3.1 -käyttöinen AI Studio, jonka avulla voit luoda oman tekoälyn Instagram-profiiliesi perusteella.