Claude 3 Opus premaga OpenAI GPT-4 na pomembni lestvici chatbotov
2 min. prebrati
Objavljeno dne
Dajte v skupno rabo ta članek
Izboljšajte ta vodnik
Preberite našo stran za razkritje, če želite izvedeti, kako lahko pomagate MSPoweruser vzdrževati uredniško skupino Preberi več
Ključne opombe
- Claude 3 Opus je premagal GPT-4 OpenAI in postal prvi na lestvici Arena.
- Claude 3 Opus ima rezultat Elo 1253, nekoliko več kot GPT-4.
- Rezultati temeljijo na tem, kako zadovoljni so bili uporabniki z rezultati več modelov AI.
Antropično napovedal družino modelov Claude 3 v začetku tega meseca in trdil, da lahko preseže GPT-4 OpenAI. Podjetje je prikazalo različne meritve uspešnosti modela in jih primerjalo s tistimi konkurenčnih chatbotov, da bi prišlo do tega zaključka. Zdaj se premoč Claude 3 odraža tudi na lestvici najboljših v Areni.
Claude 3 Opus premaga GPT-4 in postane številka ena
Claude 3 Opus je zasedel vrh lestvice LYMSYS Chatbot Arena in potisnil model GPT-4 na drugo mesto. Claude 3 Opus je dobil oceno Elo 1253, nekoliko več kot 1251 GPT-4. To je isti rezultat, ki ocenjuje, kako spretni so šahisti. Toda v tem primeru primerjalne ocene ocenjujejo različne modele umetne inteligence, ne šahistov.
Vendar LYMSYS Chatbot Arena ni popolna. Rezultati primerjalne analize, ki jih prikazuje, temeljijo na glasovanju ljudi. Kot taki so bili rezultati posodobljeni po 70 tisoč novih glasovih. Torej bi teoretično boljši rezultat moral nakazovati, da je bil skupni rezultat modela AI boljši. Kako dober je rezultat, je velikokrat odvisno od tega, kdo si ga ogleduje. Uporabniki se tudi pritožujejo, da se GPT-4 ne naloži pravilno v Chatbot Arena (prek Tom'sguide). Kljub temu je OpenAI vsa leta držal prvo mesto, dokler ga pred nekaj urami ni izrinil Claude 3 Opus.
Medtem ko bo posodobljena lestvica Arena verjetno povzročila več zanimanja za Anthropicove modele umetne inteligence, namerava OpenAI lansirati GPT-5 to poletje, ki naj bi bil “materialno boljši”. Če se izkaže, da je res tako, bo OpenAI verjetno ponovno zasedel prvo mesto na lestvici najboljših Arena.
