A Claude 3 Opus megelőzi az OpenAI GPT-4-ét a fontos chatbot-rangsorban
2 perc olvas
Publikálva
Ossza meg ezt a cikket
Javítsa ezt az útmutatót
Olvassa el közzétételi oldalunkat, hogy megtudja, hogyan segítheti az MSPowerusert a szerkesztői csapat fenntartásában Tovább
Főbb megjegyzések
- A Claude 3 Opus legyőzte az OpenAI GPT-4-ét, és ezzel az első helyre került az Arena rangsorban.
- A Claude 3 Opus Elo pontszáma 1253, valamivel több, mint a GPT-4.
- Az eredmények azon alapulnak, hogy a felhasználók mennyire voltak elégedettek számos AI-modell kimenetével.
Antropikus bejelentette a Claude 3 modellcsaládot a hónap elején, azt állítva, hogy felülmúlhatja az OpenAI GPT-4-ét. A vállalat különböző teljesítménymutatókat mutatott be a modellről, és összehasonlította azokat a rivális chatbotokkal, hogy levonja ezt a következtetést. A Claude 3 fölény most az Arena ranglistáján is tükröződik.
A Claude 3 Opus legyőzi a GPT-4-et, és az első helyre került
A Claude 3 Opus a LYMSYS Chatbot Arena ranglistájának élére került, ezzel a GPT-4 modellt a második helyre szorította. A Claude 3 Opus 1253 Elo pontszámot ért el, ami valamivel több, mint 1251 a GPT-4-ből. Ugyanez a pontszám ítéli meg a sakkozók ügyességét. De ebben az esetben a benchmark pontszámok különböző AI-modelleket ítélnek meg, nem sakkozókat.
A LYMSYS Chatbot Arena azonban nem tökéletes. Az általa mutatott benchmarking eredmények az emberek szavazásán alapulnak. Így a pontszámok 70 ezer új szavazat után frissültek. Tehát elméletileg a jobb pontszám azt jelzi, hogy az AI-modell általános teljesítménye jobb volt. De sok esetben az, hogy mennyire jó a kimenet, attól függ, hogy ki nézi. A felhasználók arra is panaszkodnak, hogy a GPT-4 nem töltődik be megfelelően a Chatbot Arénában (via Tom útmutatója). Ennek ellenére az OpenAI tartotta az első pozíciót az elmúlt években, mígnem néhány órával ezelőtt a Claude 3 Opus kiszorította.
Míg az Arena frissített rangsora valószínűleg nagyobb érdeklődést vált ki az Anthropic mesterséges intelligencia modelljei iránt, az OpenAI azt tervezi, hogy ezen a nyáron elindítja a GPT-5-öt, amiről azt mondják, hogy „anyagilag jobb”. Ha ez a helyzet, az OpenAI valószínűleg visszaszerzi vezető helyét az Aréna ranglistáján.
