Claude 3 Opus poráža OpenAI GPT-4 v dôležitom hodnotení chatbotov
2 min. čítať
Publikované dňa
Zdieľajte tento článok
Vylepšite túto príručku
Prečítajte si našu informačnú stránku a zistite, ako môžete pomôcť MSPoweruser udržať redakčný tím Čítaj viac
Kľúčové poznámky
- Claude 3 Opus porazil OpenAI GPT-4 a stal sa číslom jedna v hodnotení Arena.
- Claude 3 Opus má Elo Score 1253, o niečo viac ako GPT-4.
- Výsledky vychádzajú z toho, ako boli používatelia spokojní s výstupmi niekoľkých modelov AI.
Antropický oznámila modelovú rodinu Claude 3 začiatkom tohto mesiaca s tvrdením, že dokáže prekonať GPT-4 OpenAI. Spoločnosť ukázala rôzne výkonnostné metriky modelu a porovnala ich s konkurenčnými chatbotmi, aby dospela k tomuto záveru. Teraz sa prvenstvo Claude 3 odráža aj na rebríčku Arena.
Claude 3 Opus porazil GPT-4 a stal sa číslom jeden
Claude 3 Opus sa dostal na čelo rebríčka LYMSYS Chatbot Arena a posunul model GPT-4 na druhú pozíciu. Claude 3 Opus získal skóre Elo 1253, čo je o niečo viac ako 1251 GPT-4. Je to rovnaké skóre, ktoré posudzuje, akí šikovní sú šachisti. Ale v tomto prípade porovnávacie skóre posudzujú rôzne modely AI, nie šachistov.
Chatbot Arena LYMSYS však nie je dokonalá. Výsledky benchmarkingu, ktoré ukazuje, sú založené na hlasovaní ľudí. Skóre ako také bolo aktualizované po 70 4 nových hlasoch. Takže teoreticky by lepšie skóre malo naznačovať, že celkový výstup modelu AI bol lepší. Ale to, aký dobrý je výstup, často závisí od toho, kto si ho prezerá. Používatelia sa tiež sťažujú, že GPT-XNUMX sa nenačítava správne v Chatbot Arene (cez Tomov sprievodca). Napriek tomu si OpenAI držalo prvé miesto celé tie roky, kým ho pred pár hodinami nevytlačil Claude 3 Opus.
Zatiaľ čo aktualizované hodnotenie Arena pravdepodobne vyvolá väčší záujem o modely AI Anthropic, OpenAI to má v pláne spustiť GPT-5 toto leto, ktorá je vraj „materiálne lepšia“. Ak sa ukáže, že je to tak, OpenAI pravdepodobne opäť získa svoju najvyššiu pozíciu v rebríčku Arena.
