Claude 3 Opus voittaa OpenAI:n GPT-4:n tärkeässä chatbot-sijoituksessa
2 min. lukea
Julkaistu
Jaa tämä artikkeli
Paranna tätä ohjetta
Lue ilmoitussivumme saadaksesi selville, kuinka voit auttaa MSPoweruseria ylläpitämään toimitustiimiä Lue lisää
Keskeiset huomautukset
- Claude 3 Opus on voittanut OpenAI:n GPT-4:n ja noussut Arenan ykköseksi.
- Claude 3 Opuksen Elo Score on 1253, mikä on hieman enemmän kuin GPT-4.
- Tulokset perustuvat siihen, kuinka tyytyväisiä käyttäjät olivat useiden tekoälymallien tuotoksiin.
Antropinen julkisti Claude 3 -malliperheen aiemmin tässä kuussa väittäen, että se voi ylittää OpenAI:n GPT-4:n. Yritys osoitti mallin erilaisia suorituskykymittareita ja vertasi niitä kilpailevien chatbottien vastaaviin tehdäkseen tämän johtopäätöksen. Nyt Claude 3:n ylivalta heijastuu myös Arenan tulostaulukkoon.
Claude 3 Opus voittaa GPT-4:n noustaen ykköseksi
Claude 3 Opus on noussut LYMSYS Chatbot Arena -listan kärkeen ja nostanut GPT-4-mallin toiselle sijalle. Claude 3 Opus sai Elo-pisteet 1253, mikä on hieman enemmän kuin 1251 GPT-4:stä. Se on sama pistemäärä, joka arvioi, kuinka taitavia shakinpelaajat ovat. Mutta tässä tapauksessa vertailupisteet arvioivat erilaisia tekoälymalleja, eivät shakinpelaajia.
LYMSYS Chatbot Arena ei kuitenkaan ole täydellinen. Sen näyttämät benchmarking-tulokset perustuvat ihmisten äänestämiseen. Pisteet päivitettiin sellaisenaan 70 tuhannen uuden äänen jälkeen. Joten teoriassa paremman tuloksen pitäisi osoittaa, että tekoälymallin kokonaistulos oli parempi. Mutta usein se, kuinka hyvä tulos on, riippuu siitä, kuka sitä katsoo. Käyttäjät valittavat myös, että GPT-4 ei lataudu kunnolla Chatbot Arenassa (via Tomin opas). Siitä huolimatta OpenAI piti ensimmäistä sijaa kaikki nämä vuodet, kunnes Claude 3 Opus syrjäytti sen muutama tunti sitten.
Vaikka päivitetty Arenan sijoitus todennäköisesti lisää kiinnostusta Anthropicin tekoälymalleihin, OpenAI suunnittelee käynnistää GPT-5 tänä kesänä, jonka sanotaan olevan "aineellisesti parempi". Jos näin käy, OpenAI saa todennäköisesti takaisin kärkipaikkansa Arenan tulostaulukossa.
