Gemini paljasti Super Bowlin tuloksen ennen kuin peli edes alkoi

Viimeaikaisen Super Bowl LVIII:n odotuksen aikana kaksi näkyvää chatbottia, Googlen Gemini ja Microsoftin Copilot, tuottivat epätarkkoja tietoja pelin tuloksesta. Tämä tapaus nähtiin Reddit ja valaisee suurten kielimallien (LLM) ominaisuuksia ja rajoituksia.

Ennen Super Bowlia Gemini ja Copilot toimittivat yksityiskohtaiset tiedot pelistä, mukaan lukien tulokset ja pelaajatilastot. Nämä tilit olivat kuitenkin täysin kuvitteellisia. Esimerkiksi Kaksoset katsoivat Kansas City Chiefsin pelinrakentaja Patrick Mahomesin 286 juoksujaardia, mikä on tilastollisesti epätodennäköinen saavutus. 

Lisäksi Copilot julisti virheellisesti San Francisco 49ersin voittajaksi pistein 24-21. Sitä vastoin peli johti Kansas City Chiefsin jännittävään 25-22-voittoon San Francisco 49ersista.

Nämä tapaukset korostavat LLM-yritysten keskeistä rajoitusta: niiden riippuvuutta tilastollisista malleista todellisen ymmärryksen sijaan. Massiivisiin tekstitietosarjoihin koulutetut mallit voivat tuottaa kieliopillisesti oikeaa ja näennäisesti yhtenäistä tekstiä, mutta tarkkuutta ei taata. Lisäksi se ei edes ymmärtänyt kysymyksen kontekstia; käyttäjä kysyi pelin todennäköisyyksistä. 

On suositeltavaa, että käyttäjät eivät luota pelkästään tällaisiin tuloksiin ja heidän tulee aina tarkistaa tiedot luotetuista lähteistä, varsinkin kun he ovat tekemisissä tuntemattomien lähteiden kanssa.

Käyttäjillä oli hauskaa jakaa POV-kuvansa tästä; yksi käyttäjistä kommentoi. 

Toiset huomauttivat luottamusongelmistaan ​​Kaksosissa kommentoimalla

”En voi edes pyytää Kaksosia auttamaan minua kirjoittamisessa perustiedot HTML, ja te kaikki täällä luotatte siihen tulevaisuuden ennustamiseen…"

Kaiken kaikkiaan Kaksoset ovat nyt täynnä virheitä ja käyttäjät suosivat GPT4:ää sen sijaan, Vaan Google on julkisesti paljastanut työskentelevänsä asian eteen. Meillä on myös opas, joka auttaa sinua päättämään, kumpi valitset – Gemini Advanced, Copilot Pro vai ChatGPT Plus.