Miten Applen OpenELM avoimen lähdekoodin malli verrattuna Microsoftin Phi-3:een parametrien suhteen?
Yhteensattuma?
2 min. lukea
Julkaistu
Jaa tämä artikkeli
Paranna tätä ohjetta
Lue ilmoitussivumme saadaksesi selville, kuinka voit auttaa MSPoweruseria ylläpitämään toimitustiimiä Lue lisää
Keskeiset huomautukset
- Apple julkaisi OpenELM:n HuggingFacessa kahdeksalla versiolla.
- Jokaisella mallilla on eri parametrit: 270 miljoonaa, 450 miljoonaa, 1.1 miljardia ja 3 miljardia.
- Microsoftin Phi-3-malli sen sijaan sisältää 3.8 miljardin, 7 miljardin ja 14 miljardin parametrin versioita.
Pian sen jälkeen, kun Microsoft julkaisi Phi-3 perhe, joukko pieniä, kevyempään käyttöön suunniteltuja avoimen lähdekoodin malleja, Apple liittyi junaan. IPhone-valmistajat ovat (hiljaisesti) julkaisseet OpenELM:n, uusimman avoimen lähdekoodin tekoälymallinsa.
OpenELM, lyhenne sanoista avoimen lähdekoodin tehokkaat kielimallit, on saatavilla kahdeksassa eri versiossa valmiiksi koulutettu ja ohjeistettu saa neljä. Applen tutkijat sanoi että malli käyttää kerroskohtaista skaalausstrategiaa parametrien tehokkaaseen jakamiseen muuntajamallin jokaisessa kerroksessa, ja voit käyttää näitä malleja HalaaKasvot.
"Esimerkiksi noin miljardin parametrin parametribudjetilla OpenELM:n tarkkuus on 2.36 % parempi kuin OLMo, samalla kun se vaatii kaksi kertaa vähemmän esikoulutustunnuksia", dokumentaatiossa lukee.
Mitä tulee sen kokoihin, jokaisella mallilla on erilaiset parametrit: 270 miljoonaa, 450 miljoonaa, 1.1 miljardia ja 3 miljardia. Ja vaikka se ei aina ole paras mittausstandardi, tekoälymallien parametrit ovat aina alku niiden vertailussa.
Suoraan sanottuna OpenELM ei ole yhtä vaikuttava (parametrien suhteen) kuin muut avoimen lähdekoodin mallit: Laama 3, joka toimii Meta AI:llä, maksimiparametrien määrä on 70 miljardia, ja Microsoftin tukema Mixtral lanseerasi 8x22B malli 176B-parametreilla.
Phi-3-mini, pienin versio Microsoftin Phi-3-mallista, sisältää 3.8 miljardia parametria ja se oli treenannut viikon käyttää Nvidian H100 GPU:ta. Vertailun vuoksi keskikokoisessa versiossa on 14 miljardia parametria ja pienessä 7 miljardia parametria.
