Kako se Appleov OpenELM model otvorenog koda može usporediti s Microsoftovim Phi-3, što se tiče parametara?
Koincidencija?
2 min. čitati
Objavljeno na
Podijelite ovaj članak
Poboljšajte ovaj vodič
Pročitajte našu stranicu za otkrivanje kako biste saznali kako možete pomoći MSPoweruseru da održi urednički tim Čitaj više
Ključne napomene
- Apple je objavio OpenELM na HuggingFaceu s osam varijanti.
- Svaki model dolazi s različitim parametrima: 270 milijuna, 450 milijuna, 1.1 milijarda i 3 milijarde.
- S druge strane, Microsoftov model Phi-3 uključuje verzije s 3.8 milijardi, 7 milijardi i 14 milijardi parametara.
Ubrzo nakon što je Microsoft lansirao Phi-3 obitelj, skup malih modela otvorenog koda dizajniranih za lakšu upotrebu, Apple se pridružio vlaku. Proizvođači iPhonea su (tiho) lansirali OpenELM, svoj najnoviji model AI otvorenog koda.
OpenELM, skraćenica za Open-source Efficient Language Models, dolazi u osam varijanti, svaka prethodno obučen i instrukcija ugođen dobiva četiri. Appleovi istraživači , rekao je da model koristi strategiju skaliranja po slojevima za učinkovitu distribuciju parametara unutar svakog sloja modela transformatora, a te modele možete koristiti na HuggingFace.
"Na primjer, s proračunom parametara od približno jedne milijarde parametara, OpenELM pokazuje poboljšanje točnosti od 2.36% u usporedbi s OLMo-om dok zahtijeva 2× manje tokena za prethodnu obuku", stoji u dokumentaciji.
Što se tiče veličina, svaki model dolazi s različitim parametrima: 270 milijuna, 450 milijuna, 1.1 milijarda i 3 milijarde. I dok to nije uvijek najbolji mjerni standard, parametri u AI modelima uvijek su početak njihove usporedbe.
Iskreno govoreći, OpenELM nije tako impresivan (što se tiče parametara) kao drugi modeli otvorenog koda: Lama 3, koji pokreće Meta AI, dolazi s maksimalnim brojem parametara od 70 milijardi, a Mixtral koji podržava Microsoft lansirao je svoj Model 8x22B sa 176B parametrima.
Phi-3-mini, najmanja verzija Microsoftovog modela Phi-3, ima 3.8 milijardi parametara i bio je trenirao tjedan dana koristeći Nvidijine H100 GPU-ove. Za usporedbu, srednja verzija ima 14 milijardi parametara, a mala verzija ima 7 milijardi parametara.
