Bagaimana model sumber terbuka OpenELM Apple dibandingkan dengan Phi-3 Microsoft, dari segi parameter?

Tak lama setelah Microsoft meluncurkan keluarga Phi-3, serangkaian model sumber terbuka kecil yang dirancang untuk penggunaan lebih ringan, Apple ikut serta. Pembuat iPhone (diam-diam) telah meluncurkan OpenELM, model AI open-source terbarunya. 

OpenELM, kependekan dari Open-source Efficient Language Models, masing-masing hadir dalam delapan varian terlatih dan disesuaikan dengan instruksi mendapat empat. peneliti Apple tersebut bahwa model tersebut menggunakan strategi penskalaan berdasarkan lapisan untuk mendistribusikan parameter secara efisien dalam setiap lapisan model transformator, dan Anda dapat menggunakan model ini pada MemelukWajah.

“Misalnya, dengan anggaran parameter sekitar satu miliar parameter, OpenELM menunjukkan peningkatan akurasi sebesar 2.36% dibandingkan dengan OLMo sekaligus membutuhkan token pra-pelatihan 2× lebih sedikit,” demikian bunyi dokumentasinya.

Dari segi ukurannya, masing-masing model hadir dengan parameter berbeda: 270 juta, 450 juta, 1.1 miliar, dan 3 miliar. Meskipun ini tidak selalu merupakan standar pengukuran terbaik, parameter dalam model AI selalu menjadi awal dalam membandingkannya.

Sejujurnya, OpenELM tidak begitu mengesankan (dari segi parameter) seperti model sumber terbuka lainnya: Lama 3, yang mendukung Meta AI, hadir dengan jumlah parameter maksimal 70 miliar, dan Mixtral yang didukung Microsoft meluncurkannya Modelnya 8x22B dengan parameter 176B.

Phi-3-mini, versi terkecil dari model Phi-3 Microsoft, memiliki 3.8 miliar parameter dan dilatih selama seminggu menggunakan GPU H100 Nvidia. Sebagai perbandingan, versi medium memiliki 14 miliar parameter, dan versi kecil memiliki 7 miliar parameter.