Microsoft memperkenalkan keluarga model Phi-3 yang mengungguli model lain di kelasnya

Kembali pada bulan Desember 2023, Microsoft merilis Fi-2 model dengan 2.7 miliar parameter yang memberikan performa canggih di antara model bahasa dasar dengan kurang dari 13 miliar parameter. Dalam empat bulan terakhir, beberapa model lain yang dirilis mengungguli Phi-2. Baru-baru ini, Meta merilis model keluarga Llama-3 yang mengungguli semua model sumber terbuka yang dirilis sebelumnya.

Tadi malam, Microsoft Research mengumumkan keluarga model Phi-3 melalui laporan teknis. Ada tiga model dalam keluarga Phi-3:

• phi-3-mini (3.8B)
• phi-3-kecil (7B)
• phi-3-medium (14B)

Phi-3-mini dengan model bahasa 3.8 miliar parameter dilatih pada 3.3 triliun token. Menurut benchmark, phi-3-mini mengalahkan Mixtral 8x7B dan GPT-3.5. Microsoft mengklaim bahwa model ini cukup kecil untuk diterapkan pada ponsel. Microsoft menggunakan versi kumpulan data yang ditingkatkan yang digunakan untuk phi-2, yang terdiri dari data web dan data sintetis yang sangat difilter. Menurut hasil benchmark Microsoft pada Makalah Teknis, phi-3-small dan phi-3-medium mencapai skor MMLU yang mengesankan masing-masing sebesar 75.3 dan 78.2.

Dalam hal kemampuan LLM, meskipun model Phi-3-mini mencapai tingkat pemahaman bahasa dan kemampuan penalaran yang sama dengan model yang jauh lebih besar, model ini pada dasarnya masih dibatasi oleh ukurannya untuk tugas-tugas tertentu. Model tersebut tidak memiliki kapasitas untuk menyimpan pengetahuan faktual yang luas, seperti yang terlihat, misalnya, dengan kinerja yang rendah di TriviaQA. Namun, kami yakin kelemahan ini dapat diatasi dengan augmentasi menggunakan mesin pencari.