Microsoft introduce familia Phi-3 de modele care depășesc alte modele din clasa sa
2 min. citit
Publicat în data de
Distribuiți acest articol
Îmbunătățiți acest ghid
Citiți pagina noastră de dezvăluire pentru a afla cum puteți ajuta MSPoweruser să susțină echipa editorială Află mai multe
În decembrie 2023, Microsoft a lansat Phi-2 model cu 2.7 miliarde de parametri care au oferit performanțe de ultimă generație printre modelele de limbaj de bază cu mai puțin de 13 miliarde de parametri. În ultimele patru luni, alte câteva modele care au fost lansate au depășit Phi-2. Recent, Meta a lansat familia de modele Llama-3 care a depășit toate modelele open-source lansate anterior.
Aseară, Microsoft Research a anunțat familia de modele Phi-3 prin intermediul un raport tehnic. Există trei modele în familia Phi-3:
- phi-3-mini (3.8B)
- phi-3-mic (7B)
- phi-3-mediu (14B)
phi-3-mini cu un model de limbaj de 3.8 miliarde de parametri este antrenat pe 3.3 trilioane de jetoane. Conform benchmark-urilor, phi-3-mini bate Mixtral 8x7B și GPT-3.5. Microsoft susține că acest model este suficient de mic pentru a fi implementat pe un telefon. Microsoft a folosit o versiune extinsă a setului de date care a fost folosită pentru phi-2, compusă din date web filtrate puternic și date sintetice. Conform rezultatelor de referință ale Microsoft din documentul tehnic, phi-3-small și phi-3-medium obțin un scor impresionant MMLU de 75.3 și, respectiv, 78.2.
În ceea ce privește capacitățile LLM, în timp ce modelul Phi-3-mini atinge un nivel similar de înțelegere a limbajului și capacitate de raționament cu cel al modelelor mult mai mari, este încă limitat de dimensiunea sa pentru anumite sarcini. Modelul pur și simplu nu are capacitatea de a stoca cunoștințe faptice extinse, ceea ce poate fi văzut, de exemplu, cu performanțe scăzute pe TriviaQA. Cu toate acestea, credem că această slăbiciune poate fi rezolvată prin creșterea cu un motor de căutare.
