Microsoft heeft de Phi-3 Mini slechts een week getraind met Nvidia's AI-vriendelijke H100 GPU's
De Mini-versie van Phi-3 is het enige model dat momenteel beschikbaar is
2 minuut. lezen
Uitgegeven op
deel dit artikel
Verbeter deze handleiding
Lees onze openbaarmakingspagina om erachter te komen hoe u MSPoweruser kunt helpen het redactieteam te ondersteunen Lees meer
Belangrijkste opmerkingen
- Microsoft lanceerde Phi-3-modellen, geleid door Phi-3 Mini met 3.8B-parameters,
- Het model werd in zeven dagen getraind op 3.3 biljoen tokens met behulp van 512 NVIDIA H100 GPU's.
- De Phi-3-familie omvat ook kleine en middelgrote varianten, die beter presteren dan eerdere modellen zoals Phi-2.
Microsoft lanceerde de Phi-3-familie van modellen, een van de beste kleine modellen op de markt op dit moment. En nu, Nvidia zei en beschreef hoe het bedrijf uit Redmond zijn H100 GPU's gebruikte om deze modellen te trainen, of meer specifiek, de Mini, 3.8B-versie.
“Het model heeft 3.8 miljard parameters en werd in slechts zeven dagen getraind op 3.3 biljoen tokens op 512 NVIDIA H100 Tensor Core GPU’s”, zegt de techmaker dinsdag.
De familie van Phi-3 wordt geleverd met drie varianten: Phi-3 Mini (3.8B), Phi-3 Small (7B) en Phi-3 Medium (14B). Het is een enorme verbetering ten opzichte van de vorige Phi-2 dat maanden geleden werd gelanceerd met slechts 2.7 miljard parameters.
Meer specifiek wordt Phi-3 Mini ook geleverd met twee opties, afhankelijk van de ondersteunende tokens: 4K en 128K. Je kunt dit laatste proberen in het AI-centrum van Nvidia als een Nvidia NIM-service voor ontwikkelaars, en het model lokaal uitvoeren met Windows DirectML of TensorRT-LLM.
“Phi-3-modellen presteren aanzienlijk beter dan taalmodellen van dezelfde en grotere omvang op belangrijke benchmarks (zie benchmarkcijfers hieronder, hoger is beter),” Microsoft zei bij de lancering van de modellen, met het opscheppen over het feit dat de Small en Medium versies beter kunnen presteren dan grotere modellen zoals de GPT-3.5T.
De Mini-versie is wat momenteel op de markt verkrijgbaar is, maar Microsoft beloofde dat alle andere twee modellen binnenkort beschikbaar zullen zijn. Je kunt Phi-3 Mini ook proberen op Azure AI en Hugging Face.
