Microsoft trente Phi-3 Mini bare i en uke med Nvidias AI-vennlige H100 GPUer
Phi-3s Mini-versjon er den eneste modellen som er tilgjengelig for øyeblikket
2 min. lese
Publisert på
Del denne artikkelen
Forbedre denne veiledningen
Les vår avsløringsside for å finne ut hvordan du kan hjelpe MSPoweruser opprettholde redaksjonen Les mer
Viktige merknader
- Microsoft lanserte Phi-3-modeller, ledet av Phi-3 Mini med 3.8B parametere,
- Modellen ble trent på 3.3 billioner tokens på syv dager ved bruk av 512 NVIDIA H100 GPUer.
- Phi-3-familien inkluderer også små og mellomstore varianter, som overgår tidligere modeller som Phi-2.
Microsoft lanserte Phi-3-familien av modeller, en av de beste små modellene på markedet for øyeblikket. Og nå, Nvidia sa og beskrev hvordan Redmond-selskapet brukte sine H100 GPU-er for å trene disse modellene, eller mer spesifikt, Mini, 3.8B-versjonen.
"Modellen har 3.8 milliarder parametere og ble trent på 3.3 billioner tokens på bare syv dager på 512 NVIDIA H100 Tensor Core GPUer," sa teknologiprodusenten tirsdag.
Familien til Phi-3 kommer med tre varianter: Phi-3 Mini (3.8B), Phi-3 Small (7B) og Phi-3 Medium (14B). Det er en enorm forbedring fra forrige Phi-2 som ble lansert med bare 2.7B parametere for måneder siden.
Phi-3 Mini, mer spesifikt, kommer også med to alternativer avhengig av støttende tokens: 4K og 128K. Du kan prøve sistnevnte på Nvidias AI-senter som en Nvidia NIM-tjeneste for utviklere, og kjøre modellen lokalt ved hjelp av Windows DirectML eller TensorRT-LLM.
"Phi-3-modeller gir betydelig bedre resultater enn språkmodeller av samme og større størrelser på viktige benchmarks (se benchmark-tall nedenfor, høyere er bedre)," Microsoft sa ved lansering av modellene, skryte av at Small og Medium-versjonene kan utkonkurrere større modeller som GPT-3.5T.
Mini-versjonen er det som er tilgjengelig på markedet for øyeblikket, men Microsoft lovet at alle de to andre modellene vil være tilgjengelige snart. Du kan også prøve Phi-3 Mini på Azure AI og Hugging Face.
