A Microsoft csak egy hétig oktatta a Phi-3 Mini-t az Nvidia AI-barát H100 GPU-ival
A Phi-3 Mini verziója az egyetlen modell, amely jelenleg elérhető
2 perc olvas
Publikálva
Ossza meg ezt a cikket
Javítsa ezt az útmutatót
Olvassa el közzétételi oldalunkat, hogy megtudja, hogyan segítheti az MSPowerusert a szerkesztői csapat fenntartásában Tovább
Főbb megjegyzések
- A Microsoft piacra dobta a Phi-3 modelleket, a Phi-3 Mini vezetésével 3.8B paraméterekkel,
- A modellt hét nap alatt 3.3 billió tokenre betanították 512 NVIDIA H100 GPU segítségével.
- A Phi-3 család kis és közepes változatokat is tartalmaz, felülmúlva a korábbi modelleket, például a Phi-2-t.
A Microsoft elindította a Phi-3 család modellek közül, jelenleg az egyik legjobb kis modell a piacon. És most az Nvidia mondott és leírta, hogy a redmondi cég hogyan használta a H100-as GPU-it ezeknek a modelleknek, pontosabban a Mini, 3.8B verziónak a betanításához.
„A modell 3.8 milliárd paraméterrel rendelkezik, és 3.3 billió tokenre betanították mindössze hét nap alatt 512 NVIDIA H100 Tensor Core GPU-n” – mondta kedden a technológiai gyártó.
A Phi-3 család három változatot tartalmaz: Phi-3 Mini (3.8B), Phi-3 Small (7B) és Phi-3 Medium (14B). Óriási előrelépés az előzőhöz képest Phi-2 amelyet mindössze 2.7 milliárdos paraméterrel indítottak hónapokkal ezelőtt.
Pontosabban, a Phi-3 Mini két opcióval is rendelkezik a támogatott tokenektől függően: 4K és 128K. Ez utóbbit kipróbálhatja az Nvidia mesterséges intelligencia központjában, mint Nvidia NIM szolgáltatást a fejlesztők számára, és helyileg futtathatja a modellt Windows DirectML vagy TensorRT-LLM segítségével.
"A Phi-3 modellek jelentősen felülmúlják az azonos és nagyobb méretű nyelvi modelleket a legfontosabb benchmarkok tekintetében (lásd lentebb a benchmark számokat, a magasabb annál jobb)" mondott a modellek piacra dobásakor büszkélkedhet azzal, hogy a kis és közepes változatok felülmúlják a nagyobb modelleket, mint például a GPT-3.5T.
A Mini verzió jelenleg elérhető a piacon, de a Microsoft megígérte, hogy a másik két modell hamarosan elérhető lesz. Kipróbálhatja a Phi-3 Minit az Azure AI-n és a Hugging Face-en is.
