Microsoft trénoval Phi-3 Mini iba týždeň s grafickými procesormi Nvidia H100 podporujúcimi AI
Verzia Phi-3 Mini je jediný model, ktorý je momentálne dostupný
2 min. čítať
Publikované dňa
Zdieľajte tento článok
Vylepšite túto príručku
Prečítajte si našu informačnú stránku a zistite, ako môžete pomôcť MSPoweruser udržať redakčný tím Čítaj viac
Kľúčové poznámky
- Microsoft uviedol na trh modely Phi-3 na čele s Phi-3 Mini s parametrami 3.8B,
- Model bol trénovaný na 3.3 biliónoch tokenov za sedem dní pomocou 512 GPU NVIDIA H100.
- Rodina Phi-3 zahŕňa aj malé a stredné varianty, ktoré prekonávajú predchádzajúce modely ako Phi-2.
Microsoft spustil Rodina Phi-3 modelov, v súčasnosti jeden z najlepších malých modelov na trhu. A teraz Nvidia povedal a opísal, ako spoločnosť z Redmondu použila svoje GPU H100 na trénovanie týchto modelov, alebo konkrétnejšie verzie Mini, 3.8B.
„Model má 3.8 miliardy parametrov a bol trénovaný na 3.3 biliónoch tokenov len za sedem dní na 512 GPU NVIDIA H100 Tensor Core,“ povedal v utorok výrobca.
Rodina Phi-3 prichádza s tromi variantmi: Phi-3 Mini (3.8B), Phi-3 Small (7B) a Phi-3 Medium (14B). Je to obrovské zlepšenie oproti predchádzajúcemu Phi-2 ktorý bol spustený len s 2.7 miliardami parametrov pred mesiacmi.
Konkrétnejšie Phi-3 Mini tiež prichádza s dvoma možnosťami v závislosti od podporných tokenov: 4K a 128K. Ten môžete vyskúšať v centre AI spoločnosti Nvidia ako službu Nvidia NIM pre vývojárov a spustiť model lokálne pomocou Windows DirectML alebo TensorRT-LLM.
„Modely Phi-3 výrazne prevyšujú jazykové modely rovnakých a väčších veľkostí v kľúčových benchmarkoch (pozri čísla benchmarkov nižšie, čím vyššie, tým lepšie),“ Microsoft povedal pri uvádzaní modelov sa chváli, že verzie Small a Medium dokážu prekonať väčšie modely ako GPT-3.5T.
Verzia Mini je momentálne dostupná na trhu, ale Microsoft sľúbil, že všetky ostatné dva modely budú čoskoro dostupné. Môžete tiež vyskúšať Phi-3 Mini na Azure AI a Hugging Face.
