Microsoft는 Nvidia의 AI 친화적인 H3 GPU를 사용하여 Phi-100 Mini를 일주일 동안만 훈련시켰습니다.
Phi-3의 Mini 버전은 현재 사용 가능한 유일한 모델입니다.
2 분. 읽다
에 게시됨
이 기사 공유
이 가이드를 개선하세요
공개 페이지를 읽고 MSPoweruser가 편집팀을 유지하는 데 어떻게 도움을 줄 수 있는지 알아보세요. 자세히 보기
주요 사항
- Microsoft는 3B 매개변수를 갖춘 Phi-3 Mini가 주도하는 Phi-3.8 모델을 출시했습니다.
- 이 모델은 3.3개의 NVIDIA H512 GPU를 사용하여 100일 만에 XNUMX조 XNUMX천억 개의 토큰에 대해 훈련되었습니다.
- Phi-3 제품군에는 Phi-2와 같은 이전 모델보다 성능이 뛰어난 소형 및 중형 변형도 포함되어 있습니다.
Microsoft는 Phi-3 계열 현재 시장에서 가장 작은 모델 중 하나입니다. 그리고 지금, 엔비디아 말했다 Redmond 회사가 H100 GPU를 사용하여 이러한 모델, 더 구체적으로 Mini, 3.8B 버전을 교육하는 방법을 설명했습니다.
"이 모델에는 3.8억 개의 매개변수가 있으며 3.3개의 NVIDIA H512 Tensor Core GPU에서 단 100일 만에 XNUMX조 XNUMX천억 개의 토큰에 대해 훈련되었습니다."라고 기술 제조업체가 화요일에 밝혔습니다.
Phi-3 제품군에는 Phi-3 Mini(3.8B), Phi-3 Small(7B), Phi-3 Medium(14B)의 세 가지 변형이 있습니다. 전작에 비해 엄청난 발전이군요 파이-2 몇 달 전에 단 2.7억 개의 매개변수로 출시되었습니다.
보다 구체적으로 Phi-3 Mini에는 지원 토큰에 따라 4K와 128K의 두 가지 옵션도 함께 제공됩니다. 후자를 Nvidia AI 센터에서 개발자를 위한 Nvidia NIM 서비스로 사용해 보고 Windows DirectML 또는 TensorRT-LLM을 사용하여 로컬에서 모델을 실행할 수 있습니다.
"Phi-3 모델은 주요 벤치마크에서 동일하거나 더 큰 크기의 언어 모델보다 훨씬 뛰어난 성능을 발휘합니다(아래 벤치마크 수치 참조, 높을수록 좋음)." Microsoft 말했다 모델을 출시할 때 Small 및 Medium 버전이 GPT-3.5T와 같은 대형 모델을 능가할 수 있다고 자랑합니다.
Mini 버전은 현재 시장에 나와 있지만 Microsoft는 다른 두 모델도 곧 출시될 것이라고 약속했습니다. Azure AI 및 Hugging Face에서 Phi-3 Mini를 사용해 볼 수도 있습니다.
