微软仅使用 Nvidia 的 AI 友好型 H3 GPU 对 Phi-100 Mini 进行了一周的训练
Phi-3 的迷你版是目前唯一可用的型号
2分钟读
发表于
分享此文章
改进本指南
重点说明
- 微软推出Phi-3型号，以Phi-3 Mini为首，参数为3.8B，
- 该模型使用 3.3 个 NVIDIA H512 GPU 在 100 天内对 XNUMX 万亿个令牌进行了训练。
- Phi-3 系列还包括小型和中型型号，其性能优于 Phi-2 等之前的型号。
微软推出了 Phi-3家族 的型号，目前市场上最好的小型型号之一。而现在，英伟达 说过 并描述了雷德蒙德公司如何使用其 H100 GPU 来训练这些模型，或者更具体地说，Mini 3.8B 版本。
该技术制造商周二表示：“该模型拥有 3.8 亿个参数，仅 3.3 天就在 512 个 NVIDIA H100 Tensor Core GPU 上接受了 XNUMX 万亿个代币的训练。”
Phi-3 系列提供三种型号：Phi-3 Mini (3.8B)、Phi-3 Small (7B) 和 Phi-3 Medium (14B)。与之前相比，这是一个巨大的进步 Φ2 几个月前推出时只有 2.7B 参数。
更具体地说，Phi-3 Mini 根据支持的令牌还提供两个选项：4K 和 128K。您可以在 Nvidia 的 AI 中心尝试后者作为面向开发人员的 Nvidia NIM 服务，并使用 Windows DirectML 或 TensorRT-LLM 在本地运行模型。
“在关键基准测试中，Phi-3 模型的性能明显优于相同和更大尺寸的语言模型（请参阅下面的基准数据，越高越好），”微软 说过 在推出型号时，吹嘘中小型版本可以胜过GPT-3.5T等大型型号。
目前市场上有Mini版本，但微软承诺所有其他两种型号将很快上市。您还可以在 Azure AI 和 Hugging Face 上尝试 Phi-3 Mini。
