Meta 即将推出的 Llama-3 400B 模型可能会击败 GPT-4 Turbo 和 Claude 3 Opus

Meta 将推出其迄今为止最强大的人工智能模型 羊驼-3 具有 400B 参数。在其 公告 周四，开源模型将很快为 WhatsApp 和 Instagram 上的 Meta AI 助手工具提供支持。 

但事实是，目前市场上有很多强大的人工智能模型。 GPT-4涡轮 OpenAI 的 128k 上下文窗口已经存在相当长一段时间了，Anthropic 的 Claude 3 Opus 是 现已 在亚马逊基岩上。

那么，根据多个基准，这些模型之间的比较如何？以下是这些强大模型在多个选项中的测试情况比较。这些数字取自 公开信息 和 Meta 的 公告.

正如您所看到的，Llama-3 400B 实际上在这些基准测试中确实稍显不足，在 MMLU 中得分为 86.1，在 GPQA 中得分为 48，在 HumanEval 中得分为 84.1，在 MATH 中得分为 57.8。 

但是，鉴于它仍处于训练阶段，一旦完全部署，很有可能会出现重大改进。对于开源模型来说，这远远超出了令人印象深刻的程度。 

MMLU 测试模型在不直接教授不同主题的情况下对它们的理解程度，涵盖了广泛的主题。另一方面，GPQA 根据模型在生物学、物理和化学方面的表现对模型进行排序，而 HumanEval 则重点关注它们的编码方式。