El próximo modelo Llama-3 400B de Meta podría vencer al GPT-4 Turbo y al Claude 3 Opus

Meta está listo para lanzar su modelo de IA más poderoso hasta ahora, el Llama-3 con parámetros 400B. En su anuncio El jueves, el modelo de código abierto pronto impulsará la herramienta asistente Meta AI que llegará a WhatsApp e Instagram. 

Pero la verdad es que actualmente existen muchos modelos de IA potentes en el mercado. GPT-4 Turbo con una ventana de contexto de 128k de OpenAI existe desde hace bastante tiempo, y Claude 3 Opus de Anthropic es ahora disponible en Amazon Bedrock.

Entonces, ¿cómo se comparan estos modelos entre sí, según varios puntos de referencia? A continuación se muestra una comparación de cómo se probaron estos potentes modelos en varias opciones. Estas cifras están tomadas de información disponible públicamente y los de Meta anuncio.

Como puede ver, Llama-3 400B en realidad se queda un poco corto en estos puntos de referencia, con una puntuación de 86.1 en MMLU, 48 en GPQA, 84.1 en HumanEval y 57.8 en MATH. 

Pero, dado que todavía se encuentra en la fase de entrenamiento, existe una buena posibilidad de realizar grandes mejoras una vez que esté completamente implementado. Y para un modelo de código abierto, eso es mucho más que impresionante. 

MMLU prueba qué tan bien los modelos entienden diferentes temas sin enseñarlos directamente, cubriendo una amplia gama de temas. GPQA, por otro lado, clasifica los modelos según su desempeño en biología, física y química, mientras que HumanEval se centra en cómo codifican.