Das kommende Modell Llama-3 400B von Meta könnte möglicherweise GPT-4 Turbo und Claude 3 Opus schlagen

Meta wird sein bisher leistungsstärkstes KI-Modell auf den Markt bringen, das Lama-3 mit 400B Parametern. In seinem Ankündigung Am Donnerstag wird das Open-Source-Modell bald das Meta-KI-Assistententool unterstützen, das für WhatsApp und Instagram verfügbar sein wird. 

Aber die Wahrheit ist, dass es derzeit viele leistungsstarke KI-Modelle auf dem Markt gibt. GPT-4 Turbo mit einem 128k-Kontextfenster von OpenAI gibt es schon seit geraumer Zeit, und Claude 3 Opus von Anthropic schon jetzt erhältlich auf Amazon Bedrock.

Wie schneiden diese Modelle also im Vergleich zueinander ab, basierend auf mehreren Benchmarks? Hier ist ein Vergleich, wie diese leistungsstarken Modelle in verschiedenen Optionen getestet wurden. Diese Zahlen stammen aus öffentlich zugängliche Informationen und Metas Ankündigung.

Wie Sie sehen können, liegt Llama-3 400B in diesen Benchmarks tatsächlich etwas zurück und erreicht 86.1 in MMLU, 48 in GPQA, 84.1 in HumanEval und 57.8 in MATH. 

Aber da es sich noch in der Trainingsphase befindet, besteht eine gute Chance für große Verbesserungen, sobald es vollständig im Einsatz ist. Und für ein Open-Source-Modell ist das mehr als beeindruckend. 

MMLU testet, wie gut Modelle verschiedene Themen verstehen, ohne sie direkt zu unterrichten, und deckt dabei ein breites Themenspektrum ab. GPQA hingegen sortiert Modelle danach, wie gut sie in Biologie, Physik und Chemie abschneiden, während HumanEval sich darauf konzentriert, wie sie programmieren.