Il prossimo modello Llama-3 400B di Meta potrebbe potenzialmente battere GPT-4 Turbo e Claude 3 Opus

Meta è pronta a lanciare il suo modello di intelligenza artificiale ancora più potente, il Lama-3 con parametri 400B. Nel suo annuncio giovedì, il modello open source alimenterà presto lo strumento di assistente Meta AI che arriverà su WhatsApp e Instagram. 

Ma la verità è che al momento sul mercato ci sono moltissimi modelli di intelligenza artificiale potenti. GPT-4 Turbo con una finestra di contesto da 128k di OpenAI è in circolazione da un po' di tempo, e Claude 3 Opus di Anthropic è ora disponibile su Amazon Bedrock.

Quindi, come si confrontano questi modelli tra loro, sulla base di diversi benchmark? Ecco un confronto di come questi potenti modelli sono stati testati in diverse opzioni. Queste cifre sono tratte da informazioni disponibili al pubblico e di Meta annuncio.

Come puoi vedere, Llama-3 400B in realtà non è all'altezza di questi benchmark, segnando 86.1 in MMLU, 48 in GPQA, 84.1 in HumanEval e 57.8 in MATH. 

Ma, dato che è ancora in fase di addestramento, ci sono buone possibilità di grandi miglioramenti una volta che sarà completamente operativo. E per un modello open source, è molto più che impressionante. 

MMLU verifica la capacità dei modelli di comprendere diverse materie senza insegnarle direttamente, coprendo una vasta gamma di argomenti. GPQA, d'altra parte, ordina i modelli in base al loro rendimento in biologia, fisica e chimica, mentre HumanEval si concentra su come codificano.