xAI di Elon Musk annuncia Grok-1.5 Vision, con capacità multimodale

Il mese scorso, Elon Musk ha lanciato Grok-1.5 LLM pochi giorni dopo Google ha lanciato Gemini 1.5. Anche se xAI di Musk ha affermato che il suo modello è vicino alle prestazioni del GPT-4, non ha capacità multimodali. Tuttavia, Grok-1.5 Vision recentemente annunciato dall'azienda non presenta questa limitazione, poiché può elaborare sia informazioni testuali che visive.

Cos'è Grok-1.5 Vision (Grok-1.5V) e quando sarà disponibile?

Grok-1.5V è il modello multimodale di prima generazione di xAI che mira a connettere il mondo digitale e quello fisico. "Grok supera i suoi concorrenti nel nostro nuovo benchmark RealWorldQA che misura la comprensione spaziale del mondo reale", ha affermato la società in un post sul blog. Inoltre, Grok-1.5V può "elaborare un'ampia varietà di informazioni visive, inclusi documenti, diagrammi, grafici, schermate e fotografie".

Ad esempio, alcune delle cose interessanti che può fare includono scrivere codice da un diagramma, calcolare le calorie, creare favole della buonanotte basate su disegni, aiutarti a capire un meme e altro ancora. xAI afferma che Grok-1.5V offre prestazioni migliori rispetto ai suoi rivali LLM, tra cui GPT-4V, Claude 3Sonnet, Claude 3 Opus e Gemini Pro, nel benchmark RealWorldQA.

“Grok supera i suoi concorrenti nel nostro nuovo benchmark RealWorldQA che misura la comprensione spaziale del mondo reale”, ha sottolineato xAI.

Grok-1.5V non è attualmente disponibile, ma arriverà presto in anteprima ai primi tester e agli utenti Grok esistenti. Sebbene xAI non abbia specificato la data di lancio, ha promesso di far avanzare ulteriormente la "comprensione multimodale" e le "capacità di generazione" e di apportare miglioramenti a varie modalità come immagini, audio e video.