Elon Musk's xAI kondigt Grok-1.5 Vision aan, met multimodale mogelijkheden

Vorige maand lanceerde Elon Musk dagen later Grok-1.5 LLM Google heeft Gemini 1.5 gelanceerd. Hoewel Musk's xAI beweerde dat zijn model dicht bij de GPT-4-prestaties ligt, beschikt het niet over multimodale mogelijkheden. De onlangs aangekondigde Grok-1.5 Vision van het bedrijf heeft die beperking echter niet, omdat het zowel tekst als visuele informatie kan verwerken.

Wat is Grok-1.5 Vision (Grok-1.5V) en wanneer zal het beschikbaar zijn?

Grok-1.5V is xAI's multimodale model van de eerste generatie dat tot doel heeft de digitale en fysieke wereld met elkaar te verbinden. “Grok presteert beter dan zijn concurrenten in onze nieuwe RealWorldQA-benchmark die het ruimtelijk inzicht in de echte wereld meet”, aldus het bedrijf in een blogpost. Bovendien kan Grok-1.5V “een grote verscheidenheid aan visuele informatie verwerken, waaronder documenten, diagrammen, grafieken, schermafbeeldingen en foto’s.”

Enkele van de opwindende dingen die het kan doen, zijn bijvoorbeeld het schrijven van code uit een diagram, het berekenen van calorieën, het maken van verhaaltjes voor het slapengaan op basis van tekeningen, het helpen begrijpen van een meme, en meer. xAI beweert dat Grok-1.5V beter presteert dan zijn rivaliserende LLM's, waaronder GPT-4V, Claude 3Sonnet, Claude 3 Opus en Gemini Pro, in de RealWorldQA-benchmark.

“Grok presteert beter dan zijn concurrenten in onze nieuwe RealWorldQA-benchmark die het ruimtelijk inzicht in de echte wereld meet”, benadrukt xAI.

Grok-1.5V is momenteel niet beschikbaar, maar komt binnenkort als preview beschikbaar voor vroege testers en bestaande Grok-gebruikers. Hoewel xAI de lanceringsdatum niet heeft gespecificeerd, wordt beloofd het “multimodale begrip” en de “generatiemogelijkheden” verder te bevorderen en verbeteringen aan te brengen in verschillende modaliteiten zoals afbeeldingen, audio en video.