OpenAI's GPT-4o mini verwerkt dagelijks meer dan 200 miljard tokens, minder dan een week na de lancering

OpenAI lanceerde de GPT-4o mini, het nieuwste, meest capabele kleine model, een tijdje geleden voor de massa. Het door Microsoft gesteunde bedrijf zei bij de lancering dat het model tot 128K contextvenster en maximale uitvoertokens van 16K ondersteunt.

Nu in een update gedeeld door OpenAI-baas Sam Altman, heeft het kleine model de dagelijkse verwerkingsmijlpaal van 200 miljard tokens overtroffen, hoewel sommige gebruikers ook bekend dat het Mini-model meer dan 20x tokens voor afbeeldingen verbruikt dan GPT-4.

GPT-4o mini is ideaal voor taken die lage kosten en latentie vereisen, waardoor het geschikt is voor toepassingen waarbij meerdere modelaanroepen, grote contextafhandeling of realtime tekstinteracties betrokken zijn, zoals API's, uitgebreide codebasisanalyse en chatbots voor klantenondersteuning.

“Vandaag ondersteunt GPT-4o mini tekst en visie in de API, met ondersteuning voor tekst-, beeld-, video- en audio-invoer en -uitvoer in de toekomst”, belooft het door Microsoft gesteunde bedrijf.

OpenAI zei ten tijde van de lancering dat het Mini-model in verschillende benchmarks beter presteert dan sommige van zijn concurrenten. GPT-4o Mini presteert beter dan concurrenten, zoals Google's Gemini Flash en Claude Haiku van Anthropic, met hoge benchmarkscores: 82% op MMLU, 87% op MGSM en 87.2% op HumanEval.

GPT-4o mini vervangt ook GPT-3.5 voor ChatGPT Free-, Plus- en Team-gebruikers met een trainingssluitingsdatum van oktober 2023. nemo, een ander kleiner model van Mistral AI dat wordt ondersteund door Nvidia, maakt ook furore met 128K-tokens en een score van 68.0% op MMLU.