Mini GPT-4o OpenAI memproses lebih dari 200 miliar token setiap hari kurang dari seminggu setelah peluncuran

OpenAI meluncurkan GPT-4o mini, model kecil terbaru dan paling mumpuni, untuk umum beberapa waktu lalu. Perusahaan yang didukung Microsoft mengatakan pada peluncurannya bahwa model tersebut mendukung hingga 128 ribu jendela konteks dan token keluaran maksimal pada 16 ribu.

Sekarang, di update dibagikan oleh bos OpenAI Sam Altman, model kecil ini telah melampaui tonggak pemrosesan harian sebesar 200 miliar token, meskipun beberapa pengguna juga terkenal bahwa model Mini menggunakan lebih dari 20x token untuk gambar dibandingkan GPT-4.

GPT-4o mini ideal untuk tugas-tugas yang memerlukan biaya dan latensi rendah, sehingga cocok untuk aplikasi yang melibatkan beberapa panggilan model, penanganan konteks besar, atau interaksi teks real-time, seperti API, analisis basis kode komprehensif, dan chatbot dukungan pelanggan.

“Saat ini, GPT-4o mini mendukung teks dan visi dalam API, dengan dukungan untuk input dan output teks, gambar, video dan audio yang akan hadir di masa depan,” janji perusahaan yang didukung Microsoft.

OpenAI mengatakan pada saat peluncurannya bahwa model Mini mengungguli beberapa pesaingnya di beberapa benchmark. GPT-4oMini mengungguli pesaing, seperti Gemini Flash dari Google dan Claude Haiku dari Anthropic, dengan skor benchmark tinggi: 82% di MMLU, 87% di MGSM, dan 87.2% di HumanEval.

GPT-4o mini juga menggantikan GPT-3.5 untuk pengguna ChatGPT Gratis, Plus, dan Tim dengan batas waktu pelatihan pada Oktober 2023. nemo, model lain yang lebih kecil dari Mistral AI yang didukung oleh Nvidia, juga membuat terobosan dengan 128 ribu token dan skor 68.0% di MMLU.