Gemini Ultra проти GPT 4: як Google Gemini перемагає OpenAI GPT-4 у більшості тестів

Нова мовна модель Google, GeminiНайпопулярніша модель Gemini Ultra перевершила OpenAI GPT-4 у всебічних порівняльних тестах. Від текстових завдань до складного мультимедійного розуміння, Gemini постійно демонстрував чудову продуктивність.

Текстова продуктивність:

• Багатоетапне міркування (Big-Bench Hard): Gemini Ultra перевершив GPT-4, продемонструвавши свою здатність виконувати складні інструкції та вирішувати багатоетапні проблеми.
• Розуміння прочитаного (DROP): Gemini відзначився у розумінні нюансів тексту, перевищивши GPT-4 у точному вилученні інформації та відповідях на запитання на основі читання уривків.
• Розуміння здорового глузду для щоденних завдань (HellaSwag): Хоча GPT-4 випередив Gemini у цій категорії, обидві моделі продемонстрували надзвичайні можливості в застосуванні здорового глузду в повсякденних ситуаціях.

Обробка мультимедіа:

• Завдання, пов’язані з зображеннями: Gemini впорався з усіма тестами, пов’язаними з обробкою зображень, продемонструвавши чудові здібності до міркування на рівні коледжу, природного розуміння зображень, OCR, розуміння документів, аналізу інфографіки та математичних міркувань у візуальному контексті.
• Обробка відео: Gemini переміг у двох тестах, пов’язаних із відео, відзначившись у записі субтитрів англійською мовою та відеовідповідях на запитання.
• Обробка звуку: Gemini переміг аудіотести, продемонструвавши чудову продуктивність автоматичного перекладу та розпізнавання мовлення.

Загалом Gemini перевершив GPT4, за винятком міркувань здорового глузду для щоденних завдань (HellaSwag).

Картина ясна: Gemini Ultra від Google зарекомендувала себе як провідна модель великої мови, перевершивши свого конкурента, GPT-4, у різних завданнях. 

Детальніше тут.