Microsoft представляет семейство моделей Phi-3, которые превосходят другие модели своего класса

Еще в декабре 2023 года Microsoft выпустила Фи-2 модель с 2.7 миллиардами параметров, которая обеспечивает самую современную производительность среди моделей базового языка с менее чем 13 миллиардами параметров. За последние четыре месяца несколько других выпущенных моделей превзошли Phi-2. Недавно компания Meta выпустила семейство моделей Llama-3, которые превзошли все ранее выпущенные модели с открытым исходным кодом.

Вчера вечером Microsoft Research анонсировала семейство моделей Phi-3 через технический отчет. В семействе Фи-3 три модели:

• фи-3-мини (3.8Б)
• фи-3-маленький (7Б)
• фи-3-средний (14Б)

phi-3-mini с языковой моделью с 3.8 миллиардами параметров обучен на 3.3 триллионах токенов. По тестам phi-3-mini превосходит Mixtral 8x7B и GPT-3.5. Microsoft утверждает, что эта модель достаточно мала, чтобы ее можно было установить на телефоне. Microsoft использовала увеличенную версию набора данных, который использовался для phi-2, состоящего из сильно отфильтрованных веб-данных и синтетических данных. Согласно результатам тестов Microsoft в техническом документе, phi-3-small и phi-3-medium достигают впечатляющих показателей MMLU — 75.3 и 78.2 соответственно.

Что касается возможностей LLM, хотя модель Phi-3-mini достигает такого же уровня понимания языка и способности рассуждать, как и гораздо более крупные модели, она по-прежнему фундаментально ограничена своим размером для определенных задач. Модель просто не имеет возможности хранить обширные фактические знания, что видно, например, по низкой производительности на TriviaQA. Однако мы считаем, что этот недостаток можно устранить путем добавления поисковой системы.