Microsoft выпустит модель малого языка (SLM) Phi Silica как часть Windows для поддержки приложений GenAI

Microsoft запустила еще одну модель малого языка (SLM).

Значок времени чтения 2 минута. читать


Читатели помогают поддержать MSpoweruser. Мы можем получить комиссию, если вы совершите покупку по нашим ссылкам. Значок подсказки

Прочтите нашу страницу раскрытия информации, чтобы узнать, как вы можете помочь MSPoweruser поддержать редакционную команду. Читать далее

Ключевые заметки

  • Выпущено множество небольших моделей, таких как OpenOELM от Apple и Phi-3 от Microsoft.
  • Теперь компания из Редмонда запустила Phi Silica для приложений генеративного искусственного интеллекта.
  • Вскоре он появится как часть операционной системы Windows.

За последние месяцы Microsoft выпустила множество моделей искусственного интеллекта. Некоторые из них предназначены для небольших задач и поэтому называются малой языковой моделью (SLM). Но, хотя Microsoft запустила «рентабельный» Модель Фи-3 который превосходит своих конкурентов, в семействе появилось новое дополнение: Phi Silica. 

В рамках недавнего мероприятия Microsoft Build 2024, посвященного искусственному интеллекту, технический гигант из Редмонда заявил, что эта модель Phi Silica «создана специально для NPU в ПК Copilot+». Другими словами, эта модель, созданная на базе серии Phi-3, скоро будет включена в будущие версии Windows для поддержки генеративных приложений искусственного интеллекта.

Microsoft заявляет, что модель Phi Silica будет даже более экономичной и энергоэффективной. Он повторно использует кэш KV от NPU и работает на CPU, производя примерно 27 токенов в секунду.

Затем компания хвастается: «При полной разгрузке NPU по оперативной обработке задержка первого токена составляет 650 токенов в секунду — и требует всего около 1.5 Вт мощности, оставляя при этом ваш процессор и графический процессор свободными для других вычислений».

Недавно появилось много небольших моделей искусственного интеллекта. Apple, главный конкурент Microsoft, также выпустила ОпенЭЛМ с разными параметрами от 270 миллионов до 3 миллиардов.

Семейство Phi-3, с другой стороны, сначала появилось в трех вариантах: phi-3-mini (параметры 3.8B), phi-3-маленький (7B) и phi-3-средний (14B). Мини-версия была обучена с использованием AI-Friendly от Nvidia. Графические процессоры H100.

«Модели Phi-3 значительно превосходят языковые модели того же и большего размера по ключевым показателям… Phi-3-mini работает лучше, чем модели вдвое большего размера, а Phi-3-small и Phi-3-medium превосходят гораздо более крупные модели, включая GPT-3.5T», — говорится в сообщении Microsoft. первоначальное объявление.