Microsoft обучала Phi-3 Mini всего неделю с помощью графических процессоров Nvidia H100, дружественных к искусственному интеллекту.
Мини-версия Phi-3 — единственная доступная на данный момент модель.
2 минута. читать
Опубликовано
Поделиться этой статьей
Улучшите это руководство
Прочтите нашу страницу раскрытия информации, чтобы узнать, как вы можете помочь MSPoweruser поддержать редакционную команду. Читать далее
Ключевые заметки
- Microsoft выпустила модели Phi-3 во главе с Phi-3 Mini с параметрами 3.8B,
- Модель была обучена на 3.3 триллионах токенов за семь дней с использованием 512 графических процессоров NVIDIA H100.
- Семейство Phi-3 также включает варианты Small и Medium, превосходящие по производительности предыдущие модели, такие как Phi-2.
Microsoft запустила Семейство Фи-3 моделей, одна из лучших небольших моделей на рынке на данный момент. И теперь Нвидиа — сказал и описал, как компания из Редмонда использовала свои графические процессоры H100 для обучения этих моделей, или, точнее, версии Mini, 3.8B.
«Модель имеет 3.8 миллиарда параметров и была обучена на 3.3 триллионах токенов всего за семь дней на 512 графических процессорах NVIDIA H100 с тензорными ядрами», — заявил производитель технологий во вторник.
Семейство Phi-3 представлено тремя вариантами: Phi-3 Mini (3.8B), Phi-3 Small (7B) и Phi-3 Medium (14B). Это значительное улучшение по сравнению с предыдущим Фи-2 который был запущен всего с 2.7 миллиарда параметров несколько месяцев назад.
В частности, Phi-3 Mini также поставляется с двумя вариантами в зависимости от поддерживаемых токенов: 4K и 128K. Вы можете попробовать последний в AI-центре Nvidia в качестве службы Nvidia NIM для разработчиков и запустить модель локально с помощью Windows DirectML или TensorRT-LLM.
«Модели Phi-3 значительно превосходят языковые модели того же и большего размера в ключевых тестах (см. цифры тестов ниже, чем выше, тем лучше)», Microsoft — сказал при запуске моделей он хвастался, что версии Small и Medium могут превзойти более крупные модели, такие как GPT-3.5T.
На данный момент на рынке доступна версия Mini, но Microsoft пообещала, что все две другие модели будут доступны в ближайшее время. Вы также можете попробовать Phi-3 Mini на Azure AI и Hugging Face.
