Microsoft тренувала Phi-3 Mini лише протягом тижня за допомогою графічних процесорів Nvidia H100, які підтримують штучний інтелект
Версія Phi-3 Mini є єдиною моделлю, яка зараз доступна
2 хв. читати
Опубліковано
Поділитися цією статтею
Удосконалити цей посібник
Прочитайте нашу сторінку розкриття інформації, щоб дізнатися, як ви можете допомогти MSPoweruser підтримувати редакційну команду Читати далі
Основні нотатки
- Microsoft випустила моделі Phi-3, на чолі з Phi-3 Mini з параметрами 3.8B,
- Модель було навчено на 3.3 трильйонах токенів за сім днів з використанням 512 графічних процесорів NVIDIA H100.
- Сімейство Phi-3 також включає варіанти Small і Medium, які перевершують попередні моделі, такі як Phi-2.
Microsoft запустила Родина Phi-3 моделей, одна з найкращих маленьких моделей на ринку на даний момент. А тепер Nvidia сказав і описав, як компанія Redmond використовувала свої графічні процесори H100 для навчання цих моделей, а точніше, версії Mini 3.8B.
«Модель має 3.8 мільярда параметрів і була навчена на 3.3 трильйона токенів лише за сім днів на 512 графічних процесорах NVIDIA H100 Tensor Core», — сказав технічний виробник у вівторок.
Сімейство Phi-3 складається з трьох варіантів: Phi-3 Mini (3.8B), Phi-3 Small (7B) і Phi-3 Medium (14B). Це величезне покращення порівняно з попереднім Фі-2 який було запущено лише з 2.7 млрд параметрів кілька місяців тому.
Зокрема, Phi-3 Mini також поставляється з двома варіантами залежно від підтримуваних токенів: 4K і 128K. Ви можете спробувати останню в центрі штучного інтелекту Nvidia як службу Nvidia NIM для розробників і запустити модель локально за допомогою Windows DirectML або TensorRT-LLM.
«Моделі Phi-3 значно перевершують мовні моделі такого ж і більшого розміру за ключовими тестами (див. номери тестів нижче, чим більше, тим краще),» Microsoft сказав під час запуску моделей, вихваляючись тим, що версії Small і Medium можуть перевершити більші моделі, такі як GPT-3.5T.
На даний момент на ринку доступна версія Mini, але Microsoft пообіцяла, що всі дві інші моделі будуть доступні незабаром. Ви також можете спробувати Phi-3 Mini на Azure AI і Hugging Face.
