Microsoft toimittaa Phi Silica Small Language Model (SLM) -mallin osana Windowsia GenAI-sovellusten tehostamiseksi
Microsoft julkaisi vielä yhden pienen kielimallin (SLM).
2 min. lukea
Julkaistu
Jaa tämä artikkeli
Paranna tätä ohjetta
Lue ilmoitussivumme saadaksesi selville, kuinka voit auttaa MSPoweruseria ylläpitämään toimitustiimiä Lue lisää
Keskeiset huomautukset
- Paljon pieniä malleja, kuten Applen OpenOELM ja Microsoftin Phi-3, on julkaistu.
- Nyt Redmond-yhtiö lanseerasi Phi Silican generatiivisille tekoälysovelluksille.
- Se toimitetaan pian osana Windows-käyttöjärjestelmää.
Microsoft on julkaissut paljon tekoälymalleja viime kuukausina. Jotkut on suunniteltu pienempiin tehtäviin, joten niitä kutsutaan pieniksi kielimalliksi (SLM). Mutta vaikka Microsoft lanseerasi "kustannustehokkaan" Phi-3 malli joka on kilpailijoitaan parempi, perheeseen on nyt saapunut uusi lisäys: Phi Silica.
Osana äskettäistä tekoälykeskeistä Microsoft Build 2024 -tapahtumaa Redmondin teknologiajätti sanoi, että tämä Phi Silica -malli on "muokattu Copilot+ -tietokoneiden NPU:ita varten". Tai toisin sanoen tämä Phi-3-sarjan malli toimitetaan pian tuleviin Windows-versioihin generatiivisten tekoälysovellusten tehostamiseksi.
Microsoft sanoo, että Phi Silica -malli on vieläkin kustannustehokkaampi ja energiaystävällisempi. Se käyttää uudelleen KV-välimuistia NPU:sta ja toimii CPU:lla tuottaakseen noin 27 merkkiä sekunnissa.
Sitten yritys ylpeilee: "Kun nopean käsittelyn NPU-kuormitus on täysi, ensimmäisen tunnuksen latenssi on 650 tokenia sekunnissa – ja se maksaa vain noin 1.5 wattia tehoa jättäen suorittimen ja grafiikkasuorittimen vapaaksi muita laskelmia varten."
Viime aikoina on saapunut paljon pieniä tekoälymalleja. Apple, Microsoftin ykköskilpailija, on myös lanseerannut OpenELM eri parametreillä 270 miljoonasta 3 miljardiin.
Phi-3-perhe sen sijaan saapui ensin kolmen muunnelman alla, phi-3-mini (3.8B parametrit), phi-3-small (7B) ja phi-3-medium (14B). Miniversio on koulutettu Nvidian tekoälyystävällisellä tekniikalla H100 GPU:t.
"Phi-3-mallit ovat huomattavasti parempia kuin samankokoiset ja isommat kielimallit keskeisillä vertailuarvoilla… Phi-3-mini pärjää paremmin kuin kaksi kertaa sen kokoiset mallit, ja Phi-3-smalle ja Phi-3-medium ovat tehokkaampia kuin paljon suuremmat mallit, mukaan lukien GPT-3.5T", Microsoft sanoi ensimmäinen ilmoitus.
