Microsoft va livra modelul de limbaj mic Phi Silica (SLM) ca parte a Windows pentru a alimenta aplicațiile GenAI

Microsoft a lansat o mulțime de modele AI în ultimele luni. Unele sunt concepute pentru sarcini mai mici, de aceea numite model de limbaj mic (SLM). Dar, în timp ce Microsoft a lansat modelul „eficient din punct de vedere al costurilor” Modelul Phi-3 care își depășește concurenții, acum a sosit o nouă adăugare în familie: Phi Silica. 

Ca parte a recentului eveniment Microsoft Build 2024, centrat pe AI, gigantul tehnologic de la Redmond a spus că acest model Phi Silica este „construit personalizat pentru NPU-urile din PC-urile Copilot+”. Sau, cu alte cuvinte, acest model construit din seria Phi-3 va fi livrat în curând către versiunile viitoare de Windows pentru a alimenta aplicațiile AI generative.

Microsoft spune că modelul Phi Silica va fi chiar mai rentabil și mai ușor de utilizat. Refolosește memoria cache KV din NPU și rulează pe CPU pentru a produce aproximativ 27 de jetoane pe secundă.

Compania se laudă apoi: „Cu descărcarea completă a NPU de procesare promptă, prima latență a simbolului este de 650 de jetoane/secundă – și costă doar aproximativ 1.5 wați de putere, lăsând procesorul și GPU-ul liber pentru alte calcule.”

O mulțime de modele AI mici au sosit recent. Apple, concurentul numărul unu al Microsoft, a lansat de asemenea OpenELM cu parametri diferiți începând de la 270 milioane până la 3 miliarde.

Familia Phi-3, pe de altă parte, a sosit pentru prima dată sub trei variante, phi-3-mini (parametri 3.8B), phi-3-small (7B) și phi-3-medium (14B). Versiunea mini a fost antrenată folosind AI-friendly Nvidia GPU-uri H100.

„Modelele Phi-3 depășesc semnificativ modelele lingvistice de aceleași dimensiuni și mai mari la punctele de referință cheie... Phi-3-mini se descurcă mai bine decât modelele de două ori mai mari, iar Phi-3-small și Phi-3-medium depășesc modelele mult mai mari, inclusiv GPT-3.5T”, a spus Microsoft în anuntul initial.