Microsoft Azure extinde disponibilitatea modelelor OpenAI GPT-4 și GPT-35-Turbo în mai multe regiuni
2 min. citit
Publicat în data de
Distribuiți acest articol
Îmbunătățiți acest ghid
Citiți pagina noastră de dezvăluire pentru a afla cum puteți ajuta MSPoweruser să susțină echipa editorială Află mai multe
Microsoft ieri a anunțat disponibilitatea extinsă a serviciului Azure OpenAI. Cu această extindere, clienții din Australia de Est, Canada de Est, Estul Statelor Unite 2, Japonia de Est și Marea Britanie de Sud vor putea accesa modelele populare OpenAI GPT-4 și GPT-35-Turbo. Înainte de această expansiune, Azure OpenAI Service era disponibil în estul Statelor Unite, Franța Centrală, South Central Statele Unite și Europa de Vest. În timpul recentului apel pentru venituri, Microsoft a anunțat că Azure OpenAI Service deservește acum peste 11,000 de clienți, atrăgând în medie 100 de clienți noi zilnic.
Astăzi, Microsoft a anunțat și disponibilitatea generală a seriei de mașini virtuale (VM) Azure ND H100 v5, care include cele mai recente GPU-uri NVIDIA H100 Tensor Core și rețea NVIDIA Quantum-2 InfiniBand. Această nouă serie de VM este concepută special pentru încărcăturile de lucru AI și este acum disponibilă în regiunile Azure de Est și Centrul de Sud al Statelor Unite ale Americii. Chiar dacă VM-urile sunt disponibile în general, clienții trebuie să-și înregistreze interesul pentru accesul la noile VM.
Mașinile virtuale ND H100 v5 includ următoarele caracteristici:
- Echipate cu opt GPU-uri NVIDIA H100 Tensor Core, aceste VM-uri promit performanțe semnificativ mai rapide ale modelului AI decât generațiile anterioare.
- Procesoarele scalabile Intel Xeon de a 4-a generație ca bază pentru aceste mașini virtuale, asigurând viteza optimă de procesare.
- NVIDIA Quantum-2 ConnectX-7 InfiniBand cu 400 Gb/s per GPU cu 3.2 Tb/s per VM de lățime de bandă încrucișată asigură performanțe fără întreruperi în toate GPU-urile, potrivindu-se cu capacitățile supercalculatoarelor de top la nivel global.
- Cu PCIe Gen5 care oferă o lățime de bandă de 64 GB/s per GPU, Azure realizează avantaje semnificative de performanță între CPU și GPU.
- Memoria DDR5 se află în centrul acestor VM, oferind viteze și eficiență mai mari de transfer de date, făcându-le ideale pentru sarcini de lucru cu seturi de date mai mari.
- Cu o accelerare de până la șase ori mai mare în operațiunile de multiplicare a matricei atunci când se utilizează noul tip de date în virgulă mobilă FP8 pe 8 biți, comparativ cu FP16 din generațiile anterioare.
- Cu o accelerare de până la două ori mai mare în modelele de limbaj mari, cum ar fi inferența modelului BLOOM 175B, demonstrând potențialul lor de a optimiza în continuare aplicațiile AI.
