A Microsoft Azure több régióra is kiterjeszti az OpenAI GPT-4 és GPT-35-Turbo modellek elérhetőségét

A tegnapi Microsoft bejelentés az Azure OpenAI szolgáltatás kiterjesztett elérhetősége. Ezzel a bővítéssel az Australia East, Kanada East, East United States 2, Japan East és az Egyesült Királyság déli országaiban élő ügyfelek hozzáférhetnek a népszerű OpenAI GPT-4 és GPT-35-Turbo modellekhez. A bővítés előtt az Azure OpenAI Service az Egyesült Államok keleti részén, Franciaország középső részén, az Egyesült Államok déli középső részén és Nyugat-Európában volt elérhető. A legutóbbi bevételi felhívás során a Microsoft bejelentette, hogy az Azure OpenAI Service több mint 11,000 100 ügyfelet szolgál ki, és naponta átlagosan XNUMX új ügyfelet vonz.

A Microsoft ma bejelentette az Azure ND H100 v5 Virtual Machine (VM) sorozat általános elérhetőségét is, amely a legújabb NVIDIA H100 Tensor Core GPU-kat és az NVIDIA Quantum-2 InfiniBand hálózatot tartalmazza. Ezt az új virtuális gép-sorozatot kifejezetten az AI-munkaterhelésekhez tervezték, és már elérhető az Egyesült Államok keleti és dél-középső részének Azure régiójában. Annak ellenére, hogy a virtuális gépek általában elérhetők, az ügyfeleknek regisztrálniuk kell az új virtuális gépekhez való hozzáférés iránti érdeklődésüket.

Az ND H100 v5 virtuális gépek a következő funkciókat tartalmazzák:

• A nyolc NVIDIA H100 Tensor Core GPU-val felszerelt virtuális gépek lényegesen gyorsabb AI modellteljesítményt ígérnek, mint a korábbi generációk.
• A 4. generációs Intel Xeon Scalable processzorok ezeknek a virtuális gépeknek az alapja, amelyek optimális feldolgozási sebességet biztosítanak.
• Az NVIDIA Quantum-2 ConnectX-7 InfiniBand 400 Gb/s sebességgel GPU-nként, 3.2 Tb/s virtuális gépenkénti csomópontok közötti sávszélességgel, zökkenőmentes teljesítményt biztosít a GPU-k között, és megfelel a globálisan legjobban teljesítő szuperszámítógépek képességeinek.
• A GPU-nként 5 GB/s sávszélességet biztosító PCIe Gen64 révén az Azure jelentős teljesítményelőnyöket ér el a CPU és a GPU között.
• Ezeknek a virtuális gépeknek a magja a DDR5 memória, amely nagyobb adatátviteli sebességet és hatékonyságot biztosít, így ideálisak a nagyobb adatkészletekkel rendelkező munkaterhelésekhez.
• Akár hatszor gyorsabb mátrixszorzási műveletekkel, ha az új 8 bites FP8 lebegőpontos adattípust használjuk, az előző generációk FP16-jához képest.
• Akár kétszer nagyobb sebesség a nagy nyelvi modellekben, mint például a BLOOM 175B végpontok közötti modellkövetkeztetés, amely bemutatja, hogy képesek tovább optimalizálni az AI-alkalmazásokat.