Microsoft Azure étend la disponibilité des modèles OpenAI GPT-4 et GPT-35-Turbo à davantage de régions

Microsoft hier annoncé la disponibilité étendue du service Azure OpenAI. Grâce à cette extension, les clients d'Australie Est, du Canada Est, de l'Est des États-Unis 2, du Japon Est et du Royaume-Uni Sud pourront accéder aux modèles populaires OpenAI GPT-4 et GPT-35-Turbo. Avant cette extension, Azure OpenAI Service était disponible dans l'est des États-Unis, le centre de la France, le centre-sud des États-Unis et l'Europe de l'ouest. Lors du récent appel aux résultats, Microsoft a annoncé qu'Azure OpenAI Service dessert désormais plus de 11,000 100 clients, attirant en moyenne XNUMX nouveaux clients par jour.

Aujourd'hui, Microsoft a également annoncé la disponibilité générale de la série de machines virtuelles (VM) Azure ND H100 v5, comprenant les derniers GPU NVIDIA H100 Tensor Core et la mise en réseau NVIDIA Quantum-2 InfiniBand. Cette nouvelle série de machines virtuelles est conçue spécifiquement pour les charges de travail d'IA et est désormais disponible dans les régions Azure de l'est des États-Unis et du centre-sud des États-Unis. Même si les VM sont généralement disponibles, les clients doivent enregistrer leur intérêt pour accéder aux nouvelles VM.

Les VM ND H100 v5 incluent les fonctionnalités suivantes :

• Équipées de huit GPU NVIDIA H100 Tensor Core, ces machines virtuelles promettent des performances de modèle d'IA nettement plus rapides que les générations précédentes.
• Les processeurs Intel Xeon Scalable de 4e génération constituent la base de ces machines virtuelles, garantissant une vitesse de traitement optimale.
• NVIDIA Quantum-2 ConnectX-7 InfiniBand avec 400 Gb/s par GPU avec 3.2 Tb/s par VM de bande passante inter-nœuds garantit des performances homogènes sur tous les GPU, correspondant aux capacités des supercalculateurs les plus performants à l'échelle mondiale.
• Avec PCIe Gen5 fournissant une bande passante de 64 Go/s par GPU, Azure obtient des avantages de performances significatifs entre le CPU et le GPU.
• La mémoire DDR5 est au cœur de ces machines virtuelles, offrant des vitesses de transfert de données et une efficacité supérieures, ce qui les rend idéales pour les charges de travail avec des ensembles de données plus volumineux.
• Avec jusqu'à six fois plus d'accélération dans les opérations de multiplication matricielle lors de l'utilisation du nouveau type de données à virgule flottante FP8 8 bits par rapport au FP16 des générations précédentes.
• Avec jusqu'à deux fois plus d'accélération dans les grands modèles de langage comme l'inférence de modèle de bout en bout BLOOM 175B, démontrant leur potentiel pour optimiser davantage les applications d'IA.