Microsoft Azure mở rộng tính khả dụng của các mẫu OpenAI GPT-4 và GPT-35-Turbo tới nhiều khu vực hơn

Microsoft ngày hôm qua công bố tính khả dụng mở rộng của Dịch vụ Azure OpenAI. Với sự mở rộng này, khách hàng ở Đông Úc, Đông Canada, Đông Hoa Kỳ 2, Đông Nhật Bản và Nam Vương quốc Anh sẽ có thể truy cập các mẫu OpenAI phổ biến GPT-4 và GPT-35-Turbo. Trước khi mở rộng này, Dịch vụ Azure OpenAI đã có sẵn ở Đông Hoa Kỳ, Trung Pháp, Trung Nam Hoa Kỳ và Tây Âu. Trong cuộc gọi thu nhập gần đây, Microsoft đã thông báo rằng Dịch vụ Azure OpenAI hiện đang phục vụ hơn 11,000 khách hàng, thu hút trung bình 100 khách hàng mới mỗi ngày.

Hôm nay, Microsoft cũng đã công bố tính khả dụng rộng rãi của dòng Máy ảo (VM) Azure ND H100 v5, có GPU NVIDIA H100 Tensor Core mới nhất và kết nối mạng NVIDIA Quantum-2 InfiniBand. Dòng máy ảo mới này được thiết kế dành riêng cho khối lượng công việc AI và hiện đã có sẵn ở các khu vực Azure phía Đông Hoa Kỳ và Nam Trung Bộ Hoa Kỳ. Mặc dù máy ảo thường có sẵn, nhưng khách hàng phải đăng ký quyền truy cập vào máy ảo mới.

Máy ảo ND H100 v5 bao gồm các tính năng sau:

• Được trang bị tám GPU NVIDIA H100 Tensor Core, các máy ảo này hứa hẹn mang lại hiệu suất mô hình AI nhanh hơn đáng kể so với các thế hệ trước.
• Bộ xử lý Intel Xeon Scalable thế hệ thứ 4 là nền tảng của các máy ảo này, đảm bảo tốc độ xử lý tối ưu.
• NVIDIA Quantum-2 ConnectX-7 InfiniBand với 400Gb/giây trên mỗi GPU với 3.2 Tb/giây trên mỗi VM băng thông giữa các nút đảm bảo hiệu suất liền mạch trên các GPU, phù hợp với khả năng của các siêu máy tính hiệu suất cao nhất trên toàn cầu.
• Với PCIe Gen5 cung cấp băng thông 64GB/giây cho mỗi GPU, Azure đạt được lợi thế hiệu suất đáng kể giữa CPU và GPU.
• Bộ nhớ DDR5 là cốt lõi của các máy ảo này, mang lại hiệu quả và tốc độ truyền dữ liệu cao hơn, khiến chúng trở nên lý tưởng cho khối lượng công việc với bộ dữ liệu lớn hơn.
• Với khả năng tăng tốc gấp sáu lần trong các phép nhân ma trận khi sử dụng kiểu dữ liệu dấu phẩy động FP8 8 bit mới so với FP16 ở các thế hệ trước.
• Với khả năng tăng tốc gấp hai lần trong các mô hình ngôn ngữ lớn như suy luận mô hình đầu cuối BLOOM 175B, chứng tỏ tiềm năng của chúng để tối ưu hóa các ứng dụng AI hơn nữa.