Bộ công cụ mạng tính toán của Microsoft đánh bại Google TensorFlow về hiệu suất học sâu phân tán

Năm ngoái, Microsoft Research đã tiết lộ Bộ công cụ mạng tính toán (CNTK), một khung mạng tính toán thống nhất mô tả mạng nơ-ron sâu dưới dạng một loạt các bước tính toán thông qua biểu đồ có hướng. Với sự kết hợp của CNTK và Phòng thí nghiệm GPU Azure của Microsoft, Microsoft có một nền tảng GPU phân tán mà cộng đồng có thể sử dụng để thúc đẩy nghiên cứu AI. Kể từ khi ra mắt CNTK vào năm ngoái, nhóm MSR đã cải thiện đáng kể hiệu quả học máy với Azure GPU Lab. Trên thực tế, CNTK hiện cung cấp hiệu suất tính toán phân tán hiệu quả nhất đánh bại TensorFlow của Google và những người khác.

Đối với nhiệm vụ nghiên cứu AI quan trọng, chúng tôi tin rằng hiệu quả và hiệu suất phải là một trong những tiêu chí thiết kế quan trọng nhất. Có một số bộ công cụ học sâu có sẵn từ Torch, Theano và Caffe đến các bộ công cụ có nguồn gốc mở gần đây từ Google và IBM. Chúng tôi đã so sánh CNTK với bốn bộ công cụ phổ biến. Chúng tôi tập trung vào việc so sánh hiệu quả tính toán thô của các bộ công cụ khác nhau bằng cách sử dụng dữ liệu mô phỏng với kích thước lô nhỏ hiệu quả (8192) để sử dụng đầy đủ tất cả các GPU. Với mạng nơ-ron 4 lớp được kết nối đầy đủ (xem tập lệnh điểm chuẩn), số lượng khung hình mà mỗi bộ công cụ có thể xử lý mỗi giây được minh họa trong biểu đồ. Chúng tôi bao gồm hai cấu hình trên một máy Linux với 1 và 4 GPU (Nvidia K40) tương ứng. Chúng tôi cũng báo cáo tốc độ CNTK 8 GPU của mình trên Azure GPU Lab với 2 máy Linux giống nhau (GPU 2 x 4) như được sử dụng trong điểm chuẩn cơ sở. CNTK so sánh thuận lợi về hiệu quả tính toán đối với học sâu phân tán (4 GPU hoặc 8 GPU) trên tất cả các bộ công cụ mà chúng tôi đã thử nghiệm này. CNTK có thể dễ dàng mở rộng quy mô vượt quá 8 GPU trên nhiều máy với hiệu suất hệ thống phân tán vượt trội.