ชุดเครื่องมือเครือข่ายการคำนวณของ Microsoft เอาชนะ Google TensorFlow ในประสิทธิภาพการเรียนรู้เชิงลึกแบบกระจาย

ปีที่แล้ว Microsoft Research ได้เปิดเผย Computational Network Toolkit (CNTK) ซึ่งเป็นเฟรมเวิร์กเครือข่ายคอมพิวเตอร์แบบรวมศูนย์ที่อธิบายเครือข่ายนิวรัลระดับลึกเป็นชุดของขั้นตอนการคำนวณผ่านกราฟที่กำหนด ด้วยการผสมผสานระหว่าง CNTK และ Azure GPU Lab ของ Microsoft Microsoft มีแพลตฟอร์ม GPU แบบกระจายที่ชุมชนสามารถใช้เพื่อพัฒนาการวิจัย AI นับตั้งแต่เปิดตัว CNTK เมื่อปีที่แล้ว ทีมงาน MSR ได้ปรับปรุงประสิทธิภาพการเรียนรู้ของเครื่องด้วย Azure GPU Lab อย่างมีนัยสำคัญ อันที่จริง CNTK นำเสนอประสิทธิภาพการคำนวณแบบกระจายที่มีประสิทธิภาพมากที่สุดซึ่งเหนือกว่า TensorFlow ของ Google และอื่นๆ

สำหรับการวิจัย AI ที่มีความสำคัญต่อภารกิจ เราเชื่อว่าประสิทธิภาพและประสิทธิภาพควรเป็นหนึ่งในเกณฑ์การออกแบบที่สำคัญที่สุด มีชุดเครื่องมือการเรียนรู้เชิงลึกจำนวนมากจาก ไฟฉาย, Theano และ Caffe ไปจนถึงชุดเครื่องมือโอเพนซอร์สล่าสุดจาก Google และ ไอบีเอ็ม. เราเปรียบเทียบ CNTK กับชุดเครื่องมือยอดนิยมสี่ชุด เรามุ่งเน้นที่การเปรียบเทียบประสิทธิภาพการคำนวณแบบดิบของชุดเครื่องมือต่างๆ โดยใช้ข้อมูลจำลองที่มีขนาดมินิแบทช์ที่มีประสิทธิภาพ (8192) เพื่อใช้ประโยชน์ GPU ทั้งหมดได้อย่างเต็มที่ ด้วยโครงข่ายประสาทเทียม 4 ชั้นที่เชื่อมต่ออย่างสมบูรณ์ (ดูของเรา สคริปต์มาตรฐาน) จำนวนเฟรมที่แต่ละชุดเครื่องมือสามารถดำเนินการได้ต่อวินาทีจะแสดงอยู่ในแผนภูมิ เรารวมการกำหนดค่าสองแบบในเครื่อง Linux เครื่องเดียวที่มี 1 และ 4 GPU (Nvidia K40) ตามลำดับ นอกจากนี้เรายังรายงานความเร็ว CNTK 8-GPU ของเราบน Azure GPU Lab ที่มีเครื่อง Linux เหมือนกัน 2 เครื่อง (2 x 4 GPU) ตามที่ใช้ในเกณฑ์มาตรฐาน CNTK เปรียบเทียบได้ดีในด้านประสิทธิภาพการคำนวณสำหรับการเรียนรู้เชิงลึกแบบกระจาย (4 GPU หรือ 8 GPU) ในชุดเครื่องมือทั้งหมดที่เราทดสอบ CNTK สามารถปรับขนาดได้มากกว่า 8 GPUs ในหลาย ๆ เครื่องด้วยประสิทธิภาพของระบบแบบกระจายที่เหนือกว่า