Microsoft thương hiệu DeepSpeed, thư viện AI 1 nghìn tỷ tham số của họ

Microsoft đã đăng ký nhãn hiệu cho DeepSpeed, thư viện AI được tối ưu hóa của họ cho phép đào tạo các mô hình AI quy mô lớn trên phần cứng khiêm tốn.

Nhãn hiệu, được nộp vào ngày 8 tháng 2020 năm XNUMX, tham chiếu đến “cung cấp việc sử dụng tạm thời phần mềm máy tính trực tuyến không thể tải xuống để xử lý trí tuệ nhân tạo và học sâu,”Cho thấy Microsoft có thể đang nghĩ đến việc cung cấp DeepSpeed ​​thông qua một dịch vụ đám mây trực tuyến.

DeepSpeed, được phát hành vào tháng 800 năm nay, là một thư viện Python cho phép tạo ra các mô hình học sâu với hàng nghìn tỷ tham số, gấp hơn 100 lần so với mô hình lớn nhất thế giới hiện tại, chỉ sử dụng 4,000 card đồ họa Nvidia V100. Nếu không có DeepSpeed, tác vụ tương tự sẽ yêu cầu 2.5 Nvidia A100, nhanh hơn tới 100 lần so với VXNUMX, hoạt động trong XNUMX ngày.

Công cụ này đặc biệt hữu ích sau khi GPT-3 cho thấy rằng các mô hình tiếp tục cải thiện mạng nơ-ron và tập dữ liệu càng lớn. Tuy nhiên, điều này đe dọa đẩy những cải tiến mới nhất ra khỏi tầm tay của các nhóm nhỏ hơn với ít tài nguyên hơn, nhưng DeepSpeed ​​đã cho phép các nhóm này cạnh tranh với các dịch vụ lớn hơn nhiều với phần cứng tối thiểu. Việc chuyển sang xử lý đám mây có thể làm cho việc đào tạo AI mô hình lớn trở nên dễ tiếp cận hơn.

Đọc thêm về DeepSpeed ​​tại Microsoft tại đâyvà xem nhãn hiệu tại đây.

thông qua nhôm