Công cụ suy luận hiệu suất cao nguồn mở của Microsoft dành cho các mô hình học máy

Hôm qua, Microsoft đã thông báo rằng họ đang tìm nguồn cung ứng mở ONNX Runtime, một công cụ suy luận hiệu suất cao dành cho các mô hình học máy ở định dạng ONNX trên Linux, Windows và Mac. ONNX Runtime cho phép các nhà phát triển đào tạo và điều chỉnh các mô hình trong bất kỳ khung được hỗ trợ nào và sản xuất các mô hình này với hiệu suất cao trên cả đám mây và biên. Microsoft đang sử dụng ONNX Runtime nội bộ cho Bing Search, Bing Ads, các dịch vụ năng suất Office, v.v.

ONNX mang đến khả năng tương tác cho hệ sinh thái khuôn khổ AI, cung cấp định nghĩa về mô hình đồ thị tính toán có thể mở rộng, cũng như định nghĩa về các toán tử và kiểu dữ liệu chuẩn được tích hợp sẵn. ONNX cho phép các mô hình được đào tạo trong một khuôn khổ này và chuyển sang một khuôn khổ khác để suy luận. Các mô hình ONNX hiện được hỗ trợ trong Caffe2, Bộ công cụ nhận thức và PyTorch.

Kiểm tra thời gian chạy của Open Neural Network Exchange (ONNX) trên GitHub tại đây.

nguồn: microsoft