Intel Gaudi 2 đè bẹp Nvidia H100 trong đào tạo AI; Stable Diffusion 3 cũng chạy nhanh hơn và rẻ hơn

Nvidia H100 đã trở thành chủ đề bàn tán của thị trấn từ khá lâu. Ông chủ của công ty, Jensen Huang, thậm chí còn đi xa hơn khi nói rằng đây là con chip tốt nhất để đào tạo và suy luận AI - thậm chí còn tốt hơn cả Intel Gaudi 2.

Anh ấy đã ghi âm câu nói trong suốt thời gian bài phát biểu quan trọng của anh ấy tại Hội nghị thượng đỉnh kinh tế SIEPR 2024 rằng H1000 “tốt đến mức ngay cả khi chip của đối thủ cạnh tranh được cung cấp miễn phí thì nó cũng không đủ rẻ”.

Tuy nhiên, điều đó không nhất thiết nói lên toàn bộ sự thật, hoặc ít nhất đó là những gì Stability AI đã nói gần đây. Công ty AI khởi nghiệp cũng đã tung ra các mô hình Khuếch tán ổn định, đã tuyên bố rằng chip Gaudi 2 của Intel cũng đã thể hiện hiệu suất ấn tượng cho Stable Diffusion 3, chạy kiến ​​trúc biến áp khuếch tán đa phương thức nhanh hơn H100 của Nvidia trong đào tạo quy mô trước fp8. 

Gaudi3 tiết kiệm chi phí cũng được thiết lập để mang lại những cải tiến đáng kể về tốc độ, với tốc độ suy luận 673 tok/s được ghi nhận trên mô hình StableBeluga 2.5 70b sắp ra mắt, phiên bản tinh chỉnh của LLaMA 2 70B được xây dựng trên mô hình Stable Beluga 2. 

Được định vị giữa A100 và H100 của Nvidia về hiệu năng, chip Gaudi2 mang lại hiệu năng ổn định với 96 Gb VRAM và kết nối 2.4 Tb/s rẻ hơn, khiến chúng trở thành lựa chọn hấp dẫn cho các tác vụ AI.

Giống như DALL-E 3 của OpenAI, Stable Diffusion 3 là mô hình chuyển văn bản thành hình ảnh sắp ra mắt của Stability AI sắp ra mắt để xem trước sớm. Nó sẽ có các kích cỡ khác nhau từ thông số 800M đến 8B.

Bạn có thể đọc thêm về những phát hiện của Stability AI vào đây.