ในที่สุดโมเดลภาษาโอเพ่นซอร์ส DBRX ใหม่มูลค่า 10 ล้านดอลลาร์ของ Databricks ก็มาถึงแล้ว
สำหรับโมเดลโอเพ่นซอร์สที่ใช้เงินลงทุน 10 ล้านเหรียญสหรัฐและใช้เวลาฝึกอบรม 2 เดือน ถือว่าน่าประทับใจมาก
2 นาที. อ่าน
เผยแพร่เมื่อ
แชร์บทความนี้
ปรับปรุงคู่มือนี้
อ่านหน้าการเปิดเผยข้อมูลของเราเพื่อดูว่าคุณจะช่วย MSPoweruser รักษาทีมบรรณาธิการได้อย่างไร อ่านเพิ่มเติม
หมายเหตุสำคัญ
- Databricks เปิดตัว DBRX ซึ่งเป็นชุดโมเดล AI ที่สร้างบน GitHub และ Hugging Face
- DBRX ประกอบด้วย DBRX Base สำหรับงานตามคำสั่ง และ DBRX Instruct สำหรับการปรับแต่ง
- ต้องใช้ฮาร์ดแวร์ที่มีประสิทธิภาพในการทำงานและเหนือกว่ารุ่นอื่นๆ เช่น GPT-3.5
Databricks เพิ่งประกาศเมื่อไม่นานมานี้ว่า เปิดตัว DBRXซึ่งเป็นชุดโมเดล AI เจนเนอเรชั่นที่พร้อมใช้งานบน GitHub และ Hugging Face แล้ว ได้รับการฝึกอบรมล่วงหน้าเกี่ยวกับโทเค็น 12T ใช้ GLU และ GQA และไม่ใช่หลายรูปแบบ (ไม่สามารถเรียกใช้อิมเมจได้)
โมเดลมีสองเวอร์ชัน ได้แก่ DBRX Base ซึ่งได้รับการปรับให้เหมาะกับงานตามคำสั่ง และ DBRX Instruct ซึ่งเป็นโมเดลที่ได้รับการฝึกอบรมล่วงหน้าซึ่งเหมาะสำหรับการปรับแต่งเพิ่มเติม โมเดลพารามิเตอร์ 132B เป็นโอเพ่นซอร์สและให้บริการเป็นภาษาอังกฤษ แม้ว่าจะอ้างว่าสามารถแปลเป็นภาษาฝรั่งเศส เยอรมัน และสเปนได้เช่นกัน
Naveen Rao รองประธานฝ่าย Generative AI ของ Databricks เปิดเผยใน TechCrunch สัมภาษณ์ว่าบริษัทลงทุน 10 ล้านเหรียญสหรัฐและใช้เวลาสองเดือนในการฝึกอบรมโมเดลต่างๆ แต่สิ่งที่จับได้ก็คือ การใช้งานโมเดลเหล่านี้ต้องใช้ฮาร์ดแวร์ที่หนัก เช่น Nvidia H4 GPU อย่างน้อย 100 ตัวหรือเทียบเท่า รวมหน่วยความจำ 320GB หรือระบบคลาวด์ของบริษัทอื่นที่มีข้อกำหนดที่คล้ายกันไม่มากก็น้อย
ตามที่มัน กดปล่อยDBRX อ้างว่าสามารถทำงานได้ดีกว่าโมเดลโอเพ่นซอร์สที่มีอยู่ เช่น LLaMA2-70B, GPT-3.5, Mixtral และ กร็อก-1 ในเรื่องบางอย่าง เช่น คณิตศาสตร์ ตรรกะ และอื่นๆ คุณสามารถกำหนดให้ทำงานโดยตรงกับ Databricks Model Serving หรือปรับแต่งเพิ่มเติมตามความต้องการเฉพาะ เนื่องจากได้รับอนุญาตให้ใช้กับ Databricks Open Model License
สามารถปรับใช้โดยตรงกับ Databricks Model Serving หรือใช้เพื่อการปรับแต่งอย่างละเอียดและการอนุมานแบบแบตช์
คุณสามารถลองใช้โมเดลโอเพ่นซอร์ส DBRX ของ Databricks โปรดคลิกที่นี่เพื่ออ่านรายละเอียดเพิ่มเติม.
