โมเดลโอเพ่นซอร์ส OpenELM ของ Apple เปรียบเทียบกับ Phi-3 ของ Microsoft ที่คำนึงถึงพารามิเตอร์อย่างไร

ไม่นานหลังจากที่ Microsoft เปิดตัว ครอบครัวพี-3ซึ่งเป็นชุดโมเดลโอเพ่นซอร์สขนาดเล็กที่ออกแบบมาสำหรับการใช้งานที่เบากว่า Apple เข้าร่วมรถไฟ ผู้ผลิต iPhone ได้เปิดตัว OpenELM ซึ่งเป็นโมเดล AI โอเพ่นซอร์สล่าสุด (อย่างเงียบๆ) 

OpenELM ย่อมาจาก Open-source Efficient Language Models มีให้เลือก 8 รูปแบบ แต่ละรูปแบบ อบรมล่วงหน้า และ  ปรับคำสั่งแล้ว ได้สี่ นักวิจัยของ Apple กล่าวว่า ว่าโมเดลใช้กลยุทธ์การปรับขนาดแบบเลเยอร์เพื่อกระจายพารามิเตอร์ภายในแต่ละเลเยอร์ของโมเดลหม้อแปลงได้อย่างมีประสิทธิภาพ และคุณสามารถใช้โมเดลเหล่านี้กับ กอดใบหน้า.

“ตัวอย่างเช่น ด้วยงบประมาณพารามิเตอร์ประมาณหนึ่งพันล้านพารามิเตอร์ OpenELM มีการปรับปรุงความแม่นยำ 2.36% เมื่อเทียบกับ OLMo ในขณะที่ต้องการโทเค็นก่อนการฝึกอบรมน้อยลง 2 เท่า” เอกสารระบุ

สำหรับขนาดของมัน แต่ละรุ่นมาพร้อมกับพารามิเตอร์ที่แตกต่างกัน: 270 ล้าน, 450 ล้าน, 1.1 พันล้าน และ 3 พันล้าน และแม้ว่าจะไม่ใช่มาตรฐานการวัดที่ดีที่สุดเสมอไป แต่พารามิเตอร์ในโมเดล AI ก็เป็นจุดเริ่มต้นในการเปรียบเทียบเสมอ

พูดตามตรงว่า OpenELM ไม่ได้น่าประทับใจ (ตามพารามิเตอร์) เท่ากับรุ่นโอเพ่นซอร์สอื่นๆ: ลามะ 3ซึ่งขับเคลื่อน Meta AI มาพร้อมกับจำนวนพารามิเตอร์สูงสุดที่ 70 พันล้าน และ Mixtral ที่สนับสนุนโดย Microsoft ได้เปิดตัว รุ่น 8x22B ด้วยพารามิเตอร์ 176B

Phi-3-mini ซึ่งเป็นเวอร์ชันที่เล็กที่สุดของรุ่น Phi-3 ของ Microsoft มีพารามิเตอร์ 3.8 พันล้านพารามิเตอร์และเป็น ฝึกซ้อมเป็นเวลาหนึ่งสัปดาห์ ใช้ GPU H100 ของ Nvidia ในการเปรียบเทียบ รุ่นกลางมีพารามิเตอร์ 14 พันล้านรายการ และรุ่นเล็กมีพารามิเตอร์ 7 พันล้านรายการ