چگونه مدل منبع باز OpenELM اپل با Phi-3 مایکروسافت از نظر پارامتر مقایسه می شود؟

مدت کوتاهی پس از راه اندازی مایکروسافت خانواده Phi-3، مجموعه ای از مدل های کوچک و منبع باز طراحی شده برای استفاده سبک تر، اپل به قطار پیوست. سازندگان آیفون (بی سر و صدا) OpenELM، آخرین مدل منبع باز هوش مصنوعی خود را راه اندازی کرده اند. 

OpenELM، مخفف مدل‌های زبان کارآمد منبع باز، هر کدام در هشت نوع عرضه می‌شود از قبل آموزش دیده و تنظیم شده توسط دستورالعمل چهار می گیرد. محققان اپل گفت: که این مدل از یک استراتژی مقیاس‌بندی لایه‌ای برای توزیع موثر پارامترها در هر لایه از مدل ترانسفورماتور استفاده می‌کند و می‌توانید از این مدل‌ها در صورت در آغوش گرفته.

در این مستندات آمده است: «به عنوان مثال، با بودجه پارامتری تقریباً یک میلیارد پارامتر، OpenELM در مقایسه با OLMo 2.36 درصد بهبودی در دقت نشان می‌دهد در حالی که به توکن‌های پیش‌آموزشی 2× کمتر نیاز دارد».

در مورد اندازه های آن، هر مدل با پارامترهای متفاوتی ارائه می شود: 270 میلیون، 450 میلیون، 1.1 میلیارد و 3 میلیارد. و در حالی که همیشه بهترین استاندارد اندازه گیری نیست، پارامترها در مدل های هوش مصنوعی همیشه شروعی برای مقایسه آنها هستند.

صادقانه بگویم، OpenELM به اندازه سایر مدل های منبع باز (از نظر پارامترها) چشمگیر نیست: لاما 3که به هوش مصنوعی متا قدرت می‌دهد، دارای حداکثر تعداد پارامترهای 70 میلیاردی است و Mixtral تحت حمایت مایکروسافت آن را راه‌اندازی کرد. مدل 8x22B با پارامترهای 176B.

Phi-3-mini، کوچکترین نسخه مدل Phi-3 مایکروسافت، دارای 3.8 میلیارد پارامتر است و یک هفته تمرین کرد با استفاده از پردازنده های گرافیکی H100 انویدیا. در مقایسه، نسخه متوسط ​​دارای 14 میلیارد پارامتر و نسخه کوچک دارای 7 میلیارد پارامتر است.