مایکروسافت و انویدیا بزرگترین و قدرتمندترین مدل زبان آموزش دیده تا به امروز را معرفی کردند

مایکروسافت و NVIDIA امروز مدل تولید زبان طبیعی Megatron-Turing با سرعت و مگاترون (MT-NLG) را معرفی کردند که بزرگترین و قدرتمندترین مدل زبان ترانسفورماتور یکپارچه است که تا به امروز آموزش داده شده است. این مدل شامل 530 میلیارد پارامتر است که 3 برابر تعداد پارامترها در مقایسه با بزرگترین مدل موجود یعنی GPT-3 است. آموزش چنین مدل بزرگی شامل چالش های مختلفی است. انویدیا و مایکروسافت بر روی نوآوری ها و پیشرفت های بسیاری در تمام محورهای هوش مصنوعی کار کردند.

برای مثال، ان‌ویدیا و مایکروسافت با همکاری نزدیک با یکدیگر، با هم‌گرایی زیرساخت‌های آموزشی پیشرفته‌شده توسط GPU با یک پشته نرم‌افزار یادگیری توزیع‌شده پیشرفته، به کارایی آموزشی بی‌سابقه‌ای دست یافتند. ما مجموعه‌های آموزشی زبان طبیعی با کیفیت بالا را با صدها میلیارد توکن ساختیم و دستورالعمل‌های آموزشی را برای بهبود کارایی و ثبات بهینه‌سازی توسعه دادیم.

از لینک های زیر می توانید با این پروژه بیشتر آشنا شوید.

منبع: مایکروسافت, کارت گرافیک Nvidia