Snowflake Arctic به عنوان "بهترین LLM برای هوش مصنوعی سازمانی" افتخار می کند. این یک ادعای بزرگ است

Snowflake، یک غول محاسبات ابری که در ابتدا توسط دانشمندان سابق اوراکل شکل گرفت، اکنون بازیکنان بزرگی را در جنگ هوش مصنوعی به چالش می کشد. این شرکت راه اندازی شد دانه برف قطب شمالآخرین "بهترین LLM برای هوش مصنوعی سازمانی" خود، و ادعا کرد که بهتر از Llama 3 70B و بهتر از نوع دومی 8B است.

Snowflake در اعلامیه خود ادعا می کند که مدل Arctic با عملکرد Llama 3 70B مطابقت دارد اما نیازهای محاسباتی و هزینه کمتری دارد. این به عنوان ایده‌آل برای وظایف هوش سازمانی در زمینه‌ها و معیارهایی مانند کدنویسی (HumanEval+ و MBPP+)، تولید SQL (Spider) و دستورالعمل‌های زیر (IFEval) معرفی می‌شود.

این یک ادعای بزرگ است، به ویژه با توجه به آن لاما 3 70B در تست های مهم در برابر سایر مدل های اصلی مانند GPT-4 Turbo و Claude 3 Opus عملکرد خوبی داشته است. مدل آینده متا در معیارهایی مانند MMLU (برای درک موضوعات)، GPQA (زیست شناسی، فیزیک و شیمی و HumanEval (کدگذاری) گزارش شده است.

Snowflake Arctic یک ترانسفورماتور متراکم 10B را با یک MLP 128×3.66B MoE با استفاده از Dense-MoE Hybrid مخلوط می کند. این در مجموع 480B پارامتر را شامل می شود، اما تنها 17B به طور فعال استفاده می شود که با دروازه 2 بالا انتخاب شده است. 

برای اندازه‌های دسته‌ای کوچک مانند 1، Arctic خواندن حافظه را تا 4 برابر در مقایسه با Code-Llama 70B و تا 2.5 برابر کمتر از Mixtral 8x22B کاهش می‌دهد. اما، با افزایش قابل توجه اندازه دسته، قطب شمال محدود به محاسبات می شود. محاسبات آن 4 برابر کمتر از CodeLlama 70B و Llama 3 70B است.

می توانید Snowflake Arctic را امتحان کنید صورت در آغوش گرفته. این شرکت همچنین قول داده است که این مدل به زودی در باغ‌های مدل دیگری مانند AWS، Microsoft Azure، Perplexity و غیره وارد بازار شود.