Snowflake Arctic se pyšní jako „nejlepší LLM pro podnikovou umělou inteligenci“. To je docela velký nárok

Snowflake, gigant cloud computingu, který původně vytvořili bývalí vědci Oracle, nyní staví velké hráče ve válce s umělou inteligencí. Společnost spustila Sněhová vločka Arktida, jeho nejnovější „nejlepší LLM pro podnikovou AI“, a tvrdil, že je lepší než na stejné úrovni jako Llama 3 70B a lepší než jeho 8B varianta.

Snowflake ve svém oznámení tvrdí, že model Arctic odpovídá výkonu Llama 3 70B, ale s nižšími výpočetními požadavky a náklady. Je propagován jako ideální pro úkoly podnikové inteligence v oblastech a srovnávacích testech, jako je kódování (HumanEval+ a MBPP+), generování SQL (Spider) a následování instrukcí (IFEval).

To je velký nárok, zvlášť když to vezmeme v úvahu Lama 3 70B v důležitých testech si vedl dobře proti dalším hlavním modelům, jako jsou GPT-4 Turbo a Claude 3 Opus. Připravovaný model Meta údajně dosahuje dobrých výsledků v benchmarcích jako MMLU (pro porozumění předmětům), GPQA (biologie, fyzika a chemie a HumanEval (kódování).

Snowflake Arctic míchá 10B hustý transformátor s 128×3.66B MoE MLP pomocí Dense-MoE Hybrid. To čítá celkem 480B parametrů, ale aktivně se používá pouze 17B, vybraných s top-2 vtokem. 

U malých dávek, jako je 1, snižuje Arctic čtení paměti až 4x ve srovnání s Code-Llama 70B a až 2.5x méně než Mixtral 8x22B. Ale jak se velikost dávek výrazně zvyšuje, Arktida se stává vázána na výpočty. Vyžaduje 4x méně výpočetní kapacity než CodeLlama 70B a Llama 3 70B.

Můžete vyzkoušet Snowflake Arctic Objímání tváře. Společnost také slibuje, že model brzy dorazí na další modelové zahrady, jako je AWS, Microsoft Azure, Perplexity a další.