Snowflake Arctic ponosi se kao "najbolji LLM za AI za poduzeća." To je prilično velika tvrdnja

Snowflake, gigant računalstva u oblaku koji su u početku osnovali bivši znanstvenici Oraclea, sada izaziva velike igrače u ratu umjetne inteligencije. Tvrtka je pokrenuta Snježna pahulja Arktik, njegov najnoviji “najbolji LLM za AI za poduzeća,” i tvrdi da je bolji od Llame 3 70B i bolji od potonje varijante 8B.

U svojoj objavi, Snowflake tvrdi da model Arctic odgovara performansama Llame 3 70B, ali s nižim računalnim zahtjevima i troškovima. Oglašava se kao idealan za zadatke poslovne inteligencije u područjima i mjerilima kao što su kodiranje (HumanEval+ i MBPP+), generiranje SQL-a (Spider) i praćenje instrukcija (IFEval).

To je velika tvrdnja, pogotovo s obzirom na to Lama 3 70B pokazao je dobre rezultate protiv drugih velikih modela kao što su GPT-4 Turbo i Claude 3 Opus u važnim testovima. Metin nadolazeći model navodno ima dobre rezultate u mjerilima kao što su MMLU (za razumijevanje predmeta), GPQA (biologija, fizika i kemija i HumanEval (kodiranje).

Snowflake Arctic miješa 10B gusti transformator sa 128×3.66B MoE MLP koristeći Dense-MoE Hybrid. To ukupno iznosi 480B parametara, ali se aktivno koristi samo 17B, odabranih s top-2 usmjeravanjem. 

Za male serije kao što je 1, Arctic smanjuje čitanje memorije do 4x u usporedbi s Code-Llama 70B i do 2.5x manje od Mixtral 8x22B. No, kako se veličine serija značajno povećavaju, Arktik postaje vezan za računanje. Iziskuje 4x manje računalstva nego CodeLlama 70B i Llama 3 70B.

Možete isprobati Snowflake Arctic HuggingFace. Tvrtka također obećava da će model uskoro stići na druge vrtove modela kao što su AWS, Microsoft Azure, Perplexity i drugi.