Snowflake Arctic ponosi se kao "najbolji LLM za AI za poduzeća." To je prilično velika tvrdnja
Sada možete isprobati Snowflake na HuggingFaceu
2 min. čitati
Objavljeno na
Podijelite ovaj članak
Poboljšajte ovaj vodič
Pročitajte našu stranicu za otkrivanje kako biste saznali kako možete pomoći MSPoweruseru da održi urednički tim Čitaj više
Ključne napomene
- Snowflake predstavlja Arctic, tvrdeći da je konkurent Llama 3 70B s nižim troškovima.
- Arctic se ističe u poslovnim zadacima poput kodiranja i generiranja SQL-a.
- Koristeći Dense-MoE Hybrid, Arctic optimizira učinkovitost za različite veličine serija.
Snowflake, gigant računalstva u oblaku koji su u početku osnovali bivši znanstvenici Oraclea, sada izaziva velike igrače u ratu umjetne inteligencije. Tvrtka je pokrenuta Snježna pahulja Arktik, njegov najnoviji “najbolji LLM za AI za poduzeća,” i tvrdi da je bolji od Llame 3 70B i bolji od potonje varijante 8B.
U svojoj objavi, Snowflake tvrdi da model Arctic odgovara performansama Llame 3 70B, ali s nižim računalnim zahtjevima i troškovima. Oglašava se kao idealan za zadatke poslovne inteligencije u područjima i mjerilima kao što su kodiranje (HumanEval+ i MBPP+), generiranje SQL-a (Spider) i praćenje instrukcija (IFEval).
To je velika tvrdnja, pogotovo s obzirom na to Lama 3 70B pokazao je dobre rezultate protiv drugih velikih modela kao što su GPT-4 Turbo i Claude 3 Opus u važnim testovima. Metin nadolazeći model navodno ima dobre rezultate u mjerilima kao što su MMLU (za razumijevanje predmeta), GPQA (biologija, fizika i kemija i HumanEval (kodiranje).
Snowflake Arctic miješa 10B gusti transformator sa 128×3.66B MoE MLP koristeći Dense-MoE Hybrid. To ukupno iznosi 480B parametara, ali se aktivno koristi samo 17B, odabranih s top-2 usmjeravanjem.
Za male serije kao što je 1, Arctic smanjuje čitanje memorije do 4x u usporedbi s Code-Llama 70B i do 2.5x manje od Mixtral 8x22B. No, kako se veličine serija značajno povećavaju, Arktik postaje vezan za računanje. Iziskuje 4x manje računalstva nego CodeLlama 70B i Llama 3 70B.
Možete isprobati Snowflake Arctic HuggingFace. Tvrtka također obećava da će model uskoro stići na druge vrtove modela kao što su AWS, Microsoft Azure, Perplexity i drugi.
