Snowflake Arctic sætter en ære i at være den "bedste LLM for enterprise AI." Det er en ret stor påstand
Du kan prøve Snowflake på HuggingFace nu
2 min. Læs
Udgivet den
Del denne artikel
Forbedre denne vejledning
Læs vores oplysningsside for at finde ud af, hvordan du kan hjælpe MSPoweruser med at opretholde redaktionen Læs mere
Nøgle noter
- Snowflake introducerer Arctic og hævder, at den konkurrerer med Llama 3 70B med lavere omkostninger.
- Arctic udmærker sig i virksomhedsopgaver som kodning og SQL-generering.
- Ved at bruge en Dense-MoE Hybrid optimerer Arctic effektiviteten til forskellige batchstørrelser.
Snowflake, en cloud computing-gigant, som oprindeligt blev dannet af tidligere Oracle-forskere, udfordrer nu store spillere i AI-krigen. Virksomheden lancerede Snefnug Arktis, dens seneste "bedste LLM for enterprise AI", og hævdede, at den er bedre end på niveau med Llama 3 70B og bedre end sidstnævntes 8B-variant.
I sin meddelelse hævder Snowflake, at Arctic-modellen matcher ydeevnen af Llama 3 70B, men med lavere computerkrav og -omkostninger. Den er udråbt som ideel til virksomhedsintelligensopgaver inden for områder og benchmarks som kodning (HumanEval+ og MBPP+), SQL-generering (Spider) og instruktionsfølgning (IFEval).
Det er en stor påstand, især i betragtning af det Lama 3 70B har klaret sig godt mod andre store modeller som GPT-4 Turbo og Claude 3 Opus i vigtige test. Metas kommende model scorer efter sigende godt i benchmarks som MMLU (for at forstå emner), GPQA (biologi, fysik og kemi og HumanEval (kodning).
Snowflake Arctic blander en 10B tæt transformer med en 128×3.66B MoE MLP ved hjælp af en Dense-MoE Hybrid. Dette udgør i alt 480B parametre, men kun 17B bruges aktivt, valgt med top-2 gating.
For små batchstørrelser som 1 reducerer Arctic hukommelseslæsninger med op til 4x sammenlignet med Code-Llama 70B og op til 2.5x mindre end Mixtral 8x22B. Men efterhånden som batchstørrelserne stiger markant, bliver Arktis computerbundet. Det medfører 4 gange mindre databehandling end CodeLlama 70B og Llama 3 70B.
Du kan prøve Snowflake Arctic på KrammerFace. Virksomheden lover også, at modellen snart kommer til andre modelhaver som AWS, Microsoft Azure, Perplexity og mere.
Brugerforum
0 meddelelser