Snowflake Arctic er stolt av å være den "beste LLM for enterprise AI." Det er en ganske stor påstand
Du kan prøve Snowflake på HuggingFace nå
2 min. lese
Publisert på
Del denne artikkelen
Forbedre denne veiledningen
Les vår avsløringsside for å finne ut hvordan du kan hjelpe MSPoweruser opprettholde redaksjonen Les mer
Viktige merknader
- Snowflake introduserer Arctic, og hevder at den konkurrerer med Llama 3 70B med lavere kostnader.
- Arctic utmerker seg i bedriftsoppgaver som koding og SQL-generering.
- Ved å bruke en Dense-MoE Hybrid, optimaliserer Arctic effektiviteten for ulike batchstørrelser.
Snowflake, en skydatagigant som opprinnelig ble dannet av tidligere Oracle-forskere, utfordrer nå store spillere i AI-krigen. Selskapet lanserte Snowflake Arctic, dens siste «beste LLM for enterprise AI», og hevdet at den er bedre enn på nivå med Llama 3 70B og bedre enn sistnevntes 8B-variant.
I sin kunngjøring hevder Snowflake at Arctic-modellen matcher ytelsen til Llama 3 70B, men med lavere datakrav og kostnader. Den er utpekt som ideell for virksomhetsintelligensoppgaver i områder og benchmarks som koding (HumanEval+ og MBPP+), SQL-generering (Spider) og instruksjonsfølging (IFEval).
Det er en stor påstand, spesielt med tanke på det Lama 3 70B har prestert bra mot andre store modeller som GPT-4 Turbo og Claude 3 Opus i viktige tester. Metas kommende modell scorer angivelig godt i benchmarks som MMLU (for å forstå fag), GPQA (biologi, fysikk og kjemi, og HumanEval (koding).
Snowflake Arctic blander en 10B tett transformator med en 128×3.66B MoE MLP ved å bruke en Dense-MoE Hybrid. Dette utgjør totalt 480B parametere, men bare 17B brukes aktivt, valgt med topp-2 gating.
For små batchstørrelser som 1, reduserer Arctic minnelesninger med opptil 4x sammenlignet med Code-Llama 70B og opptil 2.5x mindre enn Mixtral 8x22B. Men ettersom batchstørrelsene øker betraktelig, blir Arctic databundet. Det pådrar seg 4 ganger mindre databehandling enn CodeLlama 70B og Llama 3 70B.
Du kan prøve Snowflake Arctic på Klem ansikt. Selskapet lover også at modellen snart kommer til andre modellhager som AWS, Microsoft Azure, Perplexity og mer.
