Snowflake Arctic är stolt över att vara den "bästa LLM för företags-AI". Det är ett ganska stort påstående
Du kan prova Snowflake på HuggingFace nu
2 min. läsa
Publicerad den
Dela den här artikeln
Förbättra den här guiden
Läs vår informationssida för att ta reda på hur du kan hjälpa MSPoweruser upprätthålla redaktionen Läs mer
Viktiga anteckningar
- Snowflake introducerar Arctic och hävdar att den konkurrerar med Llama 3 70B med lägre kostnader.
- Arctic utmärker sig i företagsuppgifter som kodning och SQL-generering.
- Genom att använda en Dense-MoE Hybrid optimerar Arctic effektiviteten för olika batchstorlekar.
Snowflake, en molnjätte som ursprungligen bildades av tidigare Oracle-forskare, utmanar nu stora spelare i AI-kriget. Företaget lanserade Snöflinga Arktis, dess senaste "bästa LLM för företags-AI", och hävdade att den är bättre än i paritet med Llama 3 70B och bättre än den senares 8B-variant.
I sitt tillkännagivande hävdar Snowflake att Arctic-modellen matchar prestandan hos Llama 3 70B men med lägre beräkningskrav och kostnader. Den sägs vara idealisk för företagsintelligensuppgifter inom områden och riktmärken som kodning (HumanEval+ och MBPP+), SQL-generering (Spider) och instruktionsföljning (IFEval).
Det är ett stort påstående, särskilt med tanke på det Lama 3 70B har presterat bra mot andra stora modeller som GPT-4 Turbo och Claude 3 Opus i viktiga tester. Metas kommande modell får enligt uppgift bra resultat i riktmärken som MMLU (för att förstå ämnen), GPQA (biologi, fysik och kemi och HumanEval (kodning).
Snowflake Arctic blandar en 10B tät transformator med en 128×3.66B MoE MLP med hjälp av en Dense-MoE Hybrid. Detta är totalt 480B parametrar, men endast 17B används aktivt, valda med topp-2 grindning.
För små batchstorlekar som 1, minskar Arctic minnesläsningar med upp till 4x jämfört med Code-Llama 70B och upp till 2.5x mindre än Mixtral 8x22B. Men när batchstorlekarna ökar avsevärt blir Arctic beräkningsbunden. Det medför 4 gånger mindre datoranvändning än CodeLlama 70B och Llama 3 70B.
Du kan prova Snowflake Arctic på Kramar ansikte. Företaget lovar också att modellen snart kommer till andra modellträdgårdar som AWS, Microsoft Azure, Perplexity och mer.
