Snowflake Arctic se enorgullece de ser el "mejor LLM para IA empresarial". Esa es una afirmación bastante grande.
Puedes probar Snowflake en HuggingFace ahora
2 minuto. leer
Publicado el
Compartir este artículo
Mejorar esta guía
Lea nuestra página de divulgación para descubrir cómo puede ayudar a MSPoweruser a sostener el equipo editorial. Leer más
Notas clave
- Snowflake presenta Arctic, afirmando que rivaliza con Llama 3 70B con costos más bajos.
- Arctic destaca en tareas empresariales como codificación y generación de SQL.
- Al utilizar un híbrido Dense-MoE, Arctic optimiza la eficiencia para varios tamaños de lotes.
Snowflake, un gigante de la computación en la nube formado inicialmente por ex científicos de Oracle, ahora está desafiando a los grandes jugadores en la guerra de la IA. La empresa lanzó Copo de nieve ártico, su último "mejor LLM para IA empresarial", y afirmó que es mejor que a la par con Llama 3 70B y mejor que la variante 8B de este último.
En su anuncio, Snowflake afirma que el modelo Arctic iguala el rendimiento del Llama 3 70B pero con menores requisitos y costes informáticos. Se promociona como ideal para tareas de inteligencia empresarial en áreas y puntos de referencia como codificación (HumanEval+ y MBPP+), generación de SQL (Spider) y seguimiento de instrucciones (IFEval).
Esa es una gran afirmación, especialmente considerando que Llama 3 70B Se ha desempeñado bien frente a otros modelos importantes como GPT-4 Turbo y Claude 3 Opus en pruebas importantes. Según se informa, el próximo modelo de Meta obtiene una buena puntuación en puntos de referencia como MMLU (para comprender materias), GPQA (biología, física y química, y HumanEval (codificación).
Snowflake Arctic mezcla un transformador denso de 10 B con un MLP MoE de 128 × 3.66 B utilizando un híbrido Dense-MoE. Esto suma un total de 480 B de parámetros, pero solo se utilizan activamente 17 B, elegidos con activación de los 2 primeros.
Para tamaños de lotes pequeños como 1, Arctic reduce las lecturas de memoria hasta 4 veces en comparación con Code-Llama 70B y hasta 2.5 veces menos que Mixtral 8x22B. Pero, a medida que el tamaño de los lotes aumenta significativamente, Arctic se vuelve compulsivo. Requiere 4 veces menos procesamiento que CodeLlama 70B y Llama 3 70B.
Puedes probar Snowflake Arctic en AbrazandoCara. La compañía también promete que el modelo llegará pronto a otros jardines de modelos como AWS, Microsoft Azure, Perplexity y más.
