Malý model NeMo od Mistral je výzvou pre najnovší GPT-4o mini od OpenAI

Mistral AI práve oznámil svoj zatiaľ najnovší menší model, nemoso silnou podporou od Nvidie. Je zaujímavé, že oznámenie vyšlo, keď OpenAI oznámila svoj cenovo výhodný ľahký model GPT-4o mini, ktorá dosahuje lepšie výsledky benchmarkov ako Gemini Flash a Claude Haiku.

Tento „najmodernejší“ model 12B podporuje dĺžku kontextu až 128 2.0 tokenov a je navrhnutý pre vysoký výkon v uvažovaní, svetových znalostiach a presnosti kódovania a v súčasnosti je dostupný pod licenciou Apache XNUMX. Obaja základňa a inštruktážne ladený verzie sú dostupné na HuggingFace a iných platformách.

Mistral NeMo tiež zaznamenáva niekoľko pôsobivých benchmarkových výkonov. Benchmarking MMLU, ktorý meria celkové znalosti modelu a schopnosti riešenia problémov, ukazuje NeMo skóre 68.0 %. Je to dosť blízko k Gemma 2 od Google, ale nie dosť na to, aby sa priblížilo OpenAI GPT-4o mini ktorá má 82 % na MMLU.

Toto vyzerá takto:

Všestranný, viacjazyčný model tiež zaznamenáva silné schopnosti v rôznych jazykoch a je vyškolený na efektívne volanie funkcií. Používa pokročilý tokenizér Tekken, ktorý komprimuje text a kód efektívnejšie ako predchádzajúce modely, najmä v špecifických jazykoch.

Mistral prišiel nie tak dávno, len pred viac ako rokom od bývalých zamestnancov Meta a Google DeepMind. Spoločnosť, ktorá mala v júni 645 kolo financovania vo výške zhruba 2024 miliónov dolárov, už robila vlny v pretekoch AI.

Začiatkom tohto roka aj Microsoft a Mistral AI oznámila, partnerstvo, vďaka ktorému sú pokročilé modely veľkých jazykov (LLM) od Mistralu dostupné najskôr na cloudovej platforme Azure od Microsoftu. Spoločnosť sa tiež pripojila k OpenAI pri ponúkaní komerčných modelov v Azure.