Das Modell Phi-2 2.7B von Microsoft übertrifft das kürzlich angekündigte Modell Google Gemini Nano-2 3.2B

In den letzten Monaten hat Microsoft Research eine Reihe kleiner Sprachmodelle (SLMs) namens „Phi“ veröffentlicht. Der Phi-1 wurde zuerst mit 1.3 Milliarden Parametern veröffentlicht und war auf die grundlegende Python-Codierung spezialisiert. Im September, Microsoft Research freigegeben Phi-1.5-Modell mit 1.3 Milliarden Parametern, aber es wurde mit einer neuen Datenquelle trainiert, die verschiedene synthetische NLP-Texte enthielt. Trotz seiner geringen Größe lieferte der phi-1.5 im Vergleich zu anderen Modellen ähnlicher Größe eine nahezu hochmoderne Leistung.

Heute gab Microsoft die Veröffentlichung des Phi-2-Modells mit 2.7 Milliarden Parametern bekannt. Microsoft Research behauptet, dass dieser neue SLM mit weniger als 13 Milliarden Parametern eine hochmoderne Leistung unter Basissprachenmodellen bietet. Bei einigen komplexen Benchmarks erreicht oder übertrifft Phi-2 bis zu 25-mal größere Modelle.

Letzte Woche Google angekündigt Gemini-Suite von Sprachmodellen. Der Gemini Nano ist Googles effizientestes Modell für Aufgaben auf dem Gerät und kann direkt auf mobilen Siliziumgeräten ausgeführt werden. Das Nano-ähnliche kleine Sprachmodell von Gemini ermöglicht Funktionen wie Textzusammenfassung, kontextbezogene intelligente Antworten sowie erweitertes Korrekturlesen und Grammatikkorrektur.

Laut Microsoft entspricht oder übertrifft das neue Phi-2-Modell das neue Google Gemini Nano-2, obwohl es kleiner ist. Unten finden Sie den Benchmark-Vergleich zwischen den Modellen Google Gemini Nano-2 und Phi-2.

Phi-2 übertrifft nicht nur Gemini Nano-2, sondern übertrifft auch die Leistung der Mistral- und Llama-2-Modelle bei den Parametern 7B und 13B in verschiedenen Benchmarks. Die Details finden Sie weiter unten.

Während die beiden vorherigen Phi-Modelle auf Hugging Face verfügbar gemacht wurden, Phi-2 wurde im Azure-Modellkatalog verfügbar gemacht. Erfahren Sie mehr über Phi-2 hier.