AppleのオンデバイスモデルはMicrosoftのPhi-3-miniよりも優れており、サーバーモデルはGPT-4 Turboに匹敵します。

今年4月、マイクロソフトは 発表の Phi-3ファミリーの小規模言語モデル（SLM）。3億のパラメータを持つ言語モデルを備えたPhi-3.8-miniは、3.3兆トークンでトレーニングされ、Mixtral 8x7BやGPT-3.5を上回っています。マイクロソフトが最近発表した Copilot+ PC Azure クラウドで実行される大規模言語モデル (LLM) と、Microsoft の世界クラスの小規模言語モデル (SLM) を組み合わせて使用​​することで、デバイス上で直接ローカルに実行できる新しい AI エクスペリエンス セットを実現します。

WWDC 2024 で、Apple は自社デバイス向けの Apple Intelligence (Copilot の代替品) を発表しました。 Apple Intelligence は、複数の高機能な生成モデルによって強化されています。 Microsoft のアプローチと同様に、Apple はオンデバイス モデルとサーバーベースのモデルの両方を使用しています。昨日、アップル 詳細な Apple Intelligence を強化するために使用されている 2 つの基盤モデル。

• Apple On-Device モデルは 3 億パラメータの SLM です
• Apple Serverは、Apple独自のプライベートクラウドコンピューティングでホストされ、Appleシリコンサーバー上で実行されるLLMです。

技術的な詳細：

• Appleの基盤モデルは、 AppleのAXLearnフレームワーク.
• Apple は、TPU、クラウドとオンプレミスの両方の GPU を含む、さまざまなトレーニング ハードウェアとクラウド プラットフォーム上で、高い効率とスケーラビリティでモデルをトレーニングしました。
• Apple は、特定の機能を強化するために選択されたデータや、Web クローラーである AppleBot によって収集された公開データなど、ライセンスされたデータに基づいて基礎モデルをトレーニングしました。
• オンデバイス モデルでは 49K の語彙サイズが使用され、サーバー モデルでは追加の言語トークンと技術トークンを含む 100K の語彙サイズが使用されます。
• iPhone 15 Proでは、Appleはプロンプトトークンあたり約0.6ミリ秒の最初のトークンまでの遅延と、30秒あたりXNUMXトークンの生成速度を達成することができました。

これらのモデルのパフォーマンスを評価するために、Apple はオープンソース モデル (Phi-3、Gemma、Mistral、DBRX) と同等サイズの商用モデル (GPT-3.5-Turbo、GPT-4-Turbo) の両方と比較しました。Apple は、人間のグレーダーがほとんどの競合モデルよりも自社のモデルを好んだと主張しています。たとえば、3B パラメータの Apple オンデバイス モデルは、Phi-3-mini、Mistral-7B、Gemma-7B などのモデルよりも優れています。また、Apple サーバー モデルは、DBRX-Instruct、Mixtral-8x22B、GPT-3.5-Turbo と比較しても遜色なく、非常に効率的です。

Appleの評価結果は以下から確認できます。

Apple のオンデバイス モデルとサーバー ベースのモデルの両方の戦略的使用は Microsoft のアプローチを反映しており、電力と効率のバランスをとったハイブリッド AI ソリューションへの傾向を示しています。 Apple のモデルの優れたパフォーマンス、特にその速度と人間の採点者の間での好まれていることは、特定の用途においてはより小型でより効率的なモデルが大型モデルに匹敵する可能性を強調しています。

これら 2 つの巨人が革新を続けるにつれ、AI の未来はますます有望に見えます。消費者は、デバイスやワークフローに統合された、より強力でパーソナライズされた AI エクスペリエンスを目にすることになるはずです。Microsoft の Copilot+ であれ、Apple の Apple Intelligence であれ、AI と日常的なテクノロジーの融合により、デジタル世界との関わり方が再定義されることになります。