Microsoft、GenAI アプリを強化する Windows の一部として Phi Silica 小型言語モデル (SLM) を出荷へ

Microsoft はさらに別の小規模言語モデル (SLM) を開始しました。

読書時間アイコン 2分。 読んだ


読者は MSpoweruser のサポートを支援します。私たちのリンクを通じて購入すると、手数料が発生する場合があります。 ツールチップアイコン

MSPoweruser の編集チームの維持にどのように貢献できるかについては、開示ページをお読みください。 続きを読む

キーノート

  • Apple の OpenOELM や Microsoft の Phi-3 など、多くの小型モデルが発売されています。
  • 今回、レドモンドの会社は生成 AI アプリケーション向けに Phi Silica を立ち上げました。
  • これは Windows オペレーティング システムの一部として間もなく出荷される予定です。
マイクロソフトビル

Microsoftはここ数カ月で多くのAIモデルを発表した。一部は小規模なタスク用に設計されているため、小規模言語モデル (SLM) と呼ばれます。しかし、Microsoft が「費用対効果の高い」製品を発売した一方で、 ファイ3モデル 競合他社を上回る性能を備えたこのファミリーに、新たにファイ シリカが加わりました。 

最近の AI を中心とした Microsoft Build 2024 イベントの一環として、レドモンドのハイテク大手企業は、この Phi Silica モデルは「Copilot+ PC の NPU 用にカスタムビルドされている」と述べました。言い換えれば、この Phi-3 シリーズから構築されたモデルは、生成 AI アプリケーションを強化するために、Windows の将来のバージョンに間もなく出荷されることになります。

Microsoft は、Phi Silica モデルはさらにコスト効率が高く、電力消費にも優しいと述べています。 NPU の KV キャッシュを再利用し、CPU 上で実行して 27 秒あたり約 XNUMX 個のトークンを生成します。

さらに同社は、「プロンプト処理の完全な NPU オフロードにより、最初のトークンのレイテンシは 650 トークン/秒であり、消費電力は約 1.5 ワットのみで、CPU と GPU を他の計算に使用できるようになります。」と誇っています。

最近は小さなAIモデルがたくさん登場しています。 Microsoftの最大の競争相手であるAppleもまた、 OpenELM 270 億 3 万から最大 XNUMX 億までのさまざまなパラメーターがあります。

一方、Phi-3 ファミリは、最初は phi-3-mini (パラメータ 3.8B)、phi-3-small (7B)、phi-3-medium (14B) という XNUMX つのバリエーションで登場しました。ミニバージョンは、Nvidia の AI フレンドリーなツールを使用してトレーニングされました。 H100 GPU.

「主要なベンチマークでは、Phi-3 モデルは、同じサイズおよびそれより大きいサイズの言語モデルよりも大幅に優れています。Phi-3-mini は、その 3 倍のサイズのモデルよりも優れたパフォーマンスを示し、Phi-3-small および Phi-3.5-medium は、以下を含むはるかに大きなモデルよりも優れています。 GPT-XNUMXT」とマイクロソフトは述べた。 最初の発表.