2026年、デュアルRTX 5090でvLLM:テンソル並列か複数レプリカか?
モデルが単一GPUに収まらないなら、デュアルRTX 5090のvLLMではテンソル並列などのモデル並列を優先して検証します。モデルが一枚で動き、目的が複数リクエストへの対応なら、各GPUにモデルを置くデータ並列から試します。二枚のGPUがあることだけでは、テンソル並列を選ぶ理由になりません。
対象読者:vLLMでモデルを運用するローカル推論開発者とAIスタジオの技術責任者。
モデル容量とリクエスト数のどちらを優先するか決めたい方、購入前にGPU間の通信条件を確認したい方が対象です。
モデル容量と処理目標から方式を絞る
最初に判定するのは、使いたいモデルが実際の量子化方式、コンテキスト長、バッチ設定で一枚のGPUに収まるかどうかです。モデル名だけで判断せず、KVキャッシュなど推論時に必要なメモリも含めて確認します。モデルの分割が必要ならテンソル並列、モデルを複製して別リクエストを処理するならデータ並列が候補です。vLLMの並列化とスケーリングの説明では、モデルの配置や実行条件に合わせた並列方式が整理されています。
| 運用条件 | 先に比較する方式 | 得られるもの | 主な代償・確認事項 |
|---|---|---|---|
| モデルが一枚のGPUに収まらない | テンソル並列などのモデル並列 | 複数GPUを使ったモデル実行 | GPU間の通信、対応モデルと構成、単一リクエストの遅延 |
| モデルが一枚で動き、同時リクエストが多い | vLLMのデータ並列 | 複数レプリカによるリクエスト処理 | 各レプリカ分のモデルメモリ、振り分け、負荷の偏り |
| モデルは一枚で動くが、利用者が少ない | 単一GPU運用との比較 | 構成の単純さとGPU資源の温存 | 二枚目のGPUを使う利点が負荷に見合うか |
vLLMの用語に合わせれば、二枚をテンソル並列で使う構成はTP=2、各GPUに独立したモデルレプリカを置くデータ並列はDP=2が比較の出発点です。ただし、これらは構成を表す値であり、性能の保証ではありません。使用するバージョンの設定方法や制約は、vLLMのデータ並列デプロイ手順で確認してください。
モデルを分割する場合は通信条件も見る
テンソル並列は、モデルの計算や重みを複数GPUに分けて実行し、処理の途中でGPU間の通信を行います。モデルを単一GPUに載せられない場合には有効な選択肢ですが、通信の頻度や量、接続トポロジーによって待ち時間が変わります。したがって「二枚に分ければ速くなる」とは限りません。
PCIe接続がx8+x8であることだけから、一定割合の性能低下を断定することもできません。GPU間P2Pの可否、NCCLが認識する経路、演算に対する通信の比重を確認して、対象モデルと負荷で比較する必要があります。NVIDIA NCCLのGPUトラブルシューティング資料を使い、まず実際の接続状態を調べます。
NCCL_P2P_DISABLEのような環境変数は、P2P経路を含む通信条件の切り分けに使える設定です。しかし、値を変更してもPCIeの物理帯域が増えるわけではありません。変更前後のログと同一条件での測定を残し、問題が再現する構成にだけ適用してください。設定の意味はNCCL環境変数の公式リファレンスで確認できます。
複数リクエストが目的ならモデル複製を比較する
モデルを一枚のGPUに載せられ、複数の利用者からの依頼を処理したいなら、vLLMデータ並列や独立インスタンスによるGPU多レプリカ配置を比較します。各レプリカがモデルを独立して実行するため、モデル全体を配置できるメモリがそれぞれのGPUに必要です。モデルを分割して一件のリクエストを処理するテンソル並列とは、増やす対象が異なります。
データ並列は「一件の生成を二倍速にする」設定ではありません。リクエストを複数のレプリカへ適切に分配できるか、長い処理が一方のレプリカに偏らないか、レプリカごとのメモリ使用量が許容できるかを確かめます。vLLM組み込みのデータ並列と、独立したサーバーを起動して外部で振り分ける方法も、監視・再起動・ルーティングの運用責任が異なります。
| 比較項目 | テンソル並列 | データ並列 |
|---|---|---|
| 主な目的 | 単一モデルを複数GPUに分割して実行 | 独立したモデル複製で別々のリクエストを処理 |
| 優先して測る指標 | 単一リクエストの応答と通信待ち | 同時リクエスト時の全体スループット |
| GPU間通信 | モデル実行中の通信を確認 | レプリカ間のモデル計算通信より、振り分けと負荷分散を確認 |
| 容量上の条件 | 複数GPUを合わせたモデル配置が必要 | 各レプリカがモデルを実行できるメモリが必要 |
MoEはモデルごとに並列構成を確認する
MoEモデルでは、専門家の配置やルーティングを考慮し、専門家並列、テンソル並列、データ並列を組み合わせる場合があります。最適な構成はモデル構造だけでなく、vLLMのバージョンとサービス目標にも左右されます。特定のMoEモデルで動いた設定を、Llama 4を含む別のモデルすべてに適用できるとは限りません。
導入前に、対象バージョンの専門家並列デプロイ資料で対応モデルと構成条件を確認してください。専門家並列を選べば通信問題が消える、あるいはモデル容量と同時処理の両方を無条件に改善できる、という前提で設計しないことが重要です。
負荷を固定して比較を再現する
低遅延の対話サービスと、まとめて依頼を処理するバッチ運用では評価基準が異なります。首 token までの時間、生成速度、同時処理時のスループット、GPUメモリ使用量を分けて記録し、単一の数値だけで方式を決めないでください。
比較時はモデル、量子化方式、コンテキスト長、入力・出力のサンプル、リクエストの到着条件をそろえます。そのうえでテンソル並列とデータ並列を切り替え、各方式で同じ負荷を実行します。測定項目や実行方法はvLLMのベンチマークCLI資料を参照し、GPU間通信の診断にはNCCLの診断資料を利用します。条件を記録しない性能比較は、構成選定の根拠にできません。
購入・展開前に条件分岐で決める
- 量子化やコンテキスト長を含む実構成でモデルが一枚に収まらない場合: まずテンソル並列またはモデルに対応した別の並列方式を選び、GPU間P2Pと通信負荷を測定します。収まる場合は、次の条件に進みます。
- モデルが一枚で動き、複数リクエストの処理が優先の場合: 各GPUにモデルを置けることを確認し、データ並列または独立レプリカ構成を比較します。複製を置けない場合は、量子化やモデル配置を再検討します。
- MoEモデルを使う場合: 二方式の単純な二択にせず、対象バージョンの専門家並列対応とモデル固有の条件を確認します。確認できない場合は、別モデルの設定を流用せず、小規模な検証から始めます。
- 単一リクエストの応答を優先する場合: その指標を中心にテンソル並列と単一GPUを比較します。全体スループットが目的なら、同時リクエストをそろえてデータ並列も測定します。
調達判断では、GPUの枚数やマザーボードのスロット表記だけで結論を出さず、モデルの実行可否、使用するvLLMバージョンの方式対応、GPU間トポロジーとP2P状態、実際のリクエスト負荷を一つずつ照合します。NCCLの接続診断と負荷測定を分けて記録すれば、物理的な接続制約とモデル・設定の問題を混同しにくくなります。
最終更新:2026年10月13日。vLLM公式の並列化・データ並列・専門家並列・ベンチマーク資料、およびNVIDIA NCCL公式のGPU診断・環境変数資料を基に確認しています。性能値は特定構成での実測がないため掲載していません。
よくある疑問
どの条件でテンソル並列を選びますか?
実運用設定でモデルが一枚のGPUに収まらない場合に、テンソル並列などモデル並列を検討します。単一リクエストの容量を確保できる一方、通信条件の検証が必要です。
データ並列では各GPUにモデル全体が必要ですか?
各モデルレプリカが対象モデルを実行できるメモリを確保します。組み込み機能と独立インスタンス方式では、起動・監視・リクエスト振り分けの運用も異なります。
モデルが一枚で動く場合、二枚目はどう使えますか?
複数レプリカに別々のリクエストを振り分けるデータ並列が候補です。単一リクエストの高速化とは別の目標なので、同時処理負荷で比較します。
NVLinkがない場合でもテンソル並列は使えますか?
NVLinkの有無だけでは決められません。PCIeトポロジー、GPU間P2P、NCCLの経路、対象負荷を確認し、同一条件で測定します。環境変数は物理帯域の代替にはなりません。
構成を新規購入する前に、まずモデルとリクエスト負荷を定めてから、二枚のGPUが必要な理由を明確にしてください。ローカルの二枚構成はモデル容量やCUDA推論に直接対応できる一方、初期投資、電力・冷却、GPU間通信の確認が伴います。MacはCUDA対応のRTX環境を置き換える選択肢ではありませんが、macOS向けのビルドや動作確認を別環境で行う用途なら、KuzCloudの日本向けプランで利用条件を確認し、コンソールから環境を確認できます。vLLMの本番推論基盤とMacで行う開発・検証は役割を分け、必要な環境だけを選ぶのが妥当です。
GPU検証を支える開発環境も、KuzCloudで
デュアルRTX 5090での構成検証と並行して、専用のMac mini M4をリモート開発環境としてご利用いただけます。
SSHやVNCで接続できるため、手元の作業環境に合わせて開発や運用の作業を進められます。