2026 雙 RTX 5090 跑 vLLM:張量並行還是多副本?
雙 RTX 5090 部署 vLLM,若模型或單次請求無法在單卡上運行,先評估張量並行;若模型可單卡獨立運行、目標是接更多請求,先測每卡一份模型的資料並行或多副本。適用條件由模型容量、vLLM 版本支援及實際負載決定,雙卡本身不是選張量並行的理由。
本文適合正在以 vLLM 部署雙卡推理的本地開發者、需要承接多位使用者的 AI 工作室,以及希望先確認工作負載再採購平台的運維與採購人員。
最後更新於 2026 年 10 月 13 日;策略與核對方法依據 vLLM 並行策略文件、vLLM 資料並行部署說明及 NVIDIA NCCL GPU 排查文件核對。實際參數仍應以部署時適用版本文件為準。
先分清容量目標與吞吐目標
選策略前,先回答兩件事:模型連同量化、上下文長度與執行配置,能否在單張 GPU 上正常載入並完成目標請求?服務瓶頸是單次請求放不下,還是同時到來的請求不夠快?
張量並行(Tensor Parallelism,TP)會把模型計算或參數分配到多張 GPU,解決單卡容量或計算需求;代價是 GPU 之間需要協同通信。資料並行(Data Parallelism,DP)則讓各副本處理不同請求,擴展的是服務請求能力,不會把一份放不下的模型自動變成可運行。
| 服務情況 | 優先評估的方案 | 主要收益 | 必須承擔的代價 |
|---|---|---|---|
| 模型或單次請求無法在單卡配置下運行 | 張量並行,或該模型適用的其他模型並行策略 | 將模型工作分散至多張 GPU | 跨卡通信可能影響延遲與吞吐 |
| 模型可在單卡獨立運行,且同時有多個請求 | 資料並行或獨立模型副本 | 不同請求可由不同副本處理 | 每份副本都要有足夠的模型與執行顯存 |
| MoE 模型,且容量與請求量都需處理 | 依模型結構評估專家並行、張量並行或資料並行組合 | 可按專家與服務需求安排分工 | 支援方式隨模型及 vLLM 版本而異 |
表格呈現的是決策方向,不是效能保證。vLLM 的並行策略文件說明了張量並行與資料並行等適用方向;部署前仍需核對具體版本的配置和限制,不能把某個模型的參數直接套到所有模型上。
依模型容量判斷是否跨卡切分
若完整模型無法在單卡配置中載入,或單次請求所需的模型工作必須分配到多張 GPU,張量並行才有明確的容量理由。它也可能改善某些負載下的計算分配,但跨卡切分會增加協同通信,實際結果取決於拓撲、P2P 狀態、模型架構與請求特性。
尤其要避免把 PCIe 通道規格直接換算成固定效能損失。主機板標示的插槽規格不能單獨證明 GPU 間實際通信路徑,也不能推導張量並行一定變慢多少。NCCL 文件提供 GPU 拓撲與通信問題的核對方式;應在目標系統上確認 GPU 之間的連線與 P2P 狀態,再以相同模型負載實測,而非只看插槽名稱或社群個案。
沒有 NVLink 不等於完全不能使用張量並行,但也不代表通信代價可以忽略。若跨卡路徑不理想,模型切分仍可能解決單卡放不下的問題,只是延遲和吞吐是否可接受要由工作負載決定。
NCCL_P2P_DISABLE一類環境變數是控制或診斷通信行為的工具,不會增加實體互連頻寬。除非是在定位問題或驗證特定路徑,否則不要把設定環境變數當成 PCIe 拓撲的替代方案;使用前應對照 NCCL 環境變數文件。
以多副本承接可並行的請求
模型可在單卡獨立運行,而服務主要受多請求併發限制時,可測試每張 GPU 各自載入模型副本。這種 GPU 多副本部署把不同請求分派給不同副本,目標是增加整體請求處理能力,而不是縮短每個請求的模型載入路徑。
需要留意,每個副本都要取得足夠的 GPU 記憶體來放置模型及執行期間所需資料。兩張卡的顯存不能因為採用資料並行,就視為一份可任意合併的模型空間。若模型本身單卡放不下,多副本只會重複遇到容量問題。
vLLM 文件描述的內建資料並行部署,與分別啟動多個服務實例、再由外部機制分流請求,不是同一種部署管理方式。前者需依當期 vLLM 支援的啟動與分散方式設定;後者還要自行考量負載分配、健康檢查與副本故障後的請求處理。兩者都應以實際的服務介面及運維要求選擇,不能只看 GPU 利用率。
MoE 模型的策略組合
MoE(專家混合)模型可能需要依專家分布、模型容量及請求目標,評估專家並行、張量並行或資料並行的組合。專家並行處理的是專家分配與通信問題,不應被簡化成「所有 MoE 都改用某一種並行方式」。
vLLM 對專家並行有獨立部署說明,配置能力和限制應以部署時適用的專家並行文件核實。Llama 4 或其他 MoE 模型是否適用某種組合,須分別確認模型架構、vLLM 版本和服務目標;不能拿另一個模型的配置當成通用答案。
固定條件比較延遲與吞吐
「跑得快」需要先定義。互動服務在意單次請求的首 token 延遲和後續生成速度;批次或多人服務更關注總吞吐;顯存使用則用來判斷配置是否留有足夠空間。任一指標單獨變好,都不足以證明整體方案較適合。
vLLM 的基準測試文件提供負載測試相關工具與指標參考。比較張量並行與多副本時,固定模型、量化方式、上下文長度、請求樣本及服務設定,再記錄首 token 延遲、生成速度、總吞吐和 GPU 記憶體占用。測試結果只適用於這組條件;若請求長度或併發模式不同,應重新比較。
| 觀察項目 | 測試時固定或記錄的條件 | 可回答的問題 |
|---|---|---|
| 首 token 延遲 | 相同請求文字、上下文長度與服務配置 | 互動等待是否符合目標 |
| 生成速度 | 相同輸出要求與模型設定 | 單一請求生成是否足夠流暢 |
| 總吞吐 | 相同請求樣本及併發負載 | 多副本是否更能承接整體工作 |
| GPU 記憶體占用 | 相同量化方式與執行配置 | 副本是否能完整載入並保留運行空間 |
上述指標應綁定測試條件保存,而不是只抄一個最高吞吐數字。若需要復現,可按 vLLM 基準測試文件選用對應工具,並同步記錄版本、拓撲與 P2P 診斷資訊。
採購前的決策條件清單
按以下條件逐項判斷,先選部署策略,再核對平台是否合適:
- [ ] 若模型或單次請求在單卡無法運行,先核對模型是否支援張量並行或其他模型並行策略;否則不要因為有兩張卡就先切模型。
- [ ] 若模型可單卡運行,且主要需求是提高多請求吞吐,優先比較資料並行與獨立副本;若副本顯存不足,回到模型容量與量化方案重新評估。
- [ ] 若採用張量並行,在目標主機上確認 GPU 拓撲、P2P 狀態與 NCCL 診斷結果;不能用主機板插槽標示代替通信檢查。
- [ ] 若部署 MoE 模型,先確認所用 vLLM 版本對該模型和專家並行組合的支援,再規劃容量與請求分流。
- [ ] 若要比較兩種方案,固定模型、量化、上下文與請求樣本,並同時檢視延遲、生成速度、總吞吐及顯存,而非只按單一指標決定。
對部署規劃仍需核對資源或服務操作時,可先查看 KuzCloud 使用說明與控制台,把目標模型、請求型態和拓撲檢查結果整理後再決定採購。
常見問題
雙 RTX 5090 一定要用張量並行嗎?
不一定。只有在模型或單次請求不能於單卡配置中運行,或測試證明切分符合服務目標時,張量並行才有充分理由。若模型能單卡運行而工作是多請求服務,應先測試資料並行或獨立副本;兩張 GPU 的數量本身不足以判斷哪種策略更快。
資料並行是否代表兩張卡共享一份模型?
通常不是。資料並行的模型副本分別處理不同請求,因此每份副本都需要足以載入模型與執行配置的顯存。它增加的是請求處理能力,不是把單卡顯存合併成一個模型空間;模型單卡放不下時,須另外評估模型切分策略。
模型能單卡運行時,如何提高多請求吞吐?
先測每卡一個副本,並確定請求能被合理分派;再比較 vLLM 內建資料並行部署與獨立服務實例的運維差異。測試期間固定請求樣本和模型設定,觀察總吞吐、單請求延遲與顯存占用。若請求量並未形成瓶頸,多副本未必帶來實際收益。
沒有 NVLink,張量並行還值得測嗎?
若模型容量迫使模型跨卡,仍可評估張量並行;沒有 NVLink 並不能單獨證明方案不可用,也不能保證通信代價可接受。先檢查 GPU 間拓撲和 P2P,再用目標請求比較延遲與吞吐。不要把 NCCL 環境變數視為提升實體頻寬的方法。
對必須執行 CUDA 工作負載、需要本機 GPU 拓撲控制,或長期承載穩定重負載的團隊,自建雙卡平台較容易直接掌握硬體與部署環境,但也要自行承擔採購、供電散熱、故障維護及閒置成本。KuzCloud 的 Mac 租用適合短期驗證 macOS 或 Apple Silicon 專屬工作流程,不能替代 RTX 5090 的 CUDA 推理平台;若任務是上述 GPU 工作負載,應按模型容量、請求負載和互連條件規劃雙卡方案,而非將不同架構視為等價替代。需要測試 Mac 專屬流程時,可從 KuzCloud 服務入口了解可用選項。
為 AI 開發流程添一台專屬遠端 Mac
KuzCloud 提供實體獨占的 Mac mini M4,適合需要 macOS 開發、建置或自動化工作環境的團隊。
透過 SSH 或瀏覽器 VNC 遠端連線,並享有完整 root 權限,自行安裝所需工具。