GPU 硬件

2026 双 RTX 5090 跑 vLLM:张量并行还是多副本?

vLLM 官方并行指南把“模型能否在单卡运行”作为选择并行方式的重要起点。双 RTX 5090 跑 vLLM,不应默认先选张量并行:单卡放不下目标模型或运行配置时,优先评估张量并行等模型切分策略并实测通信代价;模型能在单卡独立运行、目标是承接更多请求时,则优先评估每卡一个模型副本。(vLLM 并行与扩展文档)

本地推理开发者可据此判断是否要拆分模型;AI 工作室负责人可比较跨卡协同与并发扩展;平台采购和运维人员则可先核验目标负载,再决定是否为多卡通信拓扑投入。

最后更新于 2026 年 10 月 13 日;并行策略、数据并行和基准测试的核对来源为 vLLM 官方文档,GPU 间 P2P、拓扑与通信排查的核对来源为 NVIDIA NCCL 官方文档。

先确认目标是容量还是并发

判断双卡模型推理该走哪条路,先把“模型能不能运行”和“服务能不能接更多请求”分开。这两种目标常被混为一谈,但解决的不是同一个瓶颈:

  • 模型容量优先:一个模型实例,或单个请求所需的运行配置,无法由单卡承载;评估把模型切分到多卡。
  • 请求吞吐优先:模型和目标上下文可以在单卡独立运行,但单卡服务承载不了所需并发;评估增加副本、分散请求。
  • 低延迟优先:先定首 token 延迟和逐 token 生成速度的目标,再比较方案。吞吐更高不代表单个用户等待更短。

“单卡能启动”也不等于“单卡满足生产配置”。权重加载后,KV 缓存、上下文长度、并发批次都要占用显存;配置一提高,原先能启动的模型可能变成显存不足。反过来,如果模型本身能稳定留在单卡,采用张量并行也可能带来通信开销,却没解决真正的请求排队问题。

按模型能否单卡运行选择方案

负载场景 优先评估 显存与通信代价 更适合的目标
单卡无法承载目标模型或运行配置 张量并行;MoE 等结构也评估其他适用策略 模型分布在多卡;运行时需要跨卡协同,通信路径会影响结果 让单个模型实例或请求可运行
模型能在单卡独立运行,请求较多 每卡一个模型副本,再分发请求 每个副本都需自己的模型运行空间与缓存;会消耗额外显存 扩展并发请求和服务吞吐
MoE 模型,容量与并发目标同时存在 依框架和模型结构组合评估 TP、DP、EP 专家层与注意力层的切分方式可能不同,不能直接套用稠密模型配置 同时权衡容量、吞吐与专家通信

对于张量并行,vLLM 的单机多卡示例会把 tensor_parallel_size 设为所用 GPU 数量;双卡方案通常以 --tensor-parallel-size 2 表达。它的含义是切分并协同一个模型副本,不是复制两份服务。显存更宽裕可能解决容量问题,但同时需要留意跨卡通信频度。

对于数据并行,vLLM 会为数据并行组启动独立的引擎进程;稠密模型采用独立实例并对外部负载均衡的方式时,各实例也是彼此独立的服务。因此,“GPU 多副本部署”通常意味着每份副本都要能独立装载模型和运行请求,而不是把一份权重自动切成两半。若副本内部也设置张量并行,则应把副本数和每副本的 GPU 数分别核算。(vLLM 数据并行部署文档)

⚠️ 没有 NVLink 不等于两卡无法走 P2P,也不代表张量并行必然慢到不能用。NCCL 会根据拓扑和驱动判断 GPU 是否能直接互访;最终性能应由实际硬件路径和代表性请求验证,而不是仅凭插槽标称规格推断。(NVIDIA NCCL GPU 排查文档)

在 MoE 场景中核对策略组合

MoE 模型不宜直接套用“张量并行或多副本”的二选一框架。专家层与注意力层可能采用不同并行方式;vLLM 的专家并行部署说明了启用专家并行后的层分布方式,以及 TP、DP 与 EP 之间的关系。部署 Llama 4 或其他 MoE 模型时,应先对照所用 vLLM 版本的模型支持与并行文档,确认当前模型结构对应的策略和启动参数。文档中的某个模型示例只能说明该示例的组合方式,不足以证明相同设置适用于所有 MoE 模型。(vLLM 专家并行部署文档)

用真实请求比较低延迟与吞吐

选择方案时,单请求响应、并发服务能力与显存利用率是不同指标。单请求延迟较低,不必然意味着高并发总吞吐最高;吞吐提升,也不保证交互请求的首 token 延迟符合目标。

可复现的比较至少要固定模型版本、量化方式、上下文长度、采样设置和请求样本,然后分别运行单卡基线、张量并行和多副本方案。记录首 token 延迟、生成速度、单位时间完成请求或生成 token 的吞吐,以及显存占用;同一组请求和相同服务约束下再比较,避免把不同上下文长度造成的差异误认为并行策略差异。vLLM 的基准测试工具支持设置请求速率与最大并发,用于评估服务延迟和吞吐。(vLLM 基准测试命令文档)

执行时按这组条件分支:

  • ✅ 若目标模型和所需运行配置无法在单卡容纳,且当前 vLLM 版本支持目标切分策略,则先选张量并行或适用的其他模型并行方式;否则先调整模型、量化或上下文配置,再验证是否能回到单卡。
  • ✅ 若模型能在单卡稳定运行、请求并发是主要瓶颈,则先比较每卡一个副本的多副本方案;只有实际服务测试显示该方案满足不了目标时,再评估跨卡协同。
  • ⚠️ 若是 MoE,先核对专家并行等组合对当前模型和 vLLM 版本的支持,不直接把稠密模型的 TP 或 DP 配置照搬过来。
  • ❌ 若还没有固定模型、上下文与请求样本,不根据“有双卡”或单次空载运行结果定案。

在调整 NCCL 前检查通信路径

张量并行的跨卡通信受物理拓扑、驱动和系统配置影响。PCIe x8 本身不能推出固定比例的性能损失;没有 NVLink 也不能单独判定方案不可用。NCCL 官方建议先核对 GPU 间 P2P 状态,并用 nvidia-smi topo -p2p p 查看 PCIe P2P;检查 NVLink P2P 可用 nvidia-smi topo -p2p n。若路径未按预期工作,再排查拓扑、驱动、IOMMU 等条件。

NCCL_P2P_DISABLE=1 可以用于对照测试:它会关闭 GPU 间 P2P 传输,可能帮助判断通信问题是否与这条路径有关;它不是带宽替代方案,也不是默认调优开关。NCCL 文档提醒,强行覆盖自动选择可能导致性能问题或影响功能,因此应把环境变量调整限制在有假设、有对照的排查中。(NCCL 环境变量文档)

部署前的可核验步骤

  1. 确定模型与配置。固定模型文件、量化方式、目标上下文和预期批量,区分是权重装不下,还是缓存和并发配置导致显存不足。
  2. 跑单卡基线。确认模型在一张卡上能否完成启动和代表性请求;不能只看服务进程成功启动。
  3. 核对框架支持。记录 vLLM 版本,并按该版本文档确认 TP、DP 及 MoE 相关策略和启动参数。
  4. 检查双卡拓扑。保存 nvidia-smi topo -m 与 nvidia-smi topo -p2p p 输出,确认 GPU 间的实际互访状态;必要时再运行 NCCL 诊断或通信测试。NCCL 提供诊断方法,可用于进一步定位 GPU 间通信问题。(NCCL 诊断文档)
  5. 准备两类对照。容量受限时测模型切分;单卡可运行且并发受限时测独立模型实例与请求分发。非 MoE 稠密模型使用外部负载均衡时,应确认部署方式适配独立实例,而不是误用只适用于特定部署方式的外部 DP 参数。
  6. 按生产样本压测。固定输入、输出和上下文样本,分别比较首 token 延迟、生成速度、整体吞吐及显存余量;再逐步增加并发,观察延迟是否超过服务目标。
  7. 记录可复核配置。保存启动参数、版本、拓扑输出、测试样本和结果。硬件或框架版本改变后重测,不把旧配置的结果直接视作新环境的保证。

如果还在整理部署前的环境与连接事项,可先查看 KuzCloud 帮助中心中的相关说明;采购时再按上述目标负载确认平台是否满足,而不是按显卡数量先下结论。

常见问题

双卡部署 vLLM 时,什么时候优先张量并行?

当模型权重、目标上下文和预期运行配置无法由单卡承载,而单机多卡能够提供所需容量时,优先评估张量并行或适用于该模型的其他切分策略。随后仍要实测跨卡通信和服务负载;双卡数量本身既不能证明张量并行必要,也不能证明它更快。

数据并行是不是每张 GPU 都需要完整模型?

对常见稠密模型,每个独立数据并行副本都需要具备独立运行模型的资源,所以要为每份副本核算权重、KV 缓存和工作空间。若副本内部又采用张量并行,权重会在该副本的 GPU 组内分片;不能把两种层级混成“每张卡都完整复制”。

单卡能运行时,怎么用双卡接更多请求?

优先测试每张卡各运行一个独立 vLLM 实例,并让负载均衡把请求分配给两个实例。要确认模型在实际上下文和缓存设置下仍有显存余量,并用真实请求样本比较延迟与吞吐;如果单请求容量才是限制,增加副本并不能替代模型切分。

没有 NVLink,两张卡还适合做张量并行吗?

可以评估,但要先确认 PCIe 拓扑和 P2P 能否正常工作,再测目标请求下的通信与生成表现。没有 NVLink 不是一票否决条件;对于缺少 NVLink 的单机环境,也可以依据当前 vLLM 版本文档评估流水线并行等方式。选择应以当前模型和压测结果为准。

把选择落到平台与用途

若现有双卡方案能满足模型容量和并发目标,应继续核实 P2P 状态、版本支持和生产负载;它的真实代价可能是配置维护、通信排查和每份副本额外占用的显存。若需要的是 CUDA、NCCL 或 RTX 专属算子环境,Mac 并不能替代这套 GPU 部署。只有当工作还包含 macOS 兼容性验证、Apple Silicon 开发或独立的 Mac 工作流测试时,租用 KuzCloud Mac 才是另一项有针对性的临时选择;可先查看 KuzCloud 方案与计费信息,并确认所需环境后再决定。

模型部署之外,准备一台专属远程 Mac

双显卡承担推理负载;需要远程 macOS 环境处理开发、构建或配套工作时,KuzCloud 提供物理独占的 Mac mini M4。

SSH 与远程桌面直连,完整 root 权限,按需安装工具,快速接入你现有的工作流程。