GPU 硬件

2026 Kimi K3 vLLM 部署 OOM:先降上下文还是并发?

截至 2026 年 8 月 5 日,vLLM 官方 Kimi K3 recipe 仍明确要求专用 CUDA 13 镜像、宿主机使用 r580+ NVIDIA 驱动,并建议根据测试场景调整 max-model-len。因此,Kimi K3 vLLM 部署 OOM 的获胜策略不是同时降低所有参数:加载阶段失败先核对环境与资源硬门槛;短请求稳定、长请求失败时先收缩上下文和预填充;只有并发升高后才 OOM,才优先限制并发与缓存预算。最小负载仍不稳定,就应切换兼容测试环境。相关边界可对照 vLLM 官方 Kimi K3 recipe 与 Kimi K3 的 vLLM 发布说明。

最后更新于 2026 年 8 月 6 日,数据核实自 vLLM Kimi K3 recipe、发布博客及当前参数文档。 如果官方镜像标签、驱动要求或 OOM 修复发生变化,应重新执行本文的第一步,而不是沿用旧结论。

这篇文章适合已经启动 Kimi K3 自托管测试、却还没有判断 OOM 属于静态模型占用还是运行时缓存压力的工程师;也适合为长上下文 Agent 设定并发边界的平台团队,以及正在比较继续调参、增加资源和租用隔离测试环境的技术负责人。

先按 OOM 出现时点决定第一动作

不要只看日志最后一行写着 OutOfMemoryError 就立即降低并发。Kimi K3 的服务至少要在 4 个时间点做标记:模型加载前后、首个短请求、首个长请求、并发逐步爬升。每个时间点都应保留启动参数、各设备显存变化、请求输入长度、输出预算和进程退出方式。

OOM 触发阶段 首要观察证据 第一项动作 暂时不要做的事
权重加载或引擎初始化 权重未加载完成、某个 rank 先退出、没有业务请求 核对镜像、CUDA、驱动、硬件和并行配置 不要先降低 max-num-seqs
首个短请求 模型已完成加载,但短输入也无法完成 检查可用显存、KV cache 预留和初始化参数 不要把问题归为长上下文
长请求或代码仓库输入 短请求成功,预填充阶段显存峰值明显上升 降低实际输入长度、max-model-len 或预填充批量 不要同时关闭所有缓存优化
并发逐步增加 单请求稳定,达到某个同时处理量后失败 限制 max-num-seqs、max_num_batched_tokens,再独立测试缓存 不要把并发和缓存一起改

这张表的关键是区分“容量不够”和“调度压力过大”。如果模型还没有接收请求就失败,降低并发几乎没有意义;如果单请求稳定、并发增加才失败,直接更换模型或缩短上下文也可能牺牲了本来可以保留的任务质量。

第一步:先确认加载期是否已经没有调参空间

Kimi K3 的官方 recipe 当前列出专用 vllm/vllm-openai:kimi-k3 镜像,说明该镜像是 CUDA 13(cu130)构建,没有 cu129 标签;宿主机需要 r580+ 驱动,使用 CUDA 12.9 与 r575 驱动的环境需要升级驱动,或者自行构建对应分支。官方 recipe 还将 NVIDIA 环境的最低硬件边界写为至少 8 张 GB300,实际生产流量则建议采用多节点部署。官方环境要求

这些不是普通运行参数,而是 Kimi K3 能否进入稳定加载阶段的前置条件。若日志在权重分片、通信初始化、CUDA kernel 加载或某个 rank 建立前就退出,max-model-len 与 max-num-seqs 都不能替代缺失的模型加载空间,也不能修复 CUDA 与驱动不匹配。

建议按下面的顺序核对:

  • ✅ 记录实际使用的镜像完整标签,不只记录“用了 Kimi K3 镜像”。
  • ✅ 记录容器内 CUDA 构建版本与宿主机驱动版本。
  • ✅ 确认每个 rank 都完成设备初始化,没有单卡先退出。
  • ✅ 对照官方硬件边界,确认不是把消费级或旧代卡当作兼容基线。
  • ✅ 保留启动日志中模型加载完成、KV cache 初始化完成和服务开始监听的时间点。
  • ❌ 不要用“服务端口已经打开”作为模型可交付的证明;引擎可能仍在初始化,或首个请求才触发真正的显存分配。
检查对象 能回答的问题 结果如何影响决策
镜像标签 是否使用官方当前 K3 专用构建 不一致时先回到兼容镜像
CUDA 与驱动 是否满足 cu130 与 r580+ 边界 不满足时优先升级或换环境
各 rank 加载状态 是否存在单卡、通信或分片异常 单 rank 失败不能直接归类为并发 OOM
KV cache 初始化 是否已经进入运行期资源分配 未完成初始化时不要先改业务并发
首个短请求 模型是否真正具备服务能力 短请求也失败,说明最小基线尚未成立

如果当前环境是 r575 驱动,继续反复改服务参数通常只会增加排查噪音。工程团队应先建立一个满足官方 recipe 的隔离基线,再决定是否把长期集群升级到同一兼容范围。

第二步:用长请求复现预填充压力,而不是盲目降低上下文

当短输入可以完成、长文本或代码仓库输入才触发 OOM,优先怀疑预填充阶段的瞬时压力。这里需要同时记录输入 token 数、输出上限、max-model-len、max_num_batched_tokens、是否包含图像,以及 OOM 前的显存峰值。

max-model-len 是容量上限,不等于每个请求都会实际占满该长度。将它设置得很大,可能让调度器为极端请求保留更宽的容量边界;但如果真实 Agent 请求远低于这个上限,直接把业务目标压到很小,也可能造成不必要的质量损失。更稳妥的方式是使用同一组真实请求,按短、中、长 3 个档位逐步复测,并为每档记录任务是否仍能完成。

vLLM 当前文档说明,chunked prefill 可以把大规模预填充拆成较小块,并通过 max_num_batched_tokens 调整单轮处理的 token 预算;较小值通常更偏向降低解码干扰,较大值更偏向改善首 token 延迟。vLLM 优化与调优文档

建议采用单变量实验:

  1. 固定并发为 1,关闭压测流量,只发送同一份 Agent 请求。
  2. 只降低实际输入长度,观察 OOM 是否从预填充阶段消失。
  3. 若输入长度不能再降,再只调整 max-model-len,确认它是否是容量上限触发点。
  4. 若仍失败,只调整 max_num_batched_tokens,比较预填充峰值与首 token 延迟。
  5. 多模态请求单独成组,不要把图像输入与纯文本请求混在同一结论中。
  6. 任务质量、输出完整性或工具调用准确性不再满足目标时,停止继续压缩上下文,转入扩容或换环境评估。

经验提醒: 如果单请求在较短上下文下仍然 OOM,降低 max-model-len 只是改变了允许的请求上限,并没有证明模型加载资源、KV cache 预留或环境兼容性已经满足。

第三步:确认并发压力来自序列数、批处理令牌还是缓存

如果一个请求可以稳定完成,只有同时提交多个请求后才 OOM,先把并发和缓存分成两个实验。vLLM 文档将 max_num_seqs 定义为单轮可处理的最大序列数,将 max_num_batched_tokens 作为单轮可处理的 token 预算;两者都会影响调度阶段的显存需求。Scheduler 参数说明

第一轮只限制 max-num-seqs,保持输入长度、输出预算和缓存设置不变;第二轮恢复并发,改动 max_num_batched_tokens;第三轮才比较关闭和开启 prefix caching 的差异。每轮都要记录吞吐、排队时间、首 token 延迟、显存峰值和 OOM 是否复现。

实验组 只改变的变量 需要记录的结果 通过条件
A:并发上限 max-num-seqs 同时运行序列、吞吐、排队时间 OOM 阈值随序列数变化
B:批处理预算 max_num_batched_tokens 预填充峰值、首 token 延迟、吞吐 OOM 阈值随 token 预算变化
C:缓存开关 enable-prefix-caching 命中前后显存、预填充时间、缓存块 只有共享前缀请求才出现稳定差异
D:真实压测 固定业务流量 长尾延迟、抢占次数、进程状态 结果能重复,且不依赖偶发请求顺序

Kimi K3 的 prefix caching 当前需要显式启用,官方发布命令中包含 --enable-prefix-caching。由于 Kimi K3 同时存在全注意力缓存与 KDA 状态,缓存命中并不等于“只多占用很少显存”;发布说明专门解释了其混合缓存和状态保留机制。官方启用示例

验证缓存时,至少应准备一组共享系统提示、工具定义或代码仓库前缀,让后续请求真正重复该前缀。只启动服务、看到进程没有立刻退出,不能证明缓存有效;只有在重复请求中观察到预填充工作量、缓存状态或响应延迟发生稳定变化,才有资格讨论缓存收益是否抵得上资源占用。

FAQ:把 5 个高频判断拆开处理

Kimi K3 加载模型时 OOM,降低 max-model-len 有用吗?

通常没有直接作用。加载期失败发生在首个请求前,首先应核对专用镜像、CUDA 13、r580+ 驱动、硬件数量和各 rank 的加载状态。只有模型已经加载完成,长请求进入预填充后才失败,降低 max-model-len 才是针对业务容量的有效实验。

Kimi K3 长上下文请求显存不足,先改哪个参数?

先固定并发为 1,降低真实输入长度或 max-model-len,再观察预填充峰值;如果输入长度不能继续压缩,再单独调整 max_num_batched_tokens。输出预算、多模态输入和上下文长度应分开记录,否则很难判断究竟是哪项造成瞬时显存峰值。

vLLM 只有提高并发后 OOM,限制并发还是关闭缓存?

先限制 max-num-seqs,再单独测试 max_num_batched_tokens。关闭缓存不应与限制并发同时发生,因为两项一起修改会失去因果关系。只有共享前缀请求在缓存开启后表现出显存持续增长或缓存块压力,才应把缓存作为独立的资源变量处理。

Kimi K3 开启 prefix caching 后,如何验证显存压力?

使用真实重复前缀请求,固定系统提示、工具定义或代码仓库内容,比较第一次请求与后续命中的显存、预填充时间、缓存状态和 OOM 复现情况。若请求没有共享前缀,缓存命中收益本身就不存在,此时关闭缓存不能证明缓存机制有问题。

调低参数仍然 OOM,什么时候换部署环境?

当官方兼容边界已经核对,最小单请求仍不能稳定完成,或者继续降低上下文与并发已经破坏 Agent 质量,就应停止继续调参。换到隔离兼容环境先复现官方基线,能够把“资源不足”和“环境不兼容”分开;之后再决定长期集群是否值得改造。

第四步:先排除异步 CUDA 崩溃,再决定是否继续调容量

并非所有带有 OOM 字样的退出都是真正的内存分配失败。工程师需要区分至少 3 类现象:

  • 真正的内存分配失败:日志明确显示某次 CUDA 内存申请失败,并能对应到加载、预填充或并发阶段。
  • 系统终止进程:容器或主机记录进程被终止,但 vLLM 最后一行可能只是来不及刷新的普通日志。
  • 异步 CUDA 错误:先出现 illegal memory access、kernel 异常或设备状态错误,随后进程在清理阶段表现为 OOM 或连锁退出。

第三类不能直接按照容量问题处理。若关闭缓存或降低并发只是让崩溃发生得更晚,却没有消除最初的非法内存访问,应转入对应版本的缓存、kernel 或设备错误排查,并保存完整环境指纹。社区 issue 只能说明某个版本和硬件组合出现过现象,不能据此推断所有 Kimi K3 部署都会复现同一根因。

判断故障可信度时,建议勾选:

  • ✅ OOM 前是否有明确的内存分配调用栈。
  • ✅ 是否能用同一请求稳定复现。
  • ✅ 是否每次都在相近的阶段失败。
  • ✅ 是否只有某个 rank、某种输入或某个缓存状态触发。
  • ❌ 不要把 illegal memory access 后的清理异常直接写成“显存不够”。
  • ❌ 不要因为降低并发后成功率上升,就认定并发是根因;它也可能只是改变了异步错误的触发时序。

第五步:按恢复成本选择调参、扩容还是换环境

完成最小单请求、长请求和并发实验后,恢复路径通常只有 3 条。选择标准不应是“哪条最快启动”,而应是“哪条能在可接受业务边界内稳定复现”。

路径 适用条件 业务代价 回滚点 退出条件
收缩现有服务目标 单请求可稳定,问题集中在长上下文或高并发 上下文质量、并发能力或吞吐下降 保留原始参数与请求基线 最小 Agent 任务无法完成
增加兼容资源 环境兼容,目标上下文和并发有明确业务价值 资源采购、调度和网络拓扑成本上升 先用隔离节点验证扩容收益 扩容后仍是加载期失败或异步崩溃
切换隔离测试环境 当前集群驱动、镜像或硬件边界不满足 需要迁移镜像、数据和测试流程 保留现有集群不改生产配置 新环境仍无法完成官方最小基线

如果只是并发压力,降低并发通常是成本最低的短期方案;如果长上下文是核心产品能力,持续压缩 max-model-len 可能比增加兼容资源更昂贵,因为它直接改变 Agent 的任务边界。若当前环境连最小请求都无法稳定运行,继续调整 prefix caching、并发和预填充参数,只是在不可靠地延后失败。

对于需要快速验证的团队,隔离环境的价值不只是“多一台 GPU”,而是能够固定镜像、驱动、设备拓扑和启动参数,避免现有集群中的共存任务、旧驱动或残留进程影响结论。租期评估时,应把启动验证、单请求复测、长上下文复测和并发压测拆成独立阶段;相关资源安排可先参考 KuzCloud 的帮助与环境使用说明,再根据所在区域查看 KuzCloud 的价格页面。

如果当前方案是 Windows、Linux 或普通云主机,常见缺点是驱动升级受集群影响、GPU 拓扑不稳定、共享资源会改变可用显存,而且临时扩容往往需要重新排队或迁移。Mac 方案并不能替代 Kimi K3 所需的兼容 GPU 推理环境,但对于 Agent 客户端、API 联调、日志分析、CI 脚本和远程控制台工作,租用 KuzCloud 的 Mac 通常比把这些辅助任务继续堆在不稳定的 GPU 节点上更容易隔离,也更适合短期验证。

最终判断可以压缩成一句话:加载期 OOM 先换到兼容基线,长请求 OOM 先降上下文,纯并发 OOM 先限并发;三者都无法在最小目标下稳定运行,就停止牺牲业务质量,改用隔离环境验证后再决定长期扩容。

用 KuzCloud 远程 Mac,快速隔离部署环境

遇到显存或内存 OOM 时,先用 KuzCloud 开通独立远程 Mac,快速验证资源配置与部署方案。

无需等待本地设备升级,按需租用 KuzCloud Mac 资源,降低大模型测试的硬件投入。