AI 开发

2026 年 RTX 5090 跑 Llama 4 Scout 看图推理,环境怎么配?

获胜者:先按 vLLM 项目给出的 Llama 4 Scout 配方搭建并验证,再决定是否把 RTX 5090 用于本地图片问答。 NVIDIA 标出的 RTX 5090 显存为 32 GB GDDR7,但这项规格本身不能证明某个权重格式、图片数量和上下文组合能稳定运行。NVIDIA 产品规格 因此,先确认官方模型与当前配方,再分别验证文本、单图、多图和长上下文,不要把服务启动或“支持 FP4”当成通过验收。

正在把图片问答接入本地应用的开发者,可重点检查图片是否送达、模型是否识别。
已经拥有 RTX 5090 的模型实践者,可重点核对权重格式、推理框架与 CUDA 内核适配。
负责评估本地或远程 GPU 的技术负责人,可重点看不同工作负载的稳定性边界。

最后更新于 2026 年 9 月 24 日;数据核实自 Meta 模型资料、NVIDIA 产品规格与 CUDA Toolkit Archive、vLLM 官方配方及文档。

先锁定模型身份与配方边界

Meta 官方资料列出 Llama 4 Scout 和 Llama 4 Maverick,并将 Scout 描述为原生多模态模型。Scout 的官方介绍给出 17B 活跃参数、109B 总参数,并说明其支持图片输入;Meta 没有在这些资料中把“Llama 4 120B”列为正式型号。因此,部署目标应使用官方模型名称和对应权重仓库,而不是按未经确认的型号名寻找权重。Meta 的 Llama 4 介绍 Scout 官方模型卡

RTX 5090 能否用于 Scout 图片问答? 可以把它作为候选环境进行验证,但公开配方不能直接证明所有图片问答工作负载都能在该卡上稳定运行。Meta 提到 Scout 经 Int4 量化可放入单张 H100;这不是 RTX 5090 的显存、速度或兼容性保证。NVIDIA 的 vLLM 配方覆盖 Blackwell 与 Hopper,但配方示例、具体量化权重和硬件范围应一起核对,不能把其他 GPU 上的结果当作 5090 实测。vLLM Scout 配方

选项 适合的验证目标 关键边界
官方 Scout 权重 先确认模型身份、加载与图片链路 权重精度与依赖版本必须匹配;Meta 的 H100 说明不能外推为 5090 保证
vLLM 配方中的 NVFP4 权重 按项目配方检查低精度推理路径 配方列出的架构支持不等于 5090 实测;仍需单独验证内核、显存与输出
远程 GPU 验证 本地环境无法稳定复现时,先确认应用链路和模型行为 远程结果只代表被测环境,不能直接替代本地兼容性验收

要特别区分 FP4、NVFP4 与 INT4。NVFP4 是 Blackwell 支持的低精度浮点格式,采用分块缩放;INT4 则是整数表示。它们都不能仅凭“4-bit”名称推导出相同的权重占用、推理速度或输出质量。NVIDIA NVFP4 格式说明 vLLM 配方列出的 NVFP4 权重,应按该权重格式和配套参数验证,而不是把任意 INT4 权重替换进去。

先跑通文本基线,再定位环境问题

文本请求成功,只能证明模型服务的基本加载和生成路径可用,不能证明图片预处理也正常。环境核对时,vLLM 配方是项目资料而非 NVIDIA 对 RTX 5090 的硬件验收:配方列出了 Linux、NVIDIA 驱动版本要求、容器与 vLLM 版本,以及 Blackwell 对应的配置建议。照搬之前,要确认当前采用的模型仓库、量化权重和推理框架版本确实对应同一配方。

CUDA 13.5 是否应作为部署前提? 不应。NVIDIA CUDA Toolkit Archive 当前列出的正式最新版本是 13.4.2;在归档中核对到正式发布前,不应把 CUDA 13.5 写成已发布或已验证支持的版本。NVIDIA CUDA Toolkit Archive

还要留意一个配方脚本层面的兼容性陷阱:NVIDIA 官方计算能力列表将 GeForce RTX 5090 列为 12.0,而当前 vLLM Scout 配方的示例脚本用“计算能力是否等于 10.0”来选择 Blackwell 分支。按这个脚本原样运行时,5090 不满足该精确判断,可能落入另一条分支。不要只看显卡名称或架构标签就默认脚本会选对配置;运行前应核对脚本分支与本机 nvidia-smi 报告的计算能力,并参考当前配方的更新情况。NVIDIA 计算能力列表

文本基线可按以下顺序完成:

  • ✅ 固定并记录模型仓库、权重格式、容器镜像标签和 vLLM 版本;不要用不断变化的标签代替可复现的版本记录。
  • ✅ 检查驱动能否识别 GPU,并确认容器内也能看到对应设备。
  • ✅ 按已核对的配方加载 Scout,确认模型权重完整、启动日志没有模型结构或量化格式错误。
  • ✅ 先发送不含图片的短文本请求,记录请求是否返回、响应内容是否可读,以及服务日志中是否出现异常。
  • ✅ 把此结果作为图片测试的对照组;如果文本请求已经失败,先处理模型或 CUDA 内核问题,不要从图片输入开始排查。

vLLM 的多模态模型文档说明,特定混合模型可以通过仅加载语言模型模块来节省图像模块相关资源,但该模式会关闭多模态路径,不能用来验收图片问答。vLLM 支持模型说明

用单图请求验证图片链路

配置 vLLM 时,先从哪几项开始核对? 先以项目配方中的版本与参数为基准,确认当前版本的服务端支持 Scout,再用兼容的聊天接口提交文本和图片。对图片请求,vLLM 文档使用 OpenAI 兼容的 image_url 内容项;图片可用服务端可访问的 URL 或数据 URL 表达。若采用本地文件,需确认请求客户端如何读取并传输文件,不能把客户端路径误当成服务端一定能访问的路径。vLLM 多模态输入文档

请求结构示例:

{
  "model": "实际服务端登记的模型名",
  "messages": [
    {
      "role": "user",
      "content": [
        { "type": "text", "text": "请描述图片里最明显的物体。" },
        {
          "type": "image_url",
          "image_url": { "url": "data:image/jpeg;base64,替换为图片数据" }
        }
      ]
    }
  ]
}

这里的模型字段应与服务实际登记名称一致,不能仅凭权重仓库名猜测。也不要把示例里的占位文本直接用于真实请求。

单图检查不要只问“图片里有什么”,而应选一个人工容易核对的细节,例如图片中清楚可见的文字、物体颜色或物体相对位置。出现错误时,按现象拆分:

  • 服务端返回请求格式或图片读取错误:优先检查 content 结构、数据 URL 格式和图片是否真正传到服务端。
  • 请求正常返回,却像没看见图片:对照文本基线,检查服务是否运行多模态权重,以及对应处理器是否被正确加载。
  • 内容确实识别但描述错误:这更可能是模型理解或视觉细节判断问题;换用容易人工核验的问题重测,不应直接归因于 CUDA。

从单图扩展到多图与长上下文

单图成功是否代表多图也能用? 不能。多图比较要求模型不仅接收多张图片,还要正确关联图片顺序和用户问题。Meta 介绍 Scout 经过多图训练与测试,但训练、评测条件不等于 5090 部署中的请求上限或稳定性承诺。vLLM 的多模态资料提供多图输入的请求结构示例,可据此逐步扩展,而不是一次把复杂请求堆上去。

推荐按这个顺序验收:

  • ✅ 单图:询问一个可见、可人工核对的事实。
  • ✅ 双图比较:先问“哪张图有某个明显特征”,再让模型描述差异,核对它是否把图片顺序搞混。
  • ✅ 多图组合:加入实际应用中的图片数量和提示词,保存可复现的请求体、响应及服务日志。
  • ✅ 组合负载:最后再增加上下文长度、并发请求或更复杂的图片内容,每次只改一个变量。

NVFP4 配方能否直接套用到 RTX 5090? 不能只按“Blackwell”三个字直接套用。NVIDIA 官方资料说明 RTX 5090 属于 Blackwell,NVFP4 格式也面向 Blackwell;但 vLLM 配方的特定权重、配置与启动分支,是否覆盖该卡的计算能力和软件组合,需要以相应版本的实现和运行结果为准。格式可用、内核可执行、模型能加载,是不同层次的判断,最终还需完成图片问答验收。

Scout 的长上下文能力也要与实际部署容量分开看。Meta 介绍其支持 10M 上下文窗口,并说明模型预训练和后训练条件;这不是单卡可无条件运行任意长文本、图片和并发请求的承诺。vLLM 配方还指出,实际序列长度、并发和 KV cache 会影响可用资源;先用应用真实请求测出可接受范围,再调整 max-model-len 等服务参数,不要一开始就追求模型声明的最大窗口。

按失败现象选择修复或远程验证

部署问题可先分成几类,避免把所有报错都归结为“显存不够”:

  • 模型身份或权重不匹配:确认仓库名称、文件完整性、模型配置和量化格式;不要把社区转换权重与项目配方中的官方量化权重混为一谈。
  • CUDA 或内核兼容:检查驱动、容器、框架版本与计算能力匹配情况,再对照当前官方配方及对应的项目 Issue。Issue 是社区问题线索,不是官方硬件支持声明。
  • 图片请求链路:检查接口是否为聊天请求、image_url 是否有效,以及容器或服务端能否读取图片。
  • 资源不足或运行不稳:缩短上下文、减少并发和图片数量,一次只改一项;如果降低负载后可复现,再逐项找出触发边界。
  • 输出质量不符合要求:用固定样例、固定问题和人工可核验答案做回归,不以单次回复或文本基线替代视觉质量验收。

如果本地始终无法稳定复现,而项目又需要尽快验证多模态请求链路,可先用远程 GPU 环境做临时验证,并完整记录硬件、模型权重与软件版本。远程结果只能说明那套环境通过了该组测试,不能据此宣称 RTX 5090 本地环境也兼容。需要规划远程测试时,可先查看 KuzCloud 帮助说明 和 适用地区的计费信息,再决定是否值得把验证任务移出本机。

如果当前方案是本地反复改驱动、容器和权重,隐性成本在于环境难复现、GPU 还会被其他本地任务占用,而且 32 GB 显存规格并不能消除长上下文或多图请求的资源压力。但若工作负载长期、稳定且必须使用本地物理设备,自购和维护本地硬件可能更合适;只有在阶段性开发、临时兼容性验证或本机无法稳定复现时,租用 KuzCloud 的 Mac 环境才值得进一步评估。下一步可先用远程环境验证相同的模型与图片请求,再根据测试记录决定是否迁移,不应预先假设它能替代 RTX 5090 或提供特定推理性能。

验证推理服务之外的 Mac 工作流,远程开一台 KuzCloud

KuzCloud 提供独占 Mac mini M4,可远程检查 macOS 客户端、接口调用与部署衔接,不替代 RTX 5090 的 CUDA 推理环境。

通过 SSH 或 VNC 连接真实 Mac,按需安装工具并开展兼容性验证。