2026 Kimi K3 vLLM 部署 OOM:先降上下文還是併發?
短請求可以完成,但長上下文或併發一上升就 OOM,通常不是同一個問題。獲勝者是「按觸發階段逐一收縮」:載入期先核對資源與相容性,長請求先降上下文與預填充負載,只有併發增加後才先限制併發與快取;最小負載仍不穩定,就改用相容的隔離環境。
先用四個時間點判斷 OOM 類型
不要只看錯誤日誌最後一行。Kimi K3 vLLM 部署 OOM 應先標記以下四個時間點,並同時保留啟動日誌、每張 GPU 的記憶體變化、請求輸入長度、輸出預算與同時處理數量。
| OOM 觸發階段 | 主要觀察證據 | 第一個單變量動作 | 不應先做的事 |
|---|---|---|---|
| 模型載入或引擎初始化前 | 尚未接收請求,各 rank 載入中斷 | 核對 GPU、映像檔、CUDA、驅動與平行化設定 | 先降低 max-num-seqs |
| 第一個短請求 | 短輸入也在預填充或首個 token 前失敗 | 先確認靜態資源與基線請求 | 直接關閉 prefix caching |
| 長文本、程式碼庫或多模態請求 | 短請求成功,長請求在 prefill 峰值失敗 | 降低實際上下文或 max-model-len | 同時降低併發與輸出長度 |
| 併發逐步增加後 | 單請求穩定,序列數或批次令牌增加才失敗 | 限制 max-num-seqs 或批次令牌預算 | 把快取問題當成模型容量不足 |
這個分類的價值在於,降低併發對載入期 OOM 幾乎沒有意義;模型尚未接收請求時,服務還沒有建立運行期序列池。相反地,若只有併發壓測才失敗,直接重做整個 GPU 環境也可能只是延後問題,而不是解決快取與排程壓力。
Kimi K3 的官方配方目前列出 2.8T 參數、最多 1,048,576 token 上下文、16/896 experts 啟用比例,並將其定位為原生多模態 MoE 模型;這些架構條件意味著模型權重、混合式快取、預填充工作集與跨卡通訊必須分開判斷,而不能用單一「剩餘顯存」數字概括。官方 Kimi K3 配方
第一步:載入期先驗證硬門檻,不要急著改服務參數
如果 Kimi K3 在接收第一個請求前已經失敗,先檢查的是部署環境,而不是 max-model-len 或 max-num-seqs。截至 2026 年 8 月 6 日,官方配方確認專用 vllm/vllm-openai:kimi-k3 映像檔是 CUDA 13(cu130)建置,目前沒有 cu129 標籤;NVIDIA 主機則需要 r580 或更新驅動。官方同時列出 NVIDIA 至少 8 張 GB300 的起始硬體配置,並另列 AMD 路徑,這些是配方邊界,不是本站推算的顯存下限。Kimi K3 環境前置條件
建議先完成以下勾選項:
- [ ] 實際拉取的映像檔標籤與官方 Kimi K3 配方一致。
- [ ] 主機驅動版本不是 r575 類的 CUDA 12.9 環境。
- [ ] GPU 數量、型號與 tensor parallel 設定相互匹配。
- [ ] 每一個 rank 都有完成權重載入,而非只有首個 rank 顯示成功。
- [ ] 沒有把另一個模型留下的 GPU 程式、殘留容器或監控工作誤算為可用容量。
- [ ] 載入失敗時已保存完整啟動日誌,而不是只截取
OutOfMemoryError附近數行。
官方快速啟動指令本身包含 --tensor-parallel-size 8、--load-format fastsafetensors 與 --enable-prefix-caching;這不代表所有環境都可直接複製,而是說明 Kimi K3 的基線啟動需要配合專用映像檔與相容硬體。官方快速啟動範例
注意: 社群常見的「Kimi K3 至少需要多少顯存」推算,不能取代官方配方、實際 rank 載入狀態與具體版本的啟動日誌。若模型根本未完成初始化,降低請求參數不會把缺少的權重容量變出來。
第二步:短請求成功後,再處理上下文與預填充峰值
若單一短請求可以穩定完成,而長文件、程式碼庫、工具規格或多模態輸入才觸發 OOM,這才是上下文與 prefill 問題的高可信度訊號。
這時不應先把 max-model-len 調到極低,也不應把所有最佳化功能一次關閉。max-model-len 是服務允許的容量上限,不是每個請求都會實際使用的長度;真正需要觀察的是:
- 請求送入後的實際輸入 token 數。
- prefill 階段的 GPU 記憶體峰值。
max_tokens或等效輸出預算。- 是否包含圖片、影片或大量工具描述。
- OOM 發生在第一個 token 前,還是輸出進行期間。
工程團隊可將同一個 Agent 請求分成數個檔位,每次只改一個變量。例如先固定併發為單請求,固定輸出預算,只逐步增加上下文;若某一級失敗,再回退到上一級,確認任務品質是否仍可接受。對程式碼 Agent 而言,能完成索引、定位與修改的最小上下文,通常比追求服務宣稱的最大上下文更有決策價值。
vLLM 的 chunked prefill 可將大型 prefill 拆成較小區塊,再與 decode 請求共同排程;目前文件說明可透過 max_num_batched_tokens 調整每次迭代的 token 預算,較小值通常有利於降低 prefill 對 decode 的干擾,較大值則偏向改善 TTFT,但實際 OOM 是否消失仍要由同一組長請求復測確認。chunked prefill 與排程說明
可採用以下順序:
- [ ] 固定單請求,先把多模態輸入改為純文字基線。
- [ ] 固定輸出上限,只降低輸入上下文。
- [ ] 觀察 prefill 峰值是否隨輸入長度同步下降。
- [ ] 若版本支援 chunked prefill,再單獨改
max-num-batched-tokens。 - [ ] 以任務成功率、首 token 延遲與 OOM 重現結果判定是否接受新上限。
- [ ] 若降低上下文後仍在首個請求失敗,回到靜態資源與環境相容性檢查。
第三步:併發 OOM 先限制工作集,再驗證 prefix caching
若單請求和短上下文都穩定,只有從一個請求增加到多個同時處理序列時才失敗,優先調整 max-num-seqs 或批次令牌預算。vLLM 的排程參數將 max_num_seqs 定義為單次迭代可處理的最大序列數,max_num_batched_tokens 則限制單次迭代可處理的 token 數;兩者代表不同的工作集邊界,不宜在同一輪復測中同時修改。serve 與 scheduler 參數文件
建議做兩組獨立實驗:
實驗 A:限制併發
- 固定上下文、輸出預算與快取設定。
- 只降低
max-num-seqs。 - 逐級增加實際同時請求數。
- 記錄吞吐、排隊時間、GPU 記憶體與 OOM 是否重現。
實驗 B:收縮上下文
- 固定併發與快取設定。
- 只降低請求輸入長度或
max-model-len。 - 使用同一批 Agent 任務重跑。
- 比較任務成功率和延遲,而不是只看服務是否存活。
兩組實驗都能穩定後,才處理 prefix caching。Kimi K3 的 prefix caching 目前需要明確加入 --enable-prefix-caching;服務能啟動,只能證明引擎完成初始化,不能證明快取對實際工作負載有收益。官方發布文章也說明,Kimi K3 的 KDA 狀態與全注意力 KV 快取需要混合式管理,快取邊界、狀態複製與保留策略都會影響資源使用。Kimi K3 prefix caching 說明
驗證時應準備兩個共享前綴請求,而不是使用完全不同的隨機請求:
- 第一次請求:相同系統提示、工具規格或資料集前綴。
- 第二次請求:保留共享前綴,只替換使用者問題。
- 第三次請求:再次使用相同前綴,確認是否出現可重現的命中。
- 比較 prefill 時間、GPU 記憶體峰值、快取區塊變化與排隊時間。
若啟用快取後只是更頻繁崩潰,或關閉快取只讓崩潰延後,這不應再被歸類為單純併發容量問題;應把日誌、版本、請求形狀與快取狀態交給專門的快取崩潰排查流程,而不是無限降低 max-num-seqs。
FAQ:五個最容易誤判的調參決定
Kimi K3 在載入模型時 OOM,降低 max-model-len 有用嗎?
如果服務在第一個請求前、模型權重載入或引擎初始化階段便失敗,降低 max-model-len 通常不能解決根本問題。這時應先核對專用映像檔、CUDA 建置、主機驅動、GPU 數量與各 rank 的載入狀態;只有模型已成功啟動後,max-model-len 才是運行期容量調整工具。
Kimi K3 長上下文請求顯存不足,應該先改哪個參數?
先降低實際輸入長度或 max-model-len 上限,再觀察預填充峰值是否下降;不要一開始同時改輸出長度、併發與快取。若短請求穩定、長請求才失敗,應以真實 Agent 請求逐級增加上下文,找出仍能維持任務品質的最小上限。
vLLM 只有提高併發後才 OOM,應該限制併發還是關閉快取?
先限制 max-num-seqs 或批次令牌預算,因為這是直接縮小同時處理工作量的實驗。prefix caching 不應直接關閉;若請求具有重複系統提示或工具規格,應在相同共享前綴下比較啟用與停用後的快取命中、可用區塊、吞吐與排隊時間。
Kimi K3 開啟 prefix caching 後,如何驗證顯存壓力?
準備兩組具有相同前綴、但尾部內容不同的請求,記錄首次請求與重複請求的預填充時間、GPU 記憶體、快取區塊與 OOM 狀態。服務能啟動不代表快取設定有效;必須看到真實共享前綴帶來可觀察的命中與資源變化,才可評估是否值得保留。
Kimi K3 調低參數仍然 OOM,甚麼時候應該換部署環境?
當最小可用上下文、單一請求、停用非必要多模態輸入後仍無法穩定完成基線測試,或目前 GPU 與驅動不符合官方邊界時,繼續犧牲併發和輸出品質的回報很低。此時應改用符合官方映像檔與驅動要求的隔離環境,先確認模型可運行,再決定是否改造長期叢集。
第四步:先排除真正的記憶體分配失敗,再處理 CUDA 異步崩潰
日誌中的 out of memory 並不一定代表第一個根因。至少要區分以下三種情況:
- 真正的 GPU 記憶體分配失敗:通常可看到分配請求、可用容量與目前配置狀態,並且在相同請求條件下穩定重現。
- 系統或容器終止程序:服務可能被主機記憶體壓力、容器限制或外部工作管理器殺掉,GPU OOM 只是後續訊息。
- CUDA illegal memory access 後的連鎖退出:異步 CUDA 錯誤可能在稍後 API 呼叫才顯示,看起來像普通 OOM,但根因可能是特定核心、版本或硬體組合。
遇到第三種情況,應保存完整堆疊、第一個 CUDA 錯誤出現的位置、容器映像檔、驅動、vLLM 版本、GPU 型號、平行化拓撲與最小請求。上游 issue 或社群復現只能作為待驗證線索;除非相同版本、相同硬體和相同請求形狀都能重現,否則不能把單一環境報告泛化為所有 Kimi K3 部署。
提醒: 如果關閉 prefix caching 或降低併發只是改變崩潰頻率,卻沒有讓第一個錯誤消失,停止繼續調容量參數。此時需要轉入核心、驅動與快取路徑的證據收集,而不是把每次退出都標記成 OOM。
第五步:用恢復成本決定調參、擴容或換環境
當目前環境已能載入模型,但仍無法達到團隊要求,應把決策拆成三條路徑。對技術負責人而言,最重要的不是「能否啟動」,而是基線請求能否在可接受的上下文、併發、延遲與回滾條件下持續運作。
| 路徑 | 適用條件 | 主要代價 | 回滾點 | 退出條件 |
|---|---|---|---|---|
| 保留現有資源並收縮目標 | 單請求與短上下文穩定,只是長請求或高併發超出容量 | 降低 Agent 上下文、併發或吞吐 | 保留原始設定檔,逐項恢復 | 任務品質下降,或最小目標仍重現 OOM |
| 增加相容 GPU 資源 | 環境已符合官方邊界,問題是工作集確實超出目前容量 | 採購、排程、跨卡通訊與維運成本上升 | 新舊環境並行跑相同基線 | 擴容後 OOM 仍與特定版本或核心相關 |
| 切換隔離測試環境 | 目前驅動、映像檔或 GPU 拓撲不符合官方要求,或需要快速確認基線 | 需要重新部署與移轉測試資料 | 保留原叢集,不改生產配置 | 隔離環境仍無法通過最小基線,轉向版本或上游問題 |
在現有環境繼續調參,適合「模型已穩定載入、失敗點可由請求工作集解釋」的團隊;增加資源,適合「相容性已確認、只是服務目標超出容量」的團隊;切換環境,則適合「r580+ 驅動、專用 CUDA 13 映像檔或官方硬體邊界尚未滿足」的團隊。
截至 2026 年 8 月 6 日,官方配方標示最近更新於 2026 年 8 月 5 日;本文資料核實自官方 Kimi K3 recipe、2026 年 7 月 27 日發布文章,以及最新 serve、scheduler 與記憶體管理文件。若後續出現 cu129 相容映像檔、穩定版支援、驅動要求變更或 OOM 修復合併,應在新版本發布後重新做一次最小基線復測。官方記憶體管理文件
若目前方案是自建舊 GPU 叢集,常見缺點是驅動升級受其他服務牽制、GPU 拓撲未必符合 Kimi K3 的跨卡通訊需求,而且每次 OOM 復測都會佔用既有叢集的排程資源;若改用一般雲端 GPU,則可能遇到映像檔、驅動、節點型號與交付時間不一致。對仍未能完成最小基線的團隊,先透過 KuzCloud 的環境控制台 或 部署支援說明 核對相容 GPU 測試環境,再評估租期,通常比在不確定的舊叢集上反覆犧牲上下文與併發更容易得到可追溯的結論;若只需短期驗證,亦可先查看 KuzCloud 的方案資訊。
別讓 OOM 卡住部署,使用 KuzCloud 彈性擴充測試環境
透過 KuzCloud 算力節點,為 Kimi K3 vLLM 測試配置合適的運算資源,減少反覆調參的時間成本。
面對長上下文或高併發壓測,可按實際需求調整部署規模,快速驗證上下文與併發配置。