2026年 Kimi K3 vLLMのOOM対策:文脈か並列か
最後に勝つのは、すべてのパラメーターを一度に下げる運用ではありません。Kimi K3 vLLMのOOMがモデル読み込み中に発生するなら互換性と基礎リソース、最初の長文リクエストで発生するなら文脈長とプリフィル、並列数を増やした後だけ発生するなら同時実行数とキャッシュを先に見直します。最小負荷でも安定しない場合は、可用性を削り続けず、互換性を確認できる環境へ切り替える判断が適切です。
本記事は、Kimi K3をvLLMで初回導入し、静的なモデル容量不足なのか、長文処理なのか、実行中のキャッシュ圧力なのかをまだ切り分けられていない技術者向けです。長文Agentの同時実行上限を決めたいプラットフォームチームや、調整継続・増強・隔離環境のどれを選ぶか判断する責任者にも適しています。
※最終更新:2026年8月6日。vLLM公式Kimi K3レシピ、公式発表、関連ドキュメントおよび上流Issueを同日に確認しています。公式レシピは更新されるため、導入前に最新版のKimi K3レシピを再確認してください。
最初にOOMの発生段階を固定する
エラーログの最後の1行だけを見てmax-model-lenやmax-num-seqsを変更すると、静的容量不足と実行時のキャッシュ不足を取り違えます。まず、次の4つの時点で発生したかを記録してください。
| OOMの発生時点 | 優先して確認する対象 | 最初の対応 | 並列数を下げる意味 |
|---|---|---|---|
| モデル読み込み前後 | イメージ、CUDA、ドライバー、GPU構成、各rankの読み込み状態 | 互換性と基礎容量を確認 | ほぼありません |
| 最初の短いリクエスト | モデル初期化後の予約領域、実行設定 | 最小入力で再起動して再現確認 | 限定的です |
| 長文・コード・画像入力のプリフィル | 入力トークン数、出力上限、プリフィル時のピーク | 文脈長と入力負荷を縮小 | 単独では根治しません |
| 同時実行数を増やした後 | 実行中シーケンス、バッチトークン、KVキャッシュブロック | 並列数またはキャッシュ予算を一つずつ調整 | 最も有効です |
最低限、起動ログ、nvidia-smiの各GPU使用量、rankごとの読み込み結果、OOM直前の入力長、出力上限、同時実行数を保存します。Kimi K3の公式レシピでは、専用イメージはCUDA 13、NVIDIAホスト側はr580以上が前提とされています。CUDA 12.9系やr575系のホストで読み込みに失敗している場合、リクエスト設定を変えても環境の不一致は解消しません。詳しい境界条件はvLLM公式Kimi K3レシピで確認してください。
第一段階:モデル読み込みで落ちるなら、文脈長を下げても解決しない
Kimi K3が最初のリクエストを受ける前にOOMになる場合、max-model-lenを下げることが有効とは限りません。これは通常、モデル本体、ランタイム、通信バッファー、初期キャッシュ領域を確保する段階の問題であり、まだリクエスト由来のKVキャッシュが主因ではないためです。
公式レシピでは、Kimi K3は専用のvllm/vllm-openai:kimi-k3イメージを使用し、CUDA 13、r580以上のNVIDIAドライバー、少なくとも8基のGB300がNVIDIA環境の境界として示されています。AMD環境には別のROCm用イメージと対応GPU条件が記載されています。ここで重要なのは、コミュニティ上の「必要な総メモリ」の推算値を、自社環境の確定的な下限として扱わないことです。
次の確認を済ませるまでは、サービスパラメーターの微調整を止めます。
- [ ] 使用イメージがKimi K3専用タグと一致している
- [ ] CUDAのビルド系統とホストドライバーの組み合わせを確認した
- [ ] 全GPUで同じドライバーと通信環境を使用している
- [ ] すべてのrankが同じ段階までモデルを読み込んでいる
- [ ] OOMの前に、互換性エラーや通信初期化エラーが出ていない
- [ ] 最小構成でもモデル読み込みが完了するか確認した
max-model-lenやmax-num-seqsは主にリクエスト処理時の容量を左右する設定です。モデルの読み込みそのものが成立していない場合、これらを下げても、イメージ、ドライバー、GPU数、モデル分割方式の不一致は解消しません。各オプションの現在の意味は、vLLMのserve引数リファレンスで、利用中のバージョンに対応する記述を確認してください。
第二段階:長文だけでOOMなら、最小可用コンテキストを探す
短い入力は安定する一方、長いコードリポジトリ、履歴を蓄積したAgent、画像を含む入力でOOMになるなら、最初に縮めるのは同時実行数ではなく入力負荷です。ただし、max-model-lenは実際の業務入力長ではなく、サービスが受け付ける上限です。上限を大きく設定しただけで、すべてのリクエストがその長さのメモリを消費するわけではありませんが、長文を許可する余地はキャッシュ設計に影響します。
次の順で、同じリクエストを段階的に再実行します。
- 実際のAgent入力を、短い固定プロンプト、中程度の履歴、目標長の履歴に分けます。
max-model-lenを業務上必要な範囲に合わせ、過大な上限をいったん避けます。- 出力上限を固定し、入力長だけを変更します。
- 各段階でプリフィル中のGPU使用量とOOM発生時刻を記録します。
- 品質評価に必要な最小文脈長を決め、その値で複数回再現します。
| 観測結果 | 次に変える変数 | 合格条件 | 停止条件 |
|---|---|---|---|
| 短文は成功、長文のプリフィルで失敗 | 文脈長または入力分割 | 目標Agent入力が複数回完了 | 品質要件を満たす最小長でも失敗 |
| 入力長に関係なく起動直後に失敗 | 環境またはGPU資源 | 最小入力を安定処理 | 環境確認前の調整を打ち切る |
| 長文は成功、出力を伸ばすと失敗 | 出力上限 | 必要な回答長を完了 | 出力品質を保てないほど削る必要がある |
| 特定の画像やツール入力だけ失敗 | マルチモーダル入力形式 | 同じ入力形式を再現処理 | CUDA異常が別途出る場合はOOM分類を解除 |
Kimi K3は最大1Mトークンの文脈窓を掲げていますが、これは利用可能なGPU環境で業務リクエストを無条件に処理できるという意味ではありません。公式レシピもテスト条件に応じてmax-model-lenを調整するよう案内しています。(vLLM公式Kimi K3レシピ)
チャンク化されたプリフィルやマルチモーダル入力を使う場合は、利用中のvLLM版で該当オプションがKimi K3に適用されるか、vLLMのメモリ最適化ドキュメントと実際の起動ログで確認します。メモリ予約、バッチ処理、KVキャッシュの挙動を確認する際は、vLLMのメモリ管理ドキュメントも参照し、別モデル向けの設定例をそのままKimi K3へ流用しないでください。
第三段階:並列化後だけOOMなら、同時実行数とキャッシュを分離する
単一リクエストが安定し、同時実行数を増やした時だけOOMになる場合は、max-num-seqs、バッチ内のトークン量、KVキャッシュブロックの余裕を確認します。ここで重要なのは、並列数を下げる実験と文脈長を下げる実験を同時に行わないことです。二つを同時に変更すると、改善した理由が分からず、将来の負荷増加時に再発します。
まずmax-num-seqsだけを下げ、同じ入力分布で再測定します。次に元の並列数へ戻し、文脈長だけを下げます。スループット、待ち時間、GPU使用量、OOMの有無を同じ形式で比較してください。
Kimi K3のprefix cachingは、公式発表のクイックスタートでも明示的な有効化が必要とされています。つまり、起動できたことだけではキャッシュが有効に働いているか判断できません。共有システムプロンプトや同じリポジトリ情報を含むリクエストを複数回送り、プリフィル時間、キャッシュ使用量、GPU余裕量を比較する必要があります。詳細はvLLM公式Kimi K3発表を参照してください。
注意:共有プレフィックスが存在しない業務では、prefix cachingを有効にしても再利用効果は限定的です。逆に、Kimi K3のようなハイブリッドキャッシュでは、キャッシュの保持方式そのものが検証対象になるため、容量不足とカーネル異常を同じ「OOM」として扱わないでください。
確認項目は次のとおりです。
- [ ] 単一リクエストを一定時間処理できる
- [ ] 同じ入力分布で並列数だけを変更した
- [ ] 文脈長だけを変更した比較を別に実施した
- [ ] 共有プレフィックスの有無を分けて測定した
- [ ] キャッシュ命中時と未命中時のプリフィル時間を比較した
- [ ] 並列数を下げた結果、待ち時間が許容範囲に収まるか確認した
prefix cachingは共有プレフィックスの再計算を避ける仕組みであり、出力生成そのものを短縮する機能ではありません。共有されない入力やデコード時間が支配的な処理では、キャッシュを有効にしてもOOM対策や速度改善の決め手にならない場合があります。仕様の確認にはvLLMのprefix caching設計資料を使います。
第四段階:CUDA異常を通常のOOMと混同しない
ログにout of memoryやメモリ割り当て失敗が明確に出ているなら容量問題として扱えます。しかし、illegal memory access、TMA descriptor、カーネル実行失敗、ワーカーの異常終了が先に出ている場合、後続のOOM表示は連鎖的な終了メッセージである可能性があります。
2026年8月時点で、Kimi K3のprefix cachingと並列負荷に関連して非同期のillegal memory accessを報告する上流Issueがあります。ただし、その報告は特定のイメージ、ビルド、GPU構成、負荷条件に基づくものであり、すべてのKimi K3環境に共通するOOM原因とは確認されていません。上流Issueは、一般論ではなく再現条件を照合するための資料として扱ってください。
この場合は、キャッシュを切る、並列数を下げるといった変更で「クラッシュまでの時間」が延びただけかを確認します。発生頻度だけが変わり、メモリ割り当て失敗が消えていないなら、容量調整を続けるより、Kimi K3のログ確認と環境切り分け案内に沿って、イメージダイジェスト、vLLMビルド、ドライバー、入力形式、並列数を固定し、報告可能な状態にします。
第五段階:調整・増強・環境変更を決定する
最後は、次の3経路を比較します。長文を削り続けてもAgentの品質や待ち時間が業務要件を満たさないなら、調整を成功とみなしてはいけません。
| 選択肢 | 適用条件 | 代償 | 明確な退出条件 |
|---|---|---|---|
| 現有資源で縮小運用 | 最小文脈と低並列で安定し、待ち時間も許容できる | 同時利用者数と長文性能を制限 | 品質または待ち時間が要件未達 |
| 互換GPU資源を追加 | 現行環境は互換性があり、文脈と並列を維持する価値が高い | 調達・移行・運用コストが増える | 増強後も最小基線で再現 |
| 隔離テスト環境へ切り替え | 現行環境のドライバーやイメージが公式境界外、または原因分離を急ぐ | 環境移行とデータ同期の手間 | 公式基線でも読み込み不能 |
既存クラスタがr580未満、CUDA 13専用イメージと一致しない、または最小入力でもモデル読み込みに失敗するなら、まず環境変更を選びます。反対に、読み込みは安定し、長文や並列負荷だけでOOMになるなら、文脈長と同時実行数を単変数で調整する余地があります。
実機を長期購入する前に、GPUテスト環境の受け入れ条件を整理し、短期間の隔離環境で公式レシピに沿った最小基線を確認する方法もあります。レンタル期間や引き渡し方法を比較する際は、GPU名だけでなく、CUDA、ドライバー、コンテナ、ログ取得権限、再起動権限まで確認してください。料金条件を比較する場合は、KuzCloudの料金案内と実際の利用時間を照合します。
現行クラスタでの調整は、既存資産を活用できる反面、古いドライバー、共有GPU、再現できないイメージ、他のワークロードとの干渉が障害になります。Kimi K3の最小基線を確立できないまま長期クラスタを改造するより、互換GPUの隔離テスト基盤を先に確保し、実行可能範囲と負荷条件を検証してから長期構成を決める方が、調整のやり直しを抑えやすいです。
一時的な検証環境や短期の算力が必要であれば、KuzCloudの利用条件を確認し、既存環境を変更する前に比較検討する価値があります。現在の構成を使い続ける場合は、文脈長、並列数、prefix cachingを一度に変更せず、最小入力から単変数で検証してください。最小負荷でもOOMが続く場合は、パラメーターをさらに削ることではなく、CUDA 13とr580以上の条件を満たす隔離環境への切り替えを次の判断にします。
Kimi K3の推論環境をKuzCloudで整えませんか
GPU計算ノードを活用して、モデルの読み込みや長文推論に必要な計算資源を確保できます。
文脈長や同時実行数の検証に合わせて、用途に適した環境を柔軟にご利用いただけます。