RTX 5090でvLLMを動かすのにCUDA 13.5は必要?2026年の環境トラブル対策
2026年9月30日時点で、NVIDIA公式CUDA Toolkit Archiveに掲載されている最新のCUDA Toolkitは13.4.1です。したがって、RTX 5090でvLLMを動かすためにCUDA 13.5が必須とは判断せず、利用するvLLMの版に対応するビルド、ドライバー、PyTorchのCUDAバックエンドを先に照合してください。
この切り分け方が適するのは、RTX 5090でvLLMを導入・更新している開発者、FP4モデルの読み込みや単カード推論を試すAIエンジニア、コンテナとPyTorchの環境差を調査するチームです。
最終確認日:2026年9月30日。確認先はNVIDIA CUDA Toolkit Archive、vLLMのインストール資料とリリース情報です。
RTX 5090とvLLMのCUDA版は公式の組み合わせから選ぶ
「CUDAの版が新しければ動く」とは限りません。NVIDIAのCUDA互換性資料では、ドライバーとCUDAの互換性に条件が示されており、実際の導入ではvLLMの配布物やPyTorchのバックエンドも一致させる必要があります。ドライバーと実行環境の条件を確認し、手元の構成が対象ビルドを支えられるか判断してください。
| 確認対象 | 資料から確認できること | 選び方 |
|---|---|---|
| CUDA Toolkit | 指定日時点で、公式アーカイブの最新掲載版は13.4.1です。 | 「13.5が必要」という前提で導入せず、vLLM側の指定と照合します。 |
| vLLMのCUDAビルド | 公式インストール資料やリリース情報にはCUDA 12.8、12.9、13.0の構築選択肢が掲載されています。vLLMのリリース情報 | これらは選択肢の掲載情報であり、全バージョン・全環境での互換性を保証するものではありません。使用する版の公式CUDAインストール手順を優先します。 |
| ドライバーと実行環境 | Toolkitの版だけでは、ドライバーやコンテナ内の依存関係までは判断できません。 | ホスト側のドライバー、コンテナまたはホストOS、PyTorchのCUDAバックエンドを一組として記録します。NVIDIAのCUDA互換性ガイドも確認します。 |
ここで避けたいのは、ホストに新しいToolkitを追加すれば、既存のvLLMやPyTorchも自動的に対応するという思い込みです。実行に使われるライブラリや拡張の組み合わせは導入方法によって異なるため、vLLMのGPUインストール手順にある対象バージョンの案内を基準にしてください。
エラーの段階から環境不一致を切り分ける
インストールが途中で止まる、vLLMの拡張モジュールを読み込めない、サーバー起動時にCUDAエラーが出る――これらは似て見えても原因候補が異なります。まず、成功した最後の処理とエラーが発生した処理を分け、次の情報を同じ記録に残します。
| 症状 | 先に確認する項目 | 次の切り分け |
|---|---|---|
| インストールが完了しない | 使用した配布方法、vLLMの版、Python環境 | 対象バージョンの公式手順と選択したwheelまたはコンテナの条件を照合します。 |
| import時に拡張が読み込めない | PyTorchのCUDAバックエンド、vLLMビルド、インストール元 | 依存関係の混在を疑い、公式案内に沿った隔離環境で再現するか確認します。 |
| サーバー起動時にCUDAエラーが出る | ドライバー情報、コンテナかホストか、GPU認識状態 | ドライバー互換性と、コンテナ内で参照されるライブラリを順に調べます。 |
再現用の基準情報は、nvidia-smiの出力、コンテナイメージまたはホストOS、PyTorchが認識するCUDAバックエンド、vLLMの版、完全なエラーログです。環境を直す際は、ドライバー、PyTorch、vLLMを一括で更新せず、ひとつずつ変更してどの差分で症状が変わったか記録します。
導入時に「同じCUDA版にそろえたのに直らない」場合は、版番号だけでなく、どのwheelやコンテナを選んだかも確認してください。CUDAのToolkitがホストに存在することと、実際に読み込まれるPyTorchやvLLMの構成が一致していることは、同じ意味ではありません。
FP4の読み込みエラーは形式と後端を別々に調べる
「FP4対応モデル」と表示されていても、量子化方式や必要な演算が異なれば、そのまま読み込めるとは限りません。モデル設定ファイルと配布元の説明で形式を特定し、vLLMの対象バージョンがその形式とチェックポイントを扱えるか、NVFP4の選択資料およびModelOptチェックポイントのサポート資料で照合します。
特に、4-bit浮動小数点形式のNVFP4と、4-bit整数形式のINT4は同一ではありません。ビット幅の表記だけでは、演算の対応、スケール情報を含む重みの形式、必要なランタイムを判定できないため、量子化ツールチェーンまで確認します。
エラーは、①チェックポイントの読み込み時点で失敗する、②読み込み後に未対応演算が出る、③生成は始まるが出力が想定と異なる、に分けて記録してください。三つ目の症状を、すぐに「量子化精度の問題」と決めつけず、モデル設定、推論後端、起動引数を別々に検証します。
Chunked Prefillとメモリ不足を別の問題として検証する
Chunked Prefillを変更して症状が出たら、まず同じ入力と起動条件で無効化または設定変更の比較を行います。長いプロンプトを使ったときだけ失敗するのか、同時リクエスト数を変えると再現するのか、最大バッチトークンの設定を変えると挙動が変わるのかを分ければ、スケジューリング経路の問題か、メモリ予算の問題かを判断しやすくなります。
この機能はプロンプト処理とリクエストのスケジューリングに関わりますが、モデル重みやKV cacheの容量を増やすものではありません。設定名や利用可能な引数はvLLMの版によって確認先が異なるため、導入している版の公式資料と起動引数の説明を確認し、他の版の例をそのまま適用しないでください。
症状別の確認順序は次のとおりです。
- 読み込み直後にメモリ不足になる場合は、重み、量子化スケール、ランタイムの作業領域を分けて見積もります。
- 生成開始後に不足する場合は、KV cache、コンテキスト長、同時リクエスト数を確認します。
- Chunked Prefillの切り替えでだけ挙動が変わる場合は、同じプロンプトと同じリクエスト条件で再現性を比較します。
- 出力が異常な場合は、メモリ不足とは分け、量子化形式、推論後端、ログ上の演算エラーを確認します。
単カードで動くかは総パラメーター数と実使用量を分けて判断する
モデルの公称パラメーター数や量子化ビット幅だけでは、安定推論できるか決まりません。重みの実容量に加えて、スケール情報、実行時の作業領域、KV cacheを考慮する必要があります。見積もり値と実測値を混ぜず、ロード時とリクエスト処理時のメモリ状態をそれぞれ記録してください。
MoEモデルでは、活性化されるパラメーター数と、保持が必要なモデル全体の重み規模は別です。たとえばMetaの公式説明では、Llama 4 Scoutは総パラメーター数109B・アクティブ17B、Maverickは総パラメーター数400B・アクティブ17Bとされています。MetaのLlama 4解説にあるように、アクティブ数だけを見て重み全体が同じ規模で常駐するかのように判断するのは適切ではありません。「120B」や「FP4」という呼び方だけで、RTX 5090の単カード上で安定稼働すると結論づけないでください。
再現できる確認記録を作る
原因を絞る記録には、最低限、次の項目をそろえます。コミュニティで見かけた特定のエラーは調査の手掛かりにはなりますが、環境と手順を再現できない限り、一般的な既知不具合として扱わないことが重要です。
- 環境:ドライバー、ホストOSまたはコンテナ、PyTorchのCUDAバックエンド、vLLMの版、GPU情報。
- モデル:モデル設定、量子化形式、量子化に使われたツールチェーン、配布元の説明。
- 起動条件:全起動引数、プロンプト長、同時リクエスト数、最大バッチトークンの設定。
- エラーとメモリ:省略していないログ、失敗した処理段階、起動前・読み込み後・生成中のメモリ状態。
- 変更履歴:変更した項目と、その前後で成功した処理・失敗した処理。
確認は、インストール完了、モデル読み込み、短いリクエスト、実運用で想定するコンテキスト条件の順に進めます。各段階で失敗したら、次の段階へ進む前に同じ条件で再現できるか確認してください。
症状別によくある確認事項
RTX 5090向けのvLLM環境では、どのCUDA版を選べばよいですか?
CUDA 13.5を先に選ぶのではなく、使うvLLMの版が示すインストール手順とビルド条件を基準にします。公式リリース情報にCUDA 12.8、12.9、13.0の選択肢が掲載されていても、それだけで特定のRTX 5090環境との互換性が保証されるわけではありません。ドライバーとPyTorchのCUDAバックエンドも合わせて確認してください。
コンパイルやimportの失敗は、PyTorchとCUDAのどちらから調べますか?
まず完全なエラーログから失敗した処理を特定します。インストールの中断なら配布物と依存関係、拡張モジュールのimport失敗ならPyTorchのバックエンドとvLLMビルド、起動時エラーならドライバーやコンテナ内のライブラリも候補です。版情報を記録したうえで一項目ずつ変更すれば、原因を切り分けやすくなります。
FP4モデルが動かないときは、量子化形式と推論後端をどう確認しますか?
モデル設定と配布元の説明から、NVFP4などの具体的な形式と量子化ツールチェーンを特定します。次に、その形式とチェックポイントが利用中のvLLMでサポートされているか、公式の量子化資料と照合してください。読み込み失敗、未対応演算、生成後の出力異常は同じ原因とは限らないため、症状を混ぜずに記録します。
Chunked Prefillの後にメモリ不足や出力異常が起きたら、何を比較しますか?
同じモデルと入力で機能の有効・無効または設定変更を比較し、プロンプト長、同時リクエスト数、最大バッチトークンも記録します。プロンプト処理の変化と、重み・KV cacheの容量不足を切り分けることが大切です。起動引数は利用中のvLLM版の資料で確認し、別版の設定例をそのまま流用しないでください。
ローカルGPU推論と開発環境を分けて運用する
ローカルGPU中心の運用では、機材の調達・保守に加え、ドライバー更新による環境差や、コンテナとホストの構成管理が負担になります。一方、クラウドMacはCUDA推論の代替にはならず、GPU推論そのものを移す用途には適しません。コード編集や推論以外の開発作業と、RTX 5090でのCUDA実行を分けたい場合に限り、KuzCloudのサービス案内を確認し、実際の提供条件が要件に合うか判断してください。サポート範囲を先に確認する際は、KuzCloudのヘルプも参照できます。
CUDA 13.5への更新だけで直ると決めつけず、まず実行環境の組み合わせと故障段階を記録するのが近道です。クラウドMacを使う場合も、CUDA推論はローカルGPUで行う前提を保ち、開発作業を分離する利点が実際の運用負担を上回るかで選んでください。
検証環境とは別に、開発用の専用Macをお探しなら
KuzCloudでは、Apple M4搭載の物理専用Macノードを、SSHやVNCから遠隔でご利用いただけます。
フルroot権限があり、開発ツールや自動化環境をご自身の用途に合わせて構築できます。