GPU-Hardware

Braucht die RTX 5090 für vLLM CUDA 13.5? Fehlerbehebung 2026

Die offizielle RTX-5090-Spezifikation nennt 32 GB GDDR7-Speicher und eine Blackwell-GPU (NVIDIA-Spezifikation). Gewinner bei der Versionswahl ist nicht automatisch CUDA 13.5: Installieren Sie einen von der verwendeten vLLM-Version dokumentierten Build und gleichen Sie ihn mit Treiber und PyTorch-CUDA-Basis ab. Zum Prüfstand 30.09.2026 listet das CUDA-Archiv CUDA 13.4.1; daraus ergibt sich kein Nachweis, dass CUDA 13.5 Voraussetzung für vLLM auf der RTX 5090 ist.

Dieser Beitrag ist für Entwickler gedacht, die vLLM auf einer RTX 5090 installieren oder aktualisieren und die passende CUDA-Basis bestimmen müssen.
Er hilft AI-Ingenieuren, FP4-Ladefehler, auffällige Ausgaben und Speichergrenzen voneinander zu trennen.
Auch Teams, die Konflikte zwischen Container, PyTorch und Treiber untersuchen, finden hier eine nachvollziehbare Prüfreihenfolge.

Zuletzt aktualisiert am 30.09.2026; geprüft anhand des NVIDIA-CUDA-Toolkits-Archivs, der vLLM-Installationsdokumentation und der vLLM-Veröffentlichungen.

Versionswahl statt CUDA-Vermutung

Die Bezeichnung „CUDA-Version“ kann drei unterschiedliche Dinge meinen: das CUDA-Toolkit auf dem Host, die CUDA-Basis eines PyTorch-Wheels oder Containers und die Version, gegen die ein vLLM-Build erstellt wurde. Diese Angaben müssen nicht identisch angezeigt werden. Ein installiertes Toolkit auf dem Host beweist beispielsweise nicht, dass das verwendete PyTorch-Paket oder vLLM denselben Laufzeitpfad nutzt.

Zum Stichtag führt das offizielle CUDA-Toolkit-Archiv CUDA 13.4.1. Die geprüften vLLM-Unterlagen nennen in ihren Installations- und Build-Optionen CUDA 12.8, 12.9 und 13.0; sie bestätigen damit nicht CUDA 13.5 als notwendige Version für die RTX 5090. Die passenden Optionen hängen vom vLLM-Release und dem gewählten Installationsweg ab. Vor einer Änderung ist deshalb die Dokumentation genau des Builds zu prüfen, der eingesetzt werden soll.

Option Was damit gemeint ist Geeignet, wenn … Was daraus nicht folgt
Dokumentierter vLLM-Build oder Container Ein veröffentlichtes Paket mit festgelegter Build-Basis; konkrete Optionen stehen in den vLLM-Releases und der Installationsdokumentation. der Rechner ohne lokale Anpassungen starten soll und ein passender Build für die CUDA-Basis verfügbar ist. dass beliebige PyTorch-Wheels oder lokale Erweiterungen dazu passen.
Eigener Build vLLM wird in der konkreten Umgebung selbst gebaut. spezielle Anpassungen oder eine dokumentierte Build-Anforderung einen eigenen Build nötig machen. dass ein neueres Toolkit automatisch die Installation repariert.
CUDA 13.5 als vermeintliche Pflicht Eine Versionsannahme ohne belegte Anforderung des ausgewählten vLLM-Releases. nicht als Auswahlgrund. dass vLLM mit einer anderen CUDA-Basis nicht laufen kann.

Die NVIDIA-Kompatibilitätsinformationen erklären, weshalb Treiber- und Toolkit-Angaben nicht pauschal als dieselbe Versionsnummer behandelt werden dürfen. Für die Fehlerdiagnose zählen daher die tatsächlichen Komponenten des laufenden Prozesses.

Vor dem ersten Umbau sollte ein unveränderter Diagnoseblock gespeichert werden:

nvidia-smi
python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())"
python -m pip show vllm

Bei Containerbetrieb zusätzlich Image-Name und Tag, Startbefehl sowie die Ausgabe innerhalb des Containers sichern. Die Host-Ausgabe allein beschreibt nicht zwingend die Softwarebasis des Containers. Notieren Sie außerdem GPU-Erkennung und Treibermeldung aus nvidia-smi, den Installationsweg von PyTorch und vLLM sowie die vollständige Fehlermeldung. So lässt sich später feststellen, ob eine Änderung wirklich geholfen hat oder nur eine andere Komponente verändert wurde.

Kompatibilität vor dem Neuaufbau abgleichen

Ein Installationsfehler ist zunächst kein Beleg für eine zu alte CUDA-Version. Er kann beim Paketbezug, beim Auflösen von Abhängigkeiten, beim Import einer nativen Erweiterung oder erst beim Start eines Modells auftreten. Diese Phasen liegen an unterschiedlichen Stellen der Softwarekette und sollten nicht mit demselben Reparaturversuch behandelt werden.

Fehlerbild Erste Gegenprobe Wahrscheinliche Prüfebene Nächster Schritt
Installation bricht vor dem Import ab Paketquelle, Netzwerkzugriff und Installationsprotokoll prüfen Paketverfügbarkeit oder Abhängigkeitsauflösung Dokumentierten Installationsweg des konkreten vLLM-Releases verwenden
PyTorch erkennt die GPU nicht nvidia-smi mit der PyTorch-Abfrage vergleichen Treiber, Gerätezugriff oder PyTorch-Wheel Erst GPU-Erkennung und PyTorch-Umgebung stabilisieren
vLLM-Erweiterung kann nicht importiert werden PyTorch-CUDA-Basis und vLLM-Build beziehungsweise Container-Tag abgleichen Build- und Laufzeitkombination Passenden veröffentlichten Build wählen oder reproduzierbar neu bauen
Fehler entsteht erst beim Modellstart Modellkonfiguration, Quantisierung und Startoptionen prüfen Modellformat, Operator oder Speicher Nicht ohne Befund das CUDA-Toolkit austauschen

Die vLLM-Installationsdokumentation ist maßgeblich für den jeweils beschriebenen Installationspfad. Eine dort aufgeführte Wheel- oder Container-Variante ist keine universelle Anweisung für alle Releases; ändern sich Release und Installationsquelle, muss auch die Kompatibilitätsprüfung neu erfolgen. Insbesondere sollten Entwickler nicht gleichzeitig das PyTorch-Wheel, den vLLM-Build und den Treiber wechseln: Bei mehreren parallelen Änderungen ist eine erfolgreiche oder fehlgeschlagene Gegenprobe kaum noch aussagekräftig.

Hinweis: Ein lokal installiertes Toolkit ist nicht automatisch die CUDA-Basis des importierten PyTorch-Pakets. Maßgeblich sind die tatsächlich verwendete Python-Umgebung und der vLLM-Prozess, nicht nur die Ausgabe eines separat geöffneten Terminals.

Wenn PyTorch die GPU nicht meldet, wird zunächst die Geräte- und Treiberebene untersucht. Wenn PyTorch funktioniert, aber der Import einer vLLM-Erweiterung scheitert, liegt der Schwerpunkt auf der Paket- und Build-Kombination. Beginnt vLLM hingegen mit dem Modellladen und endet erst an einem bestimmten Operator, ist ein Austausch des gesamten Software-Stacks verfrüht: Dann sind Modellformat und Backend-Unterstützung naheliegendere Prüfpunkte.

FP4-Ladefehler vom Speicherfehler trennen

Die Angabe „4 Bit“ beschreibt nicht allein, wie ein Modell ausgeführt wird. NVFP4 ist ein 4-Bit-Gleitkommaformat; INT4 verwendet eine ganzzahlige Darstellung. Ein Checkpoint kann darüber hinaus eigene Skalierungsdaten und Anforderungen an Quantisierungswerkzeug und Ausführungsbackend mitbringen. Die vLLM-Dokumentation zur Auswahl eines NVFP4-Schemas und die ModelOpt-Unterlagen zu unterstützten Checkpoints helfen bei der Einordnung, ersetzen aber nicht die Prüfung der konkreten Modellkonfiguration.

Für einen FP4-Fehler sollten Modellkarte und Konfigurationsdateien in dieser Reihenfolge geprüft werden:

  1. Format feststellen: Quantisierungsschema, Gewichtsformat und vorhandene Skalierungsinformationen aus Modellkarte und Konfiguration auslesen. Eine bloße Bezeichnung wie „4-bit“ reicht nicht.
  2. Werkzeugkette identifizieren: Prüfen, mit welchem Verfahren der Checkpoint quantisiert wurde und ob die verwendete vLLM-Version dieses Schema und den konkreten Checkpoint unterstützt.
  3. Fehlerphase bestimmen: Scheitert das Einlesen der Gewichte, meldet ein Kernel einen nicht unterstützten Operator oder lädt das Modell, liefert aber unerwartete Ausgaben?
  4. Minimalen Start testen: Zunächst ohne zusätzliche Änderungen an Scheduling-Parametern oder parallelen Erweiterungen starten; das vollständige Log sichern.
  5. Erst danach Speicher messen: Eine erfolgreiche Gewichtsinitialisierung belegt nicht, dass der gewünschte Kontext oder gleichzeitige Anfragen stabil laufen.

Diese Trennung verhindert zwei häufige Fehlschlüsse: Ein Formatproblem wird nicht durch bloßes Bereitstellen zusätzlichen Speichers gelöst, und ein erfolgreich geladenes FP4-Modell beweist weder eine bestimmte Ausgabequalität noch die Stabilität unter der vorgesehenen Last. Dafür wären passende Modell- und Laufzeitmessungen erforderlich. Hier liegen keine eigenen Testdaten vor; daher werden keine Aussagen über Qualität, Tokens pro Sekunde oder tatsächlichen Speicherverbrauch als Messwerte ausgegeben.

Chunked Prefill kontrolliert gegenprüfen

Chunked Prefill beeinflusst, wie lange Eingabeaufforderungen verarbeitet und wie Anfragen in der Laufzeit geplant werden. Es ersetzt weder die Speicherplanung für Gewichte noch die für den KV-Cache. Bei einem Fehler nach Aktivierung dieser Funktion ist daher zuerst zu klären, ob die lange Eingabe oder die allgemeine Modelllast das Problem auslöst.

Für eine aussagekräftige Gegenprobe bleibt das Modell gleich. Starten Sie einen kurzen Prompt, anschließend den problematischen längeren Prompt und vergleichen Sie das Verhalten mit der Chunked-Prefill-Einstellung des eingesetzten vLLM-Releases. Falls die Version eine Deaktivierung oder Änderung der entsprechenden Option dokumentiert, führen Sie den Vergleich nach deren Vorgaben aus; konkrete Parameternamen können zwischen Versionen abweichen und sollten nicht ungeprüft aus einem fremden Beispiel übernommen werden.

Erfassen Sie bei beiden Läufen die Prompt-Länge, gleichzeitige Anfragen, maximale Batch-Token-Einstellung, Startparameter und die beobachtete Speicherauslastung. Bleibt der Fehler nur bei langen Prompts bestehen, ist die Prefill- und Scheduling-Strecke weiter zu untersuchen. Tritt der Speichermangel auch beim kurzen Einzeltest auf, ist Chunked Prefill wahrscheinlich nicht die alleinige Ursache. Verändert sich die Ausgabe, muss zusätzlich geprüft werden, ob derselbe Modellpfad und dieselben Generierungseinstellungen tatsächlich verwendet wurden.

Die vLLM-Dokumentation zu Laufzeitparametern sollte für die Optionen der konkret eingesetzten Version herangezogen werden. Eine Einstellung, die in einem Community-Beitrag funktioniert hat, ist ohne Versionsangabe kein verlässlicher Standard.

Erfahrungshinweis: Ändern Sie bei einer Gegenprobe nur eine Variable. Werden Chunked Prefill, Batch-Token-Grenze und Modellformat gleichzeitig verändert, bleibt bei einem erfolgreichen Start offen, welche Maßnahme den Ausschlag gab.

FAQ zur Fehlerdiagnose

Welche CUDA-Basis ist für vLLM auf der RTX 5090 sinnvoll?

Orientieren Sie sich am dokumentierten Build des gewählten Releases, nicht allein an der GPU. Das CUDA-Archiv führt zum Prüfstand 30.09.2026 CUDA 13.4.1; die geprüften vLLM-Unterlagen zeigen CUDA 12.8, 12.9 und 13.0 als Build-Optionen. Daraus lässt sich CUDA 13.5 nicht als Pflicht ableiten. Halten Sie Treiber, PyTorch und vLLM konsistent.

Wie lässt sich ein PyTorch- von einem CUDA-Konflikt unterscheiden?

Prüfen Sie zunächst, ob der Treiber das Gerät erkennt und PyTorch selbst die GPU verfügbar macht. Ist das nicht der Fall, liegt die Untersuchung vor dem vLLM-Import. Lädt PyTorch korrekt, aber eine vLLM-Erweiterung nicht, vergleichen Sie den PyTorch-CUDA-Unterbau mit dem vLLM-Paket oder Container-Tag. Diese Eingrenzung ist verlässlicher, als mehrere Komponenten gleichzeitig neu zu installieren.

Was tun, wenn ein FP4-Modell nicht geladen wird?

Kontrollieren Sie das genaue Quantisierungsschema in Modellkarte und Konfiguration sowie die dazugehörigen Skalierungsinformationen. NVFP4 und INT4 sind nicht austauschbare Bezeichnungen. Vergleichen Sie anschließend das Schema und den Checkpoint mit den unterstützten Formaten der verwendeten vLLM-Version. Ein Ladefehler ist von einem nicht unterstützten Kernel und von auffälligen Ergebnissen nach erfolgreichem Start getrennt zu protokollieren.

Wie prüfe ich Chunked Prefill bei Speicherfehlern?

Führen Sie einen kontrollierten Vergleich mit gleichbleibendem Modell und kurzen beziehungsweise langen Prompts durch. Halten Sie gleichzeitige Anfragen und Batch-Token-Einstellung fest und verändern Sie nur die dokumentierte Chunked-Prefill-Option. Ein Fehler ausschließlich bei langen Prompts lenkt die Untersuchung auf die Prefill-Planung; ein Fehler schon beim kurzen Test verlangt zusätzlich eine Speicheranalyse.

Speichergrenzen realistisch bewerten

Die RTX 5090 besitzt die zuvor genannte Speicherkapazität von 32 GB GDDR7. Diese Kapazität allein erlaubt keine Zusage, dass ein Modell mit einer bestimmten nominellen Parameterzahl zuverlässig läuft. Für den tatsächlichen Bedarf zählen neben den Gewichten auch Quantisierungsskalen, Laufzeit-Arbeitsspeicher, temporäre Puffer und KV-Cache. Der verfügbare Anteil für den KV-Cache hängt außerdem von Modell, Kontext, Batch-Verhalten und Einstellungen ab.

Eine belastbare Planung trennt deshalb drei Ebenen:

  • Theoretische Abschätzung: Gewichtsdaten anhand des tatsächlich verwendeten Checkpoints und Quantisierungsschemas einordnen. Dabei alle zusätzlichen quantisierungsspezifischen Daten berücksichtigen, statt die nominelle Bitbreite direkt mit der Parameterzahl gleichzusetzen.
  • Laufzeitbedarf: Arbeitsbereiche und weitere GPU-Belegung während Initialisierung und Inferenz messen. Der freie Speicher vor dem Start ist nicht zwingend der freie Speicher nach dem Laden.
  • Betriebstest: Mit dem vorgesehenen Prompt, Kontext und Anfrageverhalten testen. Ein einzelner erfolgreicher Start bestätigt noch nicht die Stabilität unter dem Zielbetrieb.

Bei Mixture-of-Experts-Modellen ist zudem zwischen aktiven und insgesamt gespeicherten Parametern zu unterscheiden. Meta nennt für Llama 4 Scout 109 Milliarden Gesamtparameter und 17 Milliarden aktive Parameter; für Maverick werden 400 Milliarden Gesamtparameter und ebenfalls 17 Milliarden aktive Parameter angegeben (Meta zur Llama-4-Architektur). Die Zahl der aktiven Parameter darf nicht als vollständiger Speicherbedarf der Gewichte interpretiert werden: Für die Verfügbarkeit der Expertengewichte zählt die Modellstruktur und nicht allein, wie viele Parameter bei einem einzelnen Token aktiv sind. Scout ist außerdem nicht einfach ein „120B-Modell“.

Für die RTX 5090 lokale Inferenz folgt daraus eine klare Beschaffungs- und Betriebsentscheidung: Wenn das Modell samt Laufzeitpuffern und geplantem KV-Cache nicht mit Reserve in den verfügbaren Speicher passt, ist „es startet einmal“ kein Abnahmekriterium. Dann muss entweder Kontext beziehungsweise Anfrageverhalten angepasst, ein passenderes Modell gewählt oder eine andere Hardware- beziehungsweise Aufteilungsstrategie geprüft werden. Ohne reproduzierbare Messung unter dokumentierten Bedingungen sind konkrete Auslastungs- oder Durchsatzversprechen nicht belastbar.

Reproduzierbare Fehlerberichte erstellen

Ein brauchbarer Fehlerbericht soll nicht nur die letzte Fehlermeldung enthalten. Er muss erkennen lassen, welcher Softwarepfad verwendet wurde und an welchem Punkt er scheitert. Für die interne Übergabe oder eine Community-Anfrage sollten mindestens folgende Informationen gesammelt werden:

  • GPU-Erkennung und Treiberausgabe, ohne aus einer Toolkit-Zeile die gesamte Laufzeitbasis abzuleiten.
  • PyTorch-Version, von PyTorch gemeldete CUDA-Basis und Ergebnis der GPU-Verfügbarkeitsprüfung.
  • vLLM-Version, Installationsquelle und gegebenenfalls exakter Container-Tag.
  • Modellkennung, Konfiguration, Quantisierungsschema und relevante Modellkartenausschnitte.
  • Vollständige Startparameter sowie die vollständige Fehlermeldung vom ersten Fehler bis zum Prozessende.
  • Zeitpunkt des Fehlers: Installation, Import, Gewichtsinitialisierung, kurzer Generierungstest oder Ziel-Last.
  • Gemeldeter Speicherzustand vor und während des Fehlers sowie Prompt-Länge und gleichzeitige Anfragen.

Danach wird schrittweise geprüft: zuerst Umgebung dokumentieren, dann den Installations- oder Importpfad stabilisieren, anschließend das Modell laden, mit einer kurzen Anfrage testen und zuletzt den vorgesehenen Kontext beziehungsweise das Anfrageverhalten prüfen. Zwischen den Schritten sollte jeweils nur ein relevanter Parameter geändert werden. Ein Bericht, der diese Stufen nicht trennt, vermischt Ursache und Folge und erschwert sowohl die interne Diagnose als auch den Vergleich mit externen Fehlerberichten.

Community-Issues können Hinweise auf ein ähnliches Fehlerbild geben, sind aber Einzelfälle, solange Versionen und Reproduktionsbedingungen nicht übereinstimmen. Ein nicht reproduzierbarer Bericht beweist weder einen allgemeinen CUDA-Konflikt noch eine offizielle Einschränkung. Bei unklarer Paketkombination kann die KuzCloud-Hilfe als Anlaufstelle für allgemeine Fragen dienen; für den Umgang mit vertraulichem Quellcode sollte außerdem die Datenschutzerklärung vor der Wahl eines Entwicklungsablaufs geprüft werden.

Entwicklungsumgebung und GPU-Inferenz trennen

Wer die gesamte Arbeit auf einem einzelnen lokalen GPU-Rechner bündelt, bindet Codebearbeitung, Orchestrierung und Inferenz an denselben Host. Das macht die Umgebung von lokaler Treiberpflege abhängig, lässt Entwicklungsaufgaben mit laufenden GPU-Tests um Ressourcen konkurrieren und erhöht das Risiko, dass Änderungen am Stack einen funktionierenden Inferenzpfad stören. Diese Nachteile sind bei kurzfristiger Fehlersuche relevant, weil ein Umbau an CUDA oder PyTorch dann zugleich den Arbeitsplatz beeinträchtigen kann.

Eine geteilte Arbeitsweise kann diese Kopplung reduzieren: Quellcodebearbeitung, Repository-Verwaltung und nicht auf CUDA angewiesene Entwicklungsaufgaben lassen sich in einer separaten Mac-Umgebung erledigen, während die CUDA-Inferenz auf der RTX 5090 bleibt. Ein Mac übernimmt dabei keine CUDA-Inferenz für diese GPU; er ersetzt weder den lokalen NVIDIA-Treiber noch die passende vLLM-Laufzeit. Für Teams, die eine getrennte Entwicklungsumgebung benötigen, kann das Mieten eines Mac über KuzCloud eine Option sein. Details zum Angebot sind über die deutsche KuzCloud-Seite erreichbar.

Ist dagegen kontinuierliche CUDA-Inferenz mit physischem GPU-Zugriff erforderlich, bleibt eine geeignete lokale GPU-Workstation oder eine passend ausgewählte GPU-Umgebung die sachgerechte Wahl. Für vorübergehende Entwicklungs- und Koordinationsaufgaben kann die Trennung den Versionsumbau am Inferenzsystem vermeiden; sie löst aber keinen FP4-, Treiber- oder Speicherkonflikt auf der RTX 5090.

Ergänzen Sie Ihren Workflow mit dedizierter Rechenleistung von KuzCloud

Für Entwicklungs-, Build- und CI-Aufgaben erhalten Sie eine physisch dedizierte Maschine statt geteilter Rechenressourcen.

Mit vollständigem Root-Zugang und SSH- oder VNC-Verbindung richten Sie Ihre Arbeitsumgebung flexibel ein.