2026: Zwei RTX 5090 mit vLLM – Tensorparallelismus oder mehrere Replikate?
Kurzurteil: Erst das Modellziel, dann die Parallelstrategie
Der NCCL-Schalter NCCL_P2P_DISABLE=1 deaktiviert die direkte GPU-Peer-to-Peer-Kommunikation; er fügt einem System jedoch keine Übertragungsbandbreite hinzu (NCCL-Dokumentation zu Umgebungsvariablen). Daraus folgt die zentrale Entscheidung für vLLM mit zwei RTX 5090: Passt das Modell samt gewünschter Laufzeitkonfiguration nicht auf eine Karte, prüfen Sie Tensorparallelismus oder eine andere unterstützte Modellparallelstrategie und messen die Kommunikationskosten. Passt es auf eine Karte und sollen mehr Anfragen gleichzeitig bearbeitet werden, ist eine Modellkopie je Karte mit Datenparallelität der naheliegende erste Test. Zwei Grafikkarten allein sind kein Grund, Tensorparallelismus als Standard zu wählen.
Dieser Leitfaden richtet sich an Entwickler lokaler vLLM-Inferenz, technische Verantwortliche in AI-Studios und Beschaffungs- oder Betriebsteams. Er hilft dabei, Modellkapazität, Antwortzeiten und Anfragevolumen getrennt zu bewerten, bevor eine Multi-GPU-Konfiguration festgelegt wird.
Stand: 08.10.2026. Die Angaben zu Parallelstrategien und Kommunikation wurden anhand der vLLM- und NVIDIA-NCCL-Dokumentation geprüft; konkrete Ergebnisse hängen von Version, GPU-Topologie und Arbeitslast ab.
Zuerst die Last einordnen: Was soll die zweite Karte leisten?
Eine zweite GPU kann in einem Inferenzdienst unterschiedliche Aufgaben übernehmen. Sie kann an der Berechnung desselben Requests mitarbeiten, damit ein Modell überhaupt ausgeführt werden kann oder mehr Speicherraum erhält. Oder sie kann eine weitere, eigenständige Modellinstanz ausführen, um zusätzliche Requests parallel zu bearbeiten. Diese Ziele wirken auf den ersten Blick ähnlich, haben aber andere Voraussetzungen und Kosten.
Tensorparallelismus teilt Modellberechnungen beziehungsweise Modellanteile über mehrere GPUs auf. Dafür müssen die beteiligten GPUs bei entsprechenden Rechenschritten Daten austauschen. Bei einer großen oder häufigen Kommunikation kann die Verbindung zwischen den Karten die Geschwindigkeit begrenzen. vLLM beschreibt Tensorparallelismus als Strategie für die Aufteilung eines Modells über GPUs; welche konkrete Konfiguration passt, ist von Modell und verfügbarer Hardware abhängig (vLLM: Parallelisierung und Skalierung).
Datenparallelität setzt dagegen auf eigenständige Modellreplikate. Jede Instanz bedient andere Requests. Damit steigt nicht automatisch die Kapazität eines einzelnen Modellreplikats: Jede Instanz braucht den für das Modell und die Laufzeit erforderlichen GPU-Speicher. Wenn ein vollständiges Exemplar schon auf einer Karte keinen Platz findet, löst ein zweites Replikat das Problem nicht.
Unterscheiden Sie außerdem den Durchsatz des Dienstes von der Antwortzeit eines einzelnen Requests. Mehr gleichzeitig verarbeitete Anfragen können für ein Teamziel wichtiger sein als eine kürzere Antwortzeit für den einzelnen Request. Umgekehrt bringt ein größerer Gesamtdurchsatz einem interaktiven Nutzer wenig, wenn sein eigener Request wegen ungünstiger Kommunikation lange auf die erste Ausgabe wartet.
Wann braucht vLLM bei zwei RTX 5090 Tensorparallelismus?
Tensorparallelismus ist dann zu prüfen, wenn das Zielmodell mit der gewählten Präzision beziehungsweise Quantisierung, dem vorgesehenen Kontext und der gewünschten Laufzeitkonfiguration nicht sinnvoll auf einer einzelnen Karte ausgeführt werden kann. Das kann eine Kapazitätsfrage sein, aber auch durch den Speicherbedarf der Laufzeit und der Requests entstehen. Verwechseln Sie daher „das Modellgewicht passt“ nicht mit „der geplante Dienst läuft stabil“: Laufzeitdaten und temporäre Speicheranforderungen müssen in der konkreten Konfiguration ebenfalls Platz finden.
Bevor eine Karte als zu klein eingestuft wird, sollte der Test dieselbe Modellversion, dieselbe Quantisierung und dieselben relevanten Inferenzparameter verwenden, die später auch im Betrieb gelten. Ein Modell, das mit reduziertem Kontext oder anderer Quantisierung auf eine Karte passt, ist nicht automatisch mit den Anforderungen des vorgesehenen Dienstes kompatibel. Umgekehrt sollte eine mögliche Quantisierung als eigenständige Option geprüft werden, bevor daraus zwingend eine Multi-GPU-Architektur folgt.
Tensorparallelismus hilft nur, wenn das verwendete vLLM-Release die gewünschte Strategie für das Modell unterstützt und die Hardwarekommunikation tragfähig ist. Er ist kein allgemeiner Schalter, der aus zwei GPUs automatisch eine schnellere GPU macht. Bei einem einzelnen Request kann die Aufteilung zusätzliche Synchronisierung und Übertragungen einführen; ob sich das lohnt, muss mit genau diesem Modell und dieser Request-Art gemessen werden.
Eignet sich Tensorparallelismus auch ohne NVLink?
Das Fehlen von NVLink ist für sich allein weder ein Beweis gegen Tensorparallelismus noch ein Nachweis, dass die Konfiguration leistungsfähig sein wird. Entscheidend sind die tatsächlich verfügbare GPU-zu-GPU-Verbindung, die erkannte Topologie, die funktionierende Peer-to-Peer-Kommunikation und die Kommunikationsmenge der gewählten Strategie. vLLM weist auf die Bedeutung der Systemkonfiguration und der GPU-Verbindungen für verteilte Ausführung hin; NVIDIA beschreibt, wie sich GPU- und Kommunikationsprobleme untersuchen lassen (NCCL: GPU-Fehlerdiagnose).
Daher sollte PCIe x8 nicht pauschal mit einem festen Verlust an Geschwindigkeit gleichgesetzt werden. Ein solcher Prozentwert wäre ohne Messung der konkreten Plattform, des Kommunikationsmusters, des Modells und der vLLM-Konfiguration nicht belastbar. Prüfen Sie die Topologie und den P2P-Status, bevor Sie aus der Bezeichnung eines Steckplatzes auf die Leistung schließen. Die NCCL-Diagnosedokumentation beschreibt Verfahren, mit denen sich die erkannte Konfiguration und Kommunikation kontrollieren lassen (NCCL-Diagnoseverfahren).
NCCL-Umgebungsvariablen können für Diagnose oder gezielte Konfigurationsversuche nützlich sein. Sie ersetzen aber weder eine passende Verbindung noch eine ausreichend dimensionierte Hardware. Setzen Sie NCCL_P2P_DISABLE=1 deshalb nicht als vermeintlichen Bandbreiten-Booster ein: Der Schalter schaltet die direkte P2P-Kommunikation ab. Ein Vergleich mit und ohne Schalter ist nur dann aussagekräftig, wenn er als kontrollierter Test mit dokumentierter Umgebung durchgeführt wird (NCCL-Referenz zu Umgebungsvariablen).
Wenn eine Karte genügt: Anfragen mit Replikaten verteilen
Wenn ein Modell mit den benötigten Einstellungen vollständig auf eine GPU passt und das Ziel mehr gleichzeitige Requests ist, prüfen Sie zuerst Datenparallelität. Dabei bearbeiten unabhängige Modellreplikate unterschiedliche Anfragen. Das ist etwas anderes als Tensorparallelismus: Die Modellinstanzen müssen nicht bei jedem Modellschritt gemeinsam dieselben Berechnungen über GPUs hinweg ausführen.
Die Kehrseite ist der Speicherbedarf. Bei einer Ausführung mit einer Modellkopie je GPU muss jedes Replikat die für das Modell und seinen Laufzeitbetrieb benötigten Ressourcen auf seiner jeweiligen GPU haben. Reicht der Speicher für ein Exemplar pro Karte nicht aus, ist diese konkrete Replikatkonfiguration nicht geeignet. Prüfen Sie deshalb nicht nur, ob die Gesamtmenge des GPU-Speichers groß genug wirkt, sondern ob die geplante Instanzverteilung tatsächlich funktioniert.
vLLM dokumentiert Verfahren zur Datenparallelität, darunter eine Bereitstellung mit mehreren Datenparallel-Rängen sowie externe Verfahren zur Verteilung von Requests (vLLM: Bereitstellung mit Datenparallelität). Welche Variante geeignet ist, hängt davon ab, ob die Request-Verteilung innerhalb der vLLM-Bereitstellung oder durch eine vorgelagerte Komponente erfolgen soll. Bei separat gestarteten Instanzen müssen Sie zusätzlich sicherstellen, dass der Verteiler erreichbare, verfügbare Endpunkte verwendet und Fehler oder ungleiche Auslastung nicht unbemerkt auf eine Instanz konzentriert.
Für ein lokales Entwicklungssystem kann ein einfacher Vergleich mit unabhängig gestarteten Instanzen helfen, die grundlegende Kapazität für parallele Requests zu bewerten. Für einen Dienstbetrieb reicht ein erfolgreicher Start dagegen nicht aus: Zu testen sind auch Request-Verteilung, Instanzausfall, Wiederanlauf, Modellladezeit und das Verhalten bei längeren Eingaben. Eine höhere Zahl von Replikaten ist nicht automatisch sinnvoll, wenn dadurch der nötige Speicherpuffer für die Requests fehlt.
Wie erhöht GPU-Multiplikation den Durchsatz bei einem Ein-Karten-Modell?
Ist ein Modell auf einer GPU lauffähig, sollten Sie zunächst eine einzelne Instanz als Vergleichspunkt messen. Danach vergleichen Sie diese Ausgangslage mit der Datenparallelität oder mit mehreren getrennten Instanzen und Request-Verteilung. Das Ziel ist nicht, eine bestimmte Architektur unabhängig vom Arbeitsprofil zu bevorzugen, sondern den Engpass zu erkennen: Werden Requests überwiegend nacheinander bedient, entstehen Wartezeiten vor der Inferenz, oder begrenzen Modellberechnung und Kontextlänge den Dienst?
Eine interne Datenparallel-Konfiguration und mehrere separat gestartete vLLM-Instanzen sind nicht dasselbe Betriebsmodell. Die interne Bereitstellung wird nach der vLLM-Dokumentation konfiguriert; bei separaten Instanzen verantwortet eine weitere Komponente die Zuordnung der Requests. Prüfen Sie bei beiden Wegen, wie Zustände wie Überlastung, nicht erreichbare Instanzen oder ein Modellneustart behandelt werden. Dokumentierte Startoptionen und Grenzen können sich mit der eingesetzten vLLM-Version ändern; verwenden Sie deshalb die zum Release passende Anleitung statt ungeprüft eine alte Befehlszeile zu übernehmen.
MoE-Modelle: Strategien nach Architektur kombinieren
Bei Mixture-of-Experts-Modellen lässt sich die Entscheidung nicht immer auf Tensorparallelismus gegen Datenparallelität reduzieren. Je nach Modellarchitektur und vLLM-Unterstützung können Expertenparallelität, Tensorparallelismus und Datenparallelität unterschiedliche Aufgaben übernehmen oder kombiniert werden. Die passende Zuordnung hängt unter anderem davon ab, wie das Modell seine Experten organisiert, welche Komponenten über Karten verteilt werden und welches Ziel der Dienst verfolgt.
Die vLLM-Dokumentation für Expertenparallelität beschreibt eine eigene Bereitstellungsmöglichkeit und ist die maßgebliche Anlaufstelle für die dort unterstützten Optionen (vLLM: Bereitstellung mit Expertenparallelität). Eine Konfiguration, die bei einem MoE-Modell funktioniert, lässt sich nicht ohne Prüfung auf ein anderes Modell übertragen. Ebenso darf aus der Unterstützung einer Strategie nicht geschlossen werden, dass jede Kombination aus Experten-, Tensor- und Datenparallelität für jedes Modell oder jedes Release verfügbar ist.
Für die Planung sollten Sie zuerst die Modellarchitektur und die dokumentierte Unterstützung für das verwendete vLLM-Release ermitteln. Danach ist festzulegen, ob der Engpass hauptsächlich bei der Unterbringung der Modellkomponenten, der Kommunikation zwischen GPUs oder der Zahl gleichzeitiger Requests liegt. Erst auf dieser Grundlage ist zu entscheiden, ob eine Parallelstrategie allein genügt oder eine Kombination getestet werden muss.
In vier Prüfschritten zu einer belastbaren Konfiguration
Erster Schritt: Zielprofil festhalten. Beschreiben Sie, ob der Dienst vor allem interaktive Einzelanfragen mit niedriger Wartezeit, viele parallele Requests oder ein Modell unterstützen soll, das auf einer Karte nicht lauffähig ist. Trennen Sie dabei die gewünschte Antwortzeit eines einzelnen Requests von der Gesamtrate über einen längeren Test.
Zweiter Schritt: Ein-Karten-Lauffähigkeit nachweisen. Starten Sie das Modell mit der vorgesehenen Quantisierung, dem erforderlichen Kontext und den tatsächlichen Laufzeitoptionen auf einer einzelnen GPU. Halten Sie fest, ob das Modell startet, ob ein repräsentativer Request erfolgreich ist und ob der Speicherbedarf unter der geplanten Last stabil bleibt. Ein bloßer erfolgreicher Modellstart belegt noch nicht, dass der Dienst mit mehreren Requests funktioniert.
Dritter Schritt: Dokumentierte Parallelstrategie auswählen. Schlägt der Ein-Karten-Test wegen unzureichender Kapazität fehl, prüfen Sie Tensorparallelismus oder eine für das Modell dokumentierte Alternative. Läuft das Modell eigenständig und liegt das Ziel bei mehr parallelen Requests, vergleichen Sie Datenparallelität mit getrennten Instanzen. Bei einem MoE-Modell muss zusätzlich geprüft werden, welche Expertenparallel-Optionen in der passenden vLLM-Dokumentation beschrieben sind.
Vierter Schritt: Verbindung und Systemzustand kontrollieren. Erfassen Sie, welche Topologie das System erkennt, und prüfen Sie, ob die vorgesehene GPU-Kommunikation funktioniert. Verwenden Sie NVIDIA NCCL-Diagnoseinformationen für diesen Systemcheck, statt eine vermutete PCIe-Einschränkung als bereits bestätigte Ursache zu behandeln. Notieren Sie Änderungen an Umgebungsvariablen einzeln, damit ein Test mit und ohne Änderung vergleichbar bleibt.
Fünfter Schritt: Unter identischen Bedingungen messen. Fixieren Sie Modell, Quantisierung, vLLM-Version, Kontextlänge und Request-Samples. Vergleichen Sie mindestens die Zeit bis zum ersten Token, die Geschwindigkeit der weiteren Ausgabe, den Gesamtdurchsatz und die GPU-Speicherbelegung. vLLM stellt ein Benchmark-Werkzeug bereit; dessen Anleitung unterstützt die reproduzierbare Erfassung und den Vergleich von Lasten (vLLM: Benchmark-Befehlszeile). Verändern Sie jeweils nur die Parallelstrategie oder eine klar benannte Systemoption. Sonst lässt sich ein Unterschied nicht zuverlässig einer Ursache zuordnen.
Sechster Schritt: Unter realistischer Last entscheiden. Wiederholen Sie den Test mit Requests, die den späteren Einsatz abbilden, und berücksichtigen Sie dabei unterschiedliche Eingabe- und Ausgabelängen. Ein Benchmark mit nur einer kurzen Anfrage beantwortet nicht, wie sich ein Dienst unter gleichzeitiger Nutzung verhält. Legen Sie vorab fest, welche Messgröße das Ziel beschreibt; eine Konfiguration mit höherem Gesamtdurchsatz kann bei der Einzelanfrage eine andere Latenz zeigen.
Die Auswahl lässt sich so auf Arbeitsbedingungen zurückführen:
- Wenn das Modell samt Laufzeitkonfiguration nicht auf eine GPU passt, dann Tensorparallelismus oder eine andere für das Modell dokumentierte Modellparallelstrategie testen; Kommunikationskosten ausdrücklich mitmessen.
- Wenn das Modell auf einer GPU läuft und mehr Anfragen gleichzeitig bedient werden sollen, dann Datenparallelität mit einer Modellkopie je GPU oder eine getrennte Instanzverteilung vergleichen.
- Wenn die Einzelanfrage möglichst schnell antworten soll, dann die Zeit bis zum ersten Token und die Ausgabe unter der tatsächlichen Request-Art gewichten, statt allein den Gesamtdurchsatz zu betrachten.
- Wenn ein MoE-Modell eingesetzt wird, dann die für Architektur und vLLM-Version dokumentierte Expertenparallelität prüfen, bevor eine Konfiguration eines anderen Modells übernommen wird.
- Wenn P2P-Verhalten oder Topologie unklar sind, dann zunächst Diagnose und Messung durchführen; eine Umgebungsvariable nicht als Ersatz für fehlende Hardwarebandbreite behandeln.
Vor der Beschaffung: Vergleich mit den tatsächlichen Anforderungen
Die folgende Übersicht trennt die beiden Hauptansätze nach ihrem Einsatzzweck. Sie ersetzt keine Messung, zeigt aber, welche Frage zuerst beantwortet werden sollte.
| Ansatz | Passt besonders, wenn … | Voraussetzung und Kosten |
|---|---|---|
| Tensorparallelismus | das Zielmodell oder die geplante Laufzeitkonfiguration auf einer GPU nicht ausreichend Platz findet | Das Modell und die vLLM-Version müssen die Strategie unterstützen; Kommunikation und Topologie können die Ausführung beeinflussen. |
| Datenparallelität | ein einzelnes Modellreplikat auf eine GPU passt und mehrere unabhängige Requests bearbeitet werden sollen | Jedes Replikat benötigt den erforderlichen Speicher auf seiner GPU; die Request-Verteilung muss zur gewählten Bereitstellung passen. |
| Getrennte Instanzen mit Request-Verteilung | Betrieb und Skalierung der Instanzen bewusst außerhalb der internen vLLM-Datenparallelität gesteuert werden sollen | Zusätzlich sind Verteilung, Erreichbarkeit, Fehlerbehandlung und gleichmäßige Auslastung zu prüfen. |
| Kombinierte MoE-Strategie | Modellarchitektur und dokumentierte vLLM-Funktionen eine Aufteilung über Experten und gegebenenfalls weitere Dimensionen nahelegen | Unterstützung und Kombination sind modell- und versionsabhängig; eine Konfiguration muss gezielt verifiziert werden. |
Vor einer Plattformentscheidung sollten Sie nicht bei der Zahl der Steckplätze stehen bleiben. Für die Auswahl zählen das Ergebnis des Ein-Karten-Tests, die in der verwendeten vLLM-Version unterstützten Parallelstrategien, die erkannte GPU-Topologie und der tatsächliche Request-Mix. Erst wenn diese Anforderungen bekannt sind, lässt sich beurteilen, ob eine Plattform die benötigte Kommunikation und den geplanten Betrieb unterstützt.
Die folgende Prüfliste eignet sich für eine Beschaffungsfreigabe oder einen technischen Bereitstellungstest:
- [ ] Das Modell wurde mit der vorgesehenen Quantisierung und Laufzeitkonfiguration auf einer GPU geprüft.
- [ ] Das Ziel ist benannt: zusätzliche Modellkapazität, mehr parallele Requests oder eine festgelegte Einzelanfrage-Latenz.
- [ ] Die passende Parallelstrategie ist in der Dokumentation der eingesetzten vLLM-Version beschrieben.
- [ ] Für Datenparallelität wurde bestätigt, dass jede geplante Modellkopie ausreichend GPU-Speicher hat.
- [ ] GPU-Topologie und P2P-Verhalten wurden kontrolliert; eine vermutete Einschränkung wurde nicht als Messwert ausgegeben.
- [ ] Der Leistungsvergleich verwendet identische Modell-, Kontext- und Request-Bedingungen.
- [ ] Die Freigabe berücksichtigt sowohl Einzelanfrage-Messwerte als auch Durchsatz und Speicherbelegung.
- [ ] Bei einem MoE-Modell wurden Expertenparallelität und zulässige Kombinationen anhand der Modellspezifikation und der passenden vLLM-Dokumentation verifiziert.
| Prüffrage | Wenn die Antwort „Ja“ lautet | Wenn die Antwort „Nein“ lautet |
|---|---|---|
| Passt das Modell samt gewünschter Laufzeitkonfiguration auf eine Karte? | Datenparallelität als Option für mehr unabhängige Requests messen. | Tensorparallelismus oder eine dokumentierte alternative Modellparallelstrategie testen. |
| Ist das Hauptziel eine höhere Zahl gleichzeitig bearbeiteter Requests? | Replikate und Request-Verteilung vergleichen. | Die Messung auf Modellkapazität oder Einzelanfrage-Verhalten ausrichten. |
| Ist die GPU-Kommunikation für die gewählte Strategie überprüft? | Mit der Ziel-Request-Last benchmarken. | Zuerst Topologie und P2P-Verhalten diagnostizieren. |
| Handelt es sich um ein MoE-Modell? | Expertenparallelität nach aktueller Modell- und vLLM-Dokumentation einbeziehen. | Keine MoE-spezifische Annahme in die Planung übernehmen. |
Abschluss: Erst die GPU-Strategie klären, dann eine passende Mietoption erwägen
Ein selbst betriebenes Dual-GPU-System bietet direkte Kontrolle über Hardware und CUDA-Umgebung, bindet dafür Kapital und verlangt laufende Aufmerksamkeit für Treiber, thermische Stabilität, Stromversorgung und Fehlerbehebung. Eine externe Umgebung kann den Zugriff auf eigene Hardware verringern, bringt aber Abhängigkeiten von Verfügbarkeit, Netzwerkanbindung, Datenschutzanforderungen und laufenden Mietkosten mit sich. Bei vertraulichen Eingaben müssen Sie außerdem prüfen, welche Daten die gewählte Betriebsform verlassen und ob interne Vorgaben sowie DSGVO-Anforderungen erfüllt werden.
Für CUDA-basierte vLLM-Inferenz ist eine Mac-Miete kein Ersatz für eine passende RTX-Umgebung. Wer jedoch zusätzlich eine macOS-Entwicklungs- oder Testumgebung benötigt, kann prüfen, ob ein Angebot von KuzCloud zu diesem getrennten Zweck passt; die verfügbaren Konditionen sollten Sie vorab auf der KuzCloud-Preisseite kontrollieren. Bei Fragen zu Bereitstellung und Nutzung finden Sie Hinweise im KuzCloud-Hilfebereich. Die Entscheidung für den vLLM-Betrieb sollte dagegen erst nach dem Ein-Karten-Test, der Prüfung der Parallelstrategie und einem reproduzierbaren Vergleich Ihrer realen Requests fallen.
Ergänzen Sie Ihren Workflow mit einem dedizierten Mac von KuzCloud
Wenn Ihr Projekt neben der GPU-Inferenz auch macOS-Entwicklung oder Builds umfasst, steht Ihnen ein exklusiver Mac mini M4 in der Cloud zur Verfügung.
Mit vollem Root-Zugang sowie SSH und VNC arbeiten Sie direkt auf der Maschine und richten Ihre gewohnte Toolchain ein.