Développement IA

2026 : deux RTX 5090 avec vLLM : parallélisme tensoriel ou réplicas multiples ?

Le choix gagnant dépend d’abord de la capacité nécessaire : retenez le parallélisme tensoriel si le modèle ou sa configuration ne tient pas sur une seule RTX 5090 ; privilégiez des réplicas si un modèle complet tient sur chaque carte et que l’objectif est de traiter davantage de requêtes simultanées. Deux GPU ne rendent pas le parallélisme tensoriel automatiquement plus rapide : vérifiez la prise en charge par la version de vLLM, la communication entre cartes et la charge réelle avant de fixer l’architecture.

Cet article s’adresse aux développeurs d’inférence locale qui hésitent à répartir un modèle, aux responsables d’atelier d’IA qui doivent servir plusieurs utilisateurs et aux équipes d’achat ou d’exploitation qui évaluent une plateforme à partir de sa charge cible.

Dernière mise à jour : 13 octobre 2026 ; vérification des stratégies de parallélisme et des méthodes de mesure dans la documentation vLLM et NCCL citée ci-dessous.

Partir de la capacité du modèle et du service attendu

Le choix entre parallélisme tensoriel et réplicas répond à deux problèmes différents. Le premier vise à faire fonctionner un modèle qui ne peut pas être chargé dans la configuration visée sur une seule carte, ou à répartir son calcul. Le second vise à recevoir plusieurs requêtes en parallèle en faisant traiter des requêtes différentes par des copies indépendantes du modèle. Confondre ces objectifs mène souvent à acheter ou configurer des GPU sans bénéfice correspondant au service attendu.

Le parallélisme tensoriel, ou Tensor Parallelism (TP), répartit des parties du calcul ou des poids du modèle entre les GPU d’un même groupe. Les cartes doivent alors échanger des données pendant l’exécution. Ce mécanisme peut rendre un modèle exploitable lorsque sa configuration ne tient pas sur une carte, mais le gain dépend du modèle, du traitement, de la longueur des entrées et de la communication entre GPU. La documentation vLLM sur les stratégies de parallélisme et leur mise à l’échelle décrit ces stratégies selon la structure du déploiement ; elle ne permet pas de déduire un résultat identique pour toutes les machines à deux cartes.

Le parallélisme de données, ou Data Parallelism (DP), répond plutôt à la demande de plusieurs utilisateurs : chaque réplique sert une partie des requêtes entrantes. En déploiement DP simple, une réplique doit disposer du modèle complet dans la configuration qui lui est attribuée. Cela ne signifie pas que chaque GPU porte nécessairement une copie entière dans toutes les architectures : une réplique peut elle-même être répartie sur plusieurs GPU par TP. Il faut donc distinguer le nombre de répliques du nombre de cartes affectées à chacune. Le guide vLLM consacré au déploiement en parallélisme de données précise les modalités documentées pour la version consultée.

Configuration envisagée Quand l’évaluer Avantage recherché Coût ou limite à vérifier
TP sur les deux cartes Le modèle ou le contexte visé ne tient pas sur une carte, ou le calcul doit être partagé Une capacité distribuée et une exécution coopérative Échanges inter-GPU, dépendance à la topologie et à la prise en charge vLLM
Deux réplicas DP, un par carte Une instance complète tient sur chaque carte et plusieurs requêtes arrivent en même temps Davantage de capacité à traiter des requêtes indépendantes La mémoire du modèle est dupliquée ; une seule requête ne profite pas automatiquement des deux cartes
DP combiné à TP La charge exige plusieurs réplicas, mais chaque réplique doit être répartie Ajuster le nombre de réplicas et de GPU par réplique Configuration plus complexe ; ressources et groupes de communication à valider
Stratégie MoE combinée Le modèle et la version vLLM prennent en charge une stratégie adaptée à sa structure Placer ou traiter les experts selon le besoin Ne pas transposer une recette d’un autre modèle sans vérifier les capacités de la version

La table sert à filtrer les architectures, pas à prédire les performances. Une carte disponible ne constitue pas, à elle seule, une raison d’élargir un groupe TP. De même, le DP ne multiplie pas la capacité d’un modèle qui ne tient pas dans la mémoire affectée à chaque réplique.

Dans quels cas le parallélisme tensoriel devient-il nécessaire ?

Il devient pertinent lorsque le modèle, les poids, le contexte demandé et les besoins mémoire associés ne peuvent pas être satisfaits par une instance sur une carte, ou lorsque des mesures démontrent un intérêt à répartir le calcul. Vérifiez la configuration exacte : une quantification différente, un contexte plus long ou une charge plus élevée peuvent changer la faisabilité, mais leurs effets doivent être établis pour le modèle et la version employés.

La nécessité de TP ne découle donc pas du seul fait que deux RTX 5090 sont installées. Il faut établir ce qui ne tient pas ou ce qui est trop lent dans la configuration à une carte, puis vérifier que vLLM prend en charge la stratégie choisie pour le modèle. Si le modèle tient sur une carte mais que le problème est le nombre de demandes simultanées, commencez par tester le DP plutôt que de partager le calcul d’une seule instance.

Évaluer la communication sans supposer un effondrement des performances

Un groupe TP coordonne les cartes au cours de l’exécution ; les transferts et synchronisations constituent donc une partie de son coût. Le chemin réel entre GPU, l’état du pair-à-pair (P2P), les pilotes, le logiciel de communication et les opérations du modèle influencent ce coût. Une connexion PCIe ou un lien P2P moins favorable peut limiter certains échanges, mais aucune règle ne permet d’en tirer une baisse fixe valable pour tous les modèles et toutes les charges.

La topologie doit être mesurée et non déduite du nombre d’emplacements ou de leur apparence. La documentation NCCL sur le diagnostic des problèmes GPU et son guide de diagnostic des communications donnent des méthodes pour examiner les périphériques, les chemins et les échanges. Cette vérification est particulièrement importante avant de retenir TP pour une interaction à faible latence, où le coût de communication peut compter davantage que le débit agrégé d’un traitement par lots.

L’absence de NVLink ne rend pas TP automatiquement inutilisable : elle impose de tester le chemin de communication disponible et la charge cible. À l’inverse, la présence d’un chemin rapide ne garantit pas qu’un groupe TP sera supérieur à deux réplicas. Le résultat dépend aussi du modèle, de la taille des requêtes, de la concurrence et de la part du temps passée dans les opérations nécessitant des échanges.

Les variables NCCL ne remplacent pas une interconnexion plus rapide. Par exemple, NCCL_P2P_DISABLE=1 désactive l’usage du transport P2P par NCCL lorsqu’il est reconnu par l’environnement concerné ; ce réglage peut aider à diagnostiquer un chemin problématique ou à comparer les comportements, mais il peut aussi conduire à un transport moins direct. La documentation des variables d’environnement NCCL doit être consultée avant toute modification. Il ne s’agit ni d’un moyen d’ajouter de la bande passante, ni d’une recette universelle d’accélération.

Choisir des réplicas lorsque le modèle tient sur chaque carte

Si une instance complète du modèle peut fonctionner sur une seule carte dans la configuration demandée, et si plusieurs requêtes indépendantes doivent être servies, le DP est le premier candidat à mesurer. Chaque réplique prend en charge des requêtes distinctes ; elle n’a pas besoin de synchroniser à chaque étape le calcul d’un même modèle avec une autre réplique. En contrepartie, la mémoire nécessaire au modèle est consommée à nouveau pour chaque réplique, et une requête isolée ne bénéficie pas automatiquement de la puissance des deux GPU.

Le réglage peut être effectué dans le serveur vLLM ou par plusieurs instances gérées séparément avec un répartiteur de requêtes. Ces deux approches ne sont pas interchangeables en matière de supervision, d’allocation mémoire, de redémarrage et de distribution de charge. Le guide de déploiement DP de vLLM documente les formes de déploiement prises en charge ; la configuration effective dépend de la version installée et de l’orchestration retenue.

Le parallélisme de données exige-t-il une copie complète sur chaque carte ?

Pour des réplicas DP autonomes, chaque réplique doit pouvoir charger le modèle dans les ressources qui lui sont attribuées. Dans le cas courant d’une réplique par GPU, cela signifie vérifier qu’une instance complète peut tenir sur chacune des cartes, avec les réserves mémoire nécessaires au contexte et à l’exécution. En revanche, dans une architecture hybride, un groupe TP peut répartir chaque réplique sur plusieurs GPU : la copie est alors distribuée à l’intérieur du groupe, et non répétée en entier sur chaque carte.

Cette distinction aide à interpréter les paramètres de lancement. Les options --data-parallel-size et --tensor-parallel-size désignent des axes de parallélisme différents ; les valeurs choisies doivent correspondre au placement réel des GPU et à la version vLLM. À titre de configuration à examiner sur une machine à deux cartes, un TP de taille 2 forme un groupe qui partage le modèle, tandis qu’un DP de taille 2 demande deux répliques. Ces valeurs sont des paramètres de configuration, pas une promesse de débit ; vérifiez leur syntaxe et leurs contraintes dans la documentation applicable avant de les mettre en service.

Le DP peut augmenter le débit agrégé lorsque les requêtes sont indépendantes et qu’il existe assez de charge pour alimenter les réplicas. Il n’assure pas une réduction de la latence d’une seule génération, et il peut rester sous-utilisé si les requêtes arrivent peu souvent ou sont fortement déséquilibrées. Dans ce dernier cas, l’ordonnancement, les limites de lots et la distribution du trafic deviennent aussi importants que le nombre de copies.

Traiter les modèles MoE selon leur architecture

Les modèles à mélange d’experts (MoE) ne se ramènent pas toujours à un choix binaire entre TP et DP. Selon la structure du modèle et les fonctions prises en charge par la version de vLLM, le déploiement peut faire intervenir le parallélisme des experts (EP), le TP ou le DP, seuls ou combinés. La documentation vLLM sur le déploiement en parallélisme des experts décrit les options concernées ; elle doit être lue pour le modèle visé, et non utilisée comme recette universelle.

La présence d’experts ne prouve pas que l’EP est nécessaire, pas plus que l’étiquette MoE ne garantit qu’une combinaison donnée sera plus rapide. Les contraintes d’activation, de mémoire, de routage des experts et de communication varient selon l’architecture. En conséquence, ne transposez pas directement les paramètres d’un modèle MoE à Llama 4 ou à un autre modèle sans confirmation explicite dans la documentation de la version déployée et sans test reproductible.

Dans un service, le choix doit aussi tenir compte de la façon dont les requêtes sollicitent les experts et de la concurrence observée. Un réglage qui améliore le débit sur un lot peut dégrader la latence interactive. L’objectif est de valider l’organisation qui correspond au trafic réel, pas de maximiser le nombre de mécanismes de parallélisme activés.

Comparer les configurations avec une charge identique

Un test exploitable garde constants le modèle, le format de poids ou la quantification, la longueur de contexte, les paramètres de génération et l’échantillon de requêtes. Si l’un de ces éléments change d’une configuration à l’autre, le résultat ne permet plus d’attribuer clairement l’écart à TP ou DP. La procédure doit aussi préciser si le test mesure une requête isolée, une charge simultanée ou un traitement par lots.

Les indicateurs répondent à des questions distinctes :

  • Le délai avant le premier jeton indique la réactivité initiale ; il est important pour une interface interactive.
  • Le débit de génération décrit la vitesse de sortie dans la condition testée ; il ne suffit pas à décrire le comportement sous concurrence.
  • Le débit de requêtes indique la capacité à servir une charge simultanée, mais doit être accompagné des conditions de latence.
  • L’occupation mémoire permet de détecter une configuration proche de sa limite et de vérifier si l’ajout d’un réplica reste réaliste.

La documentation vLLM sur les commandes de mesure fournit des outils de référence pour construire des comparaisons. Relevez les résultats avec les paramètres complets et consignez les limites de charge ; une mesure sans description de la longueur des entrées, de la concurrence ou des paramètres du modèle ne permet pas une décision d’achat fiable.

Pour une interaction en direct, fixez un seuil de latence acceptable et comparez d’abord la réponse à faible concurrence, puis sous le trafic anticipé. Pour un service de génération en lot, mesurez le débit soutenu et la stabilité lorsque les requêtes sont alimentées en continu. Enfin, observez la mémoire pendant le test, car une solution qui paraît rapide sur un échantillon court peut échouer lorsque le contexte ou la concurrence augmente.

Décider par conditions plutôt que par nombre de cartes

Appliquez les branches suivantes après avoir défini la charge à servir :

  • Si le modèle ne tient pas sur une carte dans la configuration de poids et de contexte nécessaire, choisissez TP ou une autre stratégie de parallélisme prise en charge, puis mesurez le coût des échanges inter-GPU.
  • Si le modèle tient sur une carte et que plusieurs demandes arrivent en parallèle, évaluez d’abord deux réplicas DP, en vérifiant que la mémoire suffit pour chaque copie.
  • Si une seule demande doit être répartie, mais que la latence augmente sous TP, comparez les chemins de communication et la configuration monopuce avant de modifier les variables NCCL ; n’interprétez pas un changement de variable comme une amélioration garantie.
  • Si le modèle est MoE, consultez d’abord la documentation de la version vLLM utilisée pour déterminer si EP ou une combinaison EP/TP/DP est prise en charge, puis reproduisez le test sur la charge cible.
  • Si les résultats changent selon le profil de requêtes, choisissez la stratégie à partir du profil réellement prioritaire — interaction, simultanéité ou lots — plutôt que d’un résultat isolé.

Ces conditions empêchent deux erreurs d’achat fréquentes : dimensionner la plateforme autour d’un TP dont le modèle n’a pas besoin, ou choisir des réplicas alors que chaque instance ne peut pas accueillir le modèle et le contexte visés. Elles permettent aussi de distinguer un besoin de capacité mémoire d’un besoin de débit de service.

Vérifier les prérequis avant l’achat et le déploiement

Avant de commander une plateforme ou de figer une configuration, validez les points suivants :

  • [ ] Le modèle, sa quantification et le contexte visé ont été testés sur une carte, ou la raison précise de l’échec est documentée.
  • [ ] La version vLLM déployée prend en charge le type de parallélisme retenu pour le modèle concerné.
  • [ ] Le nombre de GPU affectés à chaque réplique est distingué du nombre de réplicas.
  • [ ] La topologie GPU et l’état des échanges P2P ont été vérifiés avec les outils appropriés.
  • [ ] La charge d’essai correspond aux requêtes réelles, y compris les longueurs d’entrée et le niveau de simultanéité.
  • [ ] La comparaison consigne délai initial, vitesse de génération, débit sous charge et occupation mémoire.
  • [ ] Les réglages NCCL ont été traités comme des paramètres à diagnostiquer et non comme un remplacement de la bande passante physique.

Pour faciliter la préparation d’un déploiement, les équipes peuvent également consulter l’aide KuzCloud afin de vérifier les informations de service disponibles avant de comparer une solution distante à une machine locale. Le choix de la plateforme vient après la définition du profil de charge : une spécification d’emplacement ou le seul nombre de cartes ne suffit pas à décider entre TP et DP.

Choisir la plateforme en fonction du travail réel

Une station locale à deux GPU permet de contrôler la configuration et convient aux équipes qui exploitent durablement une charge stable, qui ont besoin d’accès directs aux périphériques ou qui amortissent le matériel sur une utilisation continue. Elle implique toutefois un investissement initial, la prise en charge de l’alimentation et du refroidissement, ainsi que la maintenance logicielle et matérielle. Une infrastructure distante peut éviter l’achat immédiat, mais il faut vérifier les conditions d’accès, la disponibilité des ressources, les coûts d’usage et la possibilité de reproduire exactement la topologie voulue.

La location d’un Mac n’est pas un substitut équivalent à une machine RTX pour un service vLLM qui dépend de CUDA ou d’une stratégie de communication entre GPU NVIDIA. Pour cette charge, conservez une plateforme compatible avec le logiciel et le modèle visés, qu’elle soit locale ou distante. En revanche, si l’équipe doit tester temporairement des outils créatifs, des flux audio ou vidéo, du design ou des développements ciblant macOS et Apple Silicon, une expérience Mac louée peut éviter d’acheter une machine avant d’avoir validé ce besoin. Les conditions disponibles peuvent être consultées depuis la console KuzCloud.

La décision finale doit donc partir de la configuration du modèle et des requêtes attendues, puis se confirmer par un test identique entre les stratégies. Si le modèle tient sur une carte et que le service attend plusieurs demandes, commencez par comparer les réplicas ; si la capacité d’une carte est insuffisante, mesurez TP et son coût de communication. Ce sont ces résultats, et non la seule présence de deux RTX 5090, qui déterminent si la plateforme choisie correspond au service à exploiter.

Complétez votre environnement de calcul avec une machine dédiée

Pour vos tâches de développement périphériques au calcul GPU, KuzCloud met à votre disposition une machine physique dédiée sous macOS.

Accédez à distance par SSH ou VNC et gardez le contrôle de votre environnement.