OOM lors du déploiement de Kimi K3 avec vLLM
Le choix gagnant est de ne pas réduire tous les paramètres en même temps : un OOM au chargement impose d’abord de vérifier l’environnement et la capacité statique, un OOM au premier long échange appelle une réduction du contexte et du préremplissage, tandis qu’un OOM qui apparaît seulement lorsque la concurrence augmente justifie d’abord une limitation du nombre de séquences et une vérification du cache. Si la charge minimale reste instable, il faut changer d’environnement compatible plutôt que dégrader le service jusqu’à le rendre inutilisable.
À qui cette méthode de décision s’adresse
Cette analyse concerne les ingénieurs qui ont déjà lancé Kimi K3 avec vLLM, mais ne savent pas encore si l’échec vient du chargement du modèle, d’une longue requête ou des séquences simultanées.
Elle s’adresse également aux équipes qui définissent les limites d’un agent à long contexte, ainsi qu’aux responsables techniques qui doivent arbitrer entre réglages supplémentaires, ressources compatibles et environnement de test isolé.
Dernière mise à jour : 6 août 2026. Les informations d’environnement ont été vérifiées à partir de la recette officielle Kimi K3 de vLLM, de l’annonce de prise en charge Kimi K3 et de la documentation vLLM sur les paramètres de service et la mémoire.
Commencez par classer le moment exact de l’OOM
La dernière ligne du journal est rarement suffisante. Un service peut afficher une erreur de mémoire après une erreur CUDA asynchrone, après l’arrêt d’un rang ou après la fermeture du moteur. Le premier travail consiste donc à noter le moment où la mémoire devient insuffisante.
| Moment observé | Indice principal | Première action | Réduction de concurrence utile ? |
|---|---|---|---|
| Avant la première requête | Le moteur échoue pendant l’initialisation ou le chargement des poids | Vérifier image, CUDA, pilote, matériel et état de chaque rang | Non, généralement |
| Première requête courte | Le modèle démarre mais une entrée élémentaire échoue déjà | Réduire la charge minimale et contrôler la réserve mémoire | Rarement |
| Première requête longue | Les requêtes courtes passent, mais le préremplissage d’un long prompt échoue | Réduire l’entrée, le budget de sortie ou la limite de contexte | Pas en premier |
| Montée en concurrence | Une requête reste stable, plusieurs requêtes provoquent l’OOM | Limiter les séquences et mesurer les blocs de cache | Oui |
| Crash CUDA sans allocation refusée | illegal memory access, SIGSEGV, erreur de graphe ou arrêt de rang |
Reproduire avec journaux et variables contrôlées | Peut masquer le défaut sans le corriger |
Avant chaque essai, conservez le journal complet de démarrage, la configuration de service, la mémoire disponible par GPU, le nombre de séquences actives, la longueur d’entrée, le budget de sortie et le type de requête. Pour un agent de développement, il faut aussi conserver si la requête contient un dépôt de code, des outils, des images ou un historique de conversation, car ces éléments modifient la charge de préremplissage.
Cette chronologie sépare trois problèmes qui se ressemblent dans l’interface : une capacité statique insuffisante, un pic de préremplissage et une réserve de cache consommée par plusieurs séquences.
Vérifiez la capacité statique avant de toucher aux réglages
Kimi K3 n’est pas un modèle que l’on valide uniquement parce que le processus accepte une commande serve. La recette officielle le décrit comme un modèle MoE de 2,8 milliers de milliards de paramètres, avec 16 experts actifs parmi 896 et une fenêtre de contexte pouvant atteindre 1 million de jetons. La même recette indique une image vLLM dédiée, construite uniquement pour CUDA 13, un pilote NVIDIA hôte en version r580 ou supérieure et un minimum de 8 GPU GB300 pour le profil NVIDIA documenté. (Recette officielle Kimi K3)
Ces prérequis ont une conséquence directe : max-model-len et max-num-seqs ne peuvent pas réparer un environnement qui ne charge pas correctement le modèle. Si l’échec survient avant l’acceptation de la première requête, une baisse de la longueur maximale ne doit pas être considérée comme le premier remède.
Cochez chaque point avant de lancer une nouvelle série d’essais :
- [ ] L’image utilisée est bien l’image Kimi K3 prévue par la recette officielle.
- [ ] L’image correspond à une construction CUDA 13, et non à une variante CUDA 12.9 supposée compatible.
- [ ] Chaque hôte NVIDIA utilise un pilote r580 ou ultérieur.
- [ ] Le nombre de GPU et la topologie correspondent au profil testé.
- [ ] Tous les rangs terminent le chargement, et non uniquement le rang principal.
- [ ] La mémoire disponible est observée avant et après le chargement.
- [ ] Le journal ne montre pas une erreur NCCL, un échec de communication ou un arrêt de processus avant l’allocation concernée.
La recette officielle précise qu’il n’existe pas, pour cette image, de balise cu129 équivalente prête à l’emploi et qu’un hôte r575 doit être mis à niveau ou faire l’objet d’une construction spécifique. Il serait donc trompeur de transformer un problème de compatibilité en simple OOM de requête.
Dans cette phase, la règle d’arrêt est stricte : si le modèle ne démarre pas dans l’environnement conforme au profil officiel, interrompez les expériences sur le contexte et la concurrence. Les résultats seraient difficiles à interpréter, car l’exécution n’aurait pas encore atteint le mécanisme que ces paramètres contrôlent.
Réduisez le contexte seulement lorsque le préremplissage est en cause
Le deuxième cas est plus favorable : le service démarre, une requête courte répond, mais une longue entrée provoque l’OOM. Le déclencheur peut être un historique d’agent, un dépôt de code, une longue spécification d’outils, une série de documents ou une entrée multimodale destinée à un flux audio, vidéo ou design.
Dans ce cas, max-model-len doit être compris comme une limite de capacité autorisée, et non comme la longueur que chaque requête consommera réellement. Une valeur très élevée peut réserver ou rendre disponible une capacité de cache qui n’est pas nécessaire au scénario métier, mais elle ne dit pas combien de jetons seront effectivement envoyés lors d’une requête.
Procédez par essais isolés :
- Conservez une seule séquence active et désactivez le test de concurrence.
- Utilisez un prompt court de référence, identique à chaque essai.
- Ajoutez ensuite le contenu réel par paliers : historique, dépôt, outils, pièces multimédias.
- Gardez le même budget de sortie pendant cette première série.
- Notez la mémoire maximale pendant le préremplissage, et non uniquement la mémoire après le premier jeton.
- Répétez le seuil identifié avec une limite de contexte légèrement supérieure et légèrement inférieure.
- Arrêtez lorsque la qualité de l’agent se dégrade ou lorsque le gain de capacité ne couvre plus le cas d’usage.
Il faut ensuite effectuer une seconde série en modifiant le budget de sortie, car une longue génération peut maintenir des blocs supplémentaires après le préremplissage. L’objectif n’est pas de trouver la plus petite valeur possible, mais la plus petite limite qui conserve la qualité attendue. Pour un agent de programmation, réduire l’historique utile peut supprimer des dépendances importantes ; pour un flux vidéo ou design, réduire les éléments visuels peut produire une réponse techniquement stable mais inutilisable.
La documentation officielle de Kimi K3 recommande d’ajuster max-model-len selon le scénario de test. Elle ne fournit pas une valeur universelle garantissant l’absence d’OOM pour toutes les charges.
Lorsque le problème semble lié au préremplissage fragmenté, vérifiez également le comportement du préremplissage par blocs dans la version exacte utilisée. Les paramètres et leur disponibilité peuvent changer avec la version vLLM ; il est donc préférable de confirmer leur nom dans la documentation actuelle des arguments de moteur vLLM, plutôt que de reprendre une commande publiée pour une version antérieure.
Limitez la concurrence lorsque la requête seule reste stable
Si une requête courte et une requête longue restent stables seules, mais que l’OOM apparaît avec plusieurs clients, la priorité se déplace vers les séquences simultanées, le nombre de jetons traités en lot et la réserve de cache.
Le premier essai doit modifier uniquement le nombre de séquences autorisées. Selon la version vLLM, ce réglage peut être exposé par max-num-seqs ou par une configuration équivalente. Gardez alors le même prompt, la même longueur d’entrée, le même budget de sortie et le même état du cache. Comparez :
- le nombre de séquences réellement en cours ;
- la mémoire disponible par rang ;
- le temps d’attente avant traitement ;
- le débit de sortie ;
- la fréquence des erreurs ;
- le délai avant un arrêt du moteur.
Si l’OOM disparaît lorsque la concurrence est réduite, cela confirme une pression liée à l’exécution simultanée, mais pas nécessairement une fuite mémoire. Une file d’attente plus longue peut simplement remplacer un crash par une latence excessive. Il faut donc conserver un critère de sortie : si la réduction de concurrence rend l’agent trop lent pour son usage, la solution n’est pas validée.
Ne réduisez pas le contexte et la concurrence dans le même essai. La première expérience répond à la question « combien de travail simultané la plateforme peut-elle absorber ? » ; la seconde répond à la question « combien de contenu une séquence peut-elle porter ? ». Mélanger les deux empêche de savoir si le gain vient de la baisse du nombre de séquences ou de la réduction du cache par séquence.
Mesurez prefix caching avec des préfixes réellement partagés
Kimi K3 nécessite une activation explicite de prefix caching dans la commande officielle de service. Le lancement publié par vLLM inclut notamment --enable-prefix-caching, mais le simple fait que le serveur démarre ne prouve ni que le cache est utile, ni qu’il est stable sous la charge réelle. (Annonce officielle de vLLM)
Le cache automatique réutilise les blocs correspondant à un préfixe commun afin d’éviter de recalculer la partie déjà traitée. Il est donc pertinent pour un système d’agents qui répète un long message système, une définition d’outils, un dépôt ou un historique de conversation. En revanche, il apporte peu si les requêtes ont des préfixes différents ou si le temps principal est consacré à la génération de nouveaux jetons. (Documentation vLLM sur prefix caching)
La validation doit comporter deux groupes :
- un groupe A avec un préfixe strictement identique, suivi de questions différentes ;
- un groupe B avec des prompts de même longueur mais sans préfixe commun.
Pour chaque groupe, relevez le temps de préremplissage, la mémoire disponible, les blocs utilisés, le temps d’attente et les erreurs. Le cache est justifié uniquement si le groupe A obtient un gain mesurable sans dépasser la limite de stabilité. S’il consomme une réserve mémoire importante alors que les préfixes sont rarement réutilisés, il vaut mieux le désactiver pour le test de capacité de base.
La situation est plus délicate avec Kimi K3, car vLLM gère à la fois des blocs d’attention et un état récurrent associé à Kimi Delta Attention. L’annonce officielle décrit une gestion hybride du cache et des politiques de conservation spécifiques aux préfixes.
Un rapport GitHub récent décrit, dans un environnement particulier, des accès mémoire illégaux liés à Kimi K3, au mode de cache hybride et à une charge concurrente. Ce rapport mentionne une image, une construction vLLM, une topologie et une charge précises ; il doit donc être traité comme une piste à reproduire, non comme la preuve d’un OOM généralisé. (Rapport GitHub sur un accès mémoire illégal)
Distinguez l’allocation refusée du crash CUDA asynchrone
Un véritable OOM se manifeste généralement par une tentative d’allocation qui ne peut pas être satisfaite. À l’inverse, CUDA illegal memory access, SIGSEGV, une erreur lors de cudaGraphLaunch ou l’arrêt simultané de plusieurs rangs peuvent signaler un accès mémoire illégal survenu plus tôt, puis rapporté par un appel CUDA ultérieur.
Cette distinction change la stratégie :
- [ ] recherchez la première erreur CUDA, pas seulement la dernière ligne ;
- [ ] vérifiez si le processus a été terminé par le système ou par le moteur ;
- [ ] comparez le comportement avec une seule séquence puis plusieurs ;
- [ ] reproduisez avec le cache activé et désactivé, une variable à la fois ;
- [ ] conservez la version de l’image, son empreinte, le pilote et la commande exacte ;
- [ ] ne concluez pas qu’une baisse de concurrence a corrigé la cause si elle a seulement retardé le crash.
Si le message change d’un OOM vers une erreur d’accès mémoire après la désactivation du cache, le problème n’est plus une simple capacité insuffisante. Dans ce cas, poursuivez avec une collecte de reproduction et la vérification des problèmes connus de la version utilisée, au lieu de réduire indéfiniment le contexte métier.
Utilisez la bonne voie de reprise
Trois options restent généralement ouvertes après le diagnostic.
| Voie | Condition de choix | Avantage | Coût et risque | Point d’arrêt |
|---|---|---|---|---|
| Conserver les ressources et réduire la charge | Le modèle démarre et la qualité reste acceptable avec un contexte ou une concurrence inférieurs | Aucun changement d’infrastructure | Latence, file d’attente ou qualité réduite | Le scénario réel ne passe plus |
| Ajouter des ressources compatibles | Le besoin de contexte et de concurrence est confirmé, et l’environnement logiciel est conforme | Conservation du service cible | Coût, coordination matérielle et nouveau cycle de validation | Le profil minimal reste instable |
| Basculer vers un environnement isolé | Le cluster actuel est incompatible, partagé ou difficile à modifier | Validation rapide du socle officiel | Migration temporaire et nouvelle procédure d’accès | La charge minimale échoue encore |
Une équipe qui exploite déjà un cluster r575 ne devrait pas compenser l’incompatibilité en diminuant max-model-len. Le pilote doit d’abord être mis en conformité avec le profil documenté. De même, une équipe qui veut conserver une longue fenêtre pour un agent de programmation ne devrait pas accepter une concurrence artificiellement basse sans mesurer la file d’attente et le délai utilisateur.
Pour les essais courts, un environnement isolé loué peut être rationnel lorsque le but est de confirmer la compatibilité, de reproduire un OOM ou de comparer deux configurations sans perturber un cluster de production. Les critères à vérifier sont la version de l’image, l’empreinte du pilote, la topologie GPU, la durée de mise à disposition, l’accès administrateur et la possibilité de récupérer les journaux. La console KuzCloud permet de vérifier les modalités opérationnelles avant de planifier ce type de test, tandis que la page d’aide KuzCloud doit être consultée pour les conditions d’accès et d’exploitation.
| Résultat après les essais | Décision recommandée | Validation nécessaire |
|---|---|---|
| Le chargement échoue avant toute requête | Corriger l’environnement ou changer de ressources | Démarrage complet et chargement de tous les rangs |
| Les requêtes courtes passent, les longues échouent | Réduire le contexte et le préremplissage | Seuil de longueur confirmé sur le prompt réel |
| Une requête passe, plusieurs échouent | Limiter la concurrence puis mesurer le cache | Débit, attente et stabilité sur la charge cible |
| Le cache améliore le préremplissage sans crash | Le conserver avec une politique surveillée | Préfixes réellement communs et mémoire contrôlée |
| Le crash devient une erreur d’accès mémoire | Ouvrir une investigation de version et de noyau | Reproduction minimale documentée |
| La charge minimale reste instable | Changer d’environnement compatible | Baseline officielle reproductible |
Cette matrice empêche de confondre « le serveur démarre » avec « la plateforme est livrable ». Un test n’est concluant que lorsque le chargement, le prompt représentatif, la concurrence prévue et le comportement du cache ont tous été observés séparément.
Dans un cluster existant, l’approche la moins coûteuse à court terme consiste souvent à réduire temporairement la charge, mais elle devient une mauvaise décision si le contexte ou la concurrence font partie du besoin central. À l’inverse, augmenter les ressources ne sert à rien si le pilote, l’image CUDA ou la version vLLM ne correspond pas au profil officiel. Un environnement temporaire compatible est alors un moyen de séparer le problème logiciel du problème matériel, sans engager immédiatement une transformation du cluster principal.
Si le socle actuel impose un pilote ancien, une topologie partagée ou des modifications difficiles à isoler, la location d’une configuration de test KuzCloud peut offrir une vérification plus propre que plusieurs jours de réglages non reproductibles. Il faut cependant conserver une analyse indépendante : l’achat convient mieux à une charge durable et prévisible, tandis que la location est plus pertinente pour une validation, une campagne de reproduction d’incident ou un besoin ponctuel de capacité. Les modalités régionales peuvent être comparées sur les pages tarifs KuzCloud pour Hong Kong, sans traiter un tarif public comme une estimation universelle du coût total d’exploitation.
Pour les équipes qui ne parviennent toujours pas à faire passer la charge minimale, la prochaine étape raisonnable est de valider un environnement GPU compatible, son empreinte logicielle et la durée de test nécessaire avant de modifier le cluster permanent. Une fois cette limite confirmée, la décision entre réglage, extension de capacité et location repose enfin sur des mesures comparables, plutôt que sur la dernière ligne d’un journal OOM.
Poursuivez vos tests d’inférence dans un environnement dédié avec KuzCloud
Louez un Mac mini M4 bare metal pour isoler vos essais et mesurer précisément l’impact du contexte, de la concurrence et des réglages mémoire.
Profitez d’un accès root complet par SSH ou d’un bureau distant VNC pour installer vos outils et reproduire vos scénarios sans modifier votre infrastructure locale.