CI/CD

2026 듀얼 RTX 5090으로 vLLM 실행: 텐서 병렬인가, 다중 복제인가?

vLLM 데이터 병렬 문서는 각 데이터 병렬 작업자가 모델의 독립된 사본을 실행하는 구조를 설명합니다(vLLM 데이터 병렬 배포 안내). 따라서 모델이 GPU 한 장에 들어가지 않으면 텐서 병렬이나 다른 모델 분할 방식을 먼저 검토하고, 한 장에서 실행되며 여러 요청을 처리해야 한다면 데이터 병렬을 우선 비교하는 편이 합리적입니다. 듀얼 RTX 5090이라는 사실만으로 텐서 병렬이 더 빠르다고 단정할 수는 없습니다.

이 글은 듀얼 RTX 5090에서 vLLM을 구성하려는 로컬 추론 개발자, 여러 사용자의 요청을 처리하려는 AI 작업실 담당자, 그리고 다중 GPU 통신 조건을 확인한 뒤 장비를 조달하려는 운영 담당자를 위한 안내입니다.

마지막 업데이트: 2026년 10월 13일. 내용은 vLLM 병렬 처리 및 최적화 문서와 NVIDIA NCCL 문서를 기준으로 확인했습니다.

듀얼 RTX 5090 vLLM 텐서 병렬은 어떤 부하에서 검토해야 할까요?

텐서 병렬은 모델의 계산이나 가중치를 여러 GPU에 나누어 실행합니다. 목표 모델이 단일 GPU 메모리에 들어가지 않거나, 단일 요청을 처리할 때 모델 분할이 필요한 상황이라면 검토 대상입니다. 대신 GPU가 계산 중에 데이터를 주고받아야 하므로 GPU 간 연결과 통신이 실제 성능에 영향을 줍니다. vLLM 병렬 처리 안내에서 병렬 방식과 적용 조건을 확인하고, 사용 중인 vLLM 버전의 지원 범위에 맞춰야 합니다.

단, PCIe x8 연결이 일정한 비율의 성능 저하를 반드시 일으킨다고 볼 수는 없습니다. 영향은 모델 구조와 요청 길이, 배치 구성, GPU 간 토폴로지 및 P2P 통신 가능 여부에 따라 달라집니다. NVIDIA NCCL은 GPU 연결과 P2P 동작을 점검할 수 있는 진단 절차를 제공합니다. NCCL GPU 문제 해결 문서와 NCCL 진단 도구 안내를 이용해 먼저 실제 연결 상태를 확인하세요.

NVLink가 없어도 텐서 병렬을 검토할 수는 있습니다. 다만 통신 경로를 확인하지 않은 채 성능을 예상해서는 안 됩니다. NCCL 환경 변수는 동작을 진단하거나 통신 경로를 조정하는 수단이지, 느린 연결을 더 빠른 대역폭으로 바꾸는 방법이 아닙니다. 예를 들어 NCCL_P2P_DISABLE 관련 설정을 검토할 때는 NCCL 환경 변수 안내를 기준으로 의미와 부작용을 확인해야 합니다.

모델을 한 장에서 실행할 수 있다면 GPU 다중 복제를 먼저 비교하세요

요청을 더 많이 처리하는 것이 목표이고 모델이 GPU 한 장에 독립적으로 올라간다면, GPU마다 모델 사본을 두는 데이터 병렬이 유력한 선택지입니다. 각 사본은 서로 다른 요청을 처리하므로 하나의 요청을 여러 GPU에 나눠 처리하는 텐서 병렬과 최적화 목표가 다릅니다.

vLLM의 내장 데이터 병렬 배포와 개별 vLLM 인스턴스를 띄운 뒤 외부에서 요청을 분배하는 구성도 구분해야 합니다. 전자는 프레임워크가 제공하는 배포 방식을 따르고, 후자는 별도의 요청 분배 및 인스턴스 운영을 고려해야 합니다. 어느 쪽이든 GPU마다 모델 사본이 필요하므로 전체 모델을 각 카드의 메모리에 올릴 수 있는지 확인해야 합니다. 실행 방식과 설정 항목은 vLLM 데이터 병렬 배포 안내를 참조하세요.

모델을 한 장에서 실행할 수 있을 때 듀얼 RTX 5090으로 요청 처리를 늘리려면?

모델의 가중치뿐 아니라 대상 컨텍스트 길이와 실행 설정을 적용했을 때 메모리가 충분한지 확인한 뒤, 독립된 복제본으로 요청을 나눠 처리하는 구성을 비교하세요. 단일 요청의 응답 지연이 중요하다면 복제본 수만 늘리는 방식이 목표에 맞지 않을 수 있습니다. 반대로 동시에 들어오는 요청을 처리하는 게 우선이라면, GPU 다중 복제 배포가 텐서 병렬보다 적합할 수 있습니다. 실제 요청 분배와 메모리 점유를 함께 측정해야 결론을 낼 수 있습니다.

MoE 모델은 전문가 병렬과 다른 방식을 함께 살펴보세요

MoE 모델은 전문가 구조와 프레임워크 지원에 따라 전문가 병렬, 텐서 병렬, 데이터 병렬을 조합할 수 있습니다. 모든 MoE 모델에 하나의 배치 방법을 그대로 적용하면 안 됩니다. 특히 Llama 4를 포함한 개별 모델의 설정은 모델 구조와 설치한 vLLM 버전의 지원 여부를 확인한 뒤 정해야 합니다.

vLLM의 전문가 병렬 배포 문서에서 지원 범위와 설정을 확인하세요. latest 문서와 설치된 릴리스의 동작이 다를 수 있으므로, 실행 환경의 버전 문서와 대조하는 절차도 필요합니다.

같은 조건으로 비교해 지연과 처리량을 따로 판단하세요

한 가지 지표만으로 구성을 고르면 서비스 목표를 놓칠 수 있습니다. 첫 토큰 지연은 대화형 응답성, 생성 속도는 요청 하나의 처리 특성, 전체 처리량은 여러 요청을 함께 받을 때의 처리 능력을 보여줍니다. GPU 메모리 점유도 모델 사본을 추가할 여지가 있는지 판단하는 데 필요합니다.

선택 조건을 순서대로 적용하세요

  • 목표 모델과 실행 설정이 GPU 한 장에 들어가지 않는다면 텐서 병렬 또는 해당 모델에 맞는 다른 분할 방식을 검토합니다. 그다음 GPU 간 P2P와 통신 부담을 측정합니다.
  • 모델이 한 장에서 실행되고 주요 목표가 여러 요청의 동시 처리라면 데이터 병렬을 먼저 비교합니다. 각 복제본의 모델 메모리 조건도 확인합니다.
  • 단일 요청 지연이 우선이라면 병렬 방식이 지연을 줄인다고 가정하지 말고, 실제 요청 길이와 동시성 조건으로 검증합니다.
  • MoE라면 전문가 병렬을 포함한 조합이 해당 모델과 설치 버전에서 지원되는지 확인합니다.
  • 측정 결과가 불안정하거나 목적에 따라 순위가 바뀐다면, 단일 GPU 구성도 기준점으로 남기고 요청 부하별로 다시 비교합니다.

비교할 때는 모델, 양자화 방식, 컨텍스트 길이, 요청 샘플을 고정하세요. 첫 토큰까지의 지연, 생성 속도, 전체 처리량, GPU 메모리 사용량을 함께 기록해야 합니다. vLLM은 실행 가능한 측정 절차와 옵션을 벤치마크 명령 문서에서 안내합니다. 결과에는 테스트 조건을 함께 남겨야 다른 구성과 비교할 수 있습니다. 조건을 공개하지 않은 커뮤니티의 “두 장이 더 느리다”는 경험담은 참고 사례일 뿐, 다른 시스템의 성능 결론으로 일반화할 수 없습니다.

구성별로 메모리 조건과 통신 부담을 대조하세요

아래 비교는 처리 방식의 차이를 정리한 것이며, 특정 성능 우위를 보장하지 않습니다.

구성 적합한 목표 먼저 확인할 조건 주의할 점
텐서 병렬 단일 GPU에 들어가지 않는 모델을 실행하거나 모델을 여러 GPU로 분할 vLLM 지원 방식, GPU 간 토폴로지, P2P 상태 통신 부담이 요청 특성과 모델에 따라 달라집니다
데이터 병렬 모델 사본별로 서로 다른 요청을 처리 GPU마다 모델 사본을 올릴 수 있는지 복제본마다 모델 메모리가 필요합니다
전문가 병렬 포함 구성 지원되는 MoE 모델의 전문가 배치 모델 구조, vLLM 버전, 조합 가능한 병렬 방식 다른 MoE 모델의 구성을 그대로 적용할 수 없습니다

구매와 배포 전에 확인할 항목을 체크하세요

  • [ ] 목표 모델과 양자화 및 컨텍스트 설정이 GPU 한 장에서 실행되는지 확인합니다.
  • [ ] 설치할 vLLM 버전이 선택한 병렬 방식과 해당 모델을 지원하는지 확인합니다.
  • [ ] GPU 간 연결 토폴로지와 P2P 통신 상태를 NCCL 진단으로 점검합니다.
  • [ ] 대표 요청 샘플로 단일 요청 지연, 생성 속도, 동시 요청 처리량, 메모리 점유를 각각 측정합니다.
  • [ ] 모델 사본을 늘리는 경우 카드마다 필요한 모델 메모리가 확보되는지 확인합니다.
  • [ ] 처리 목표를 확정한 뒤 그 목표에 맞는 통신 토폴로지와 플랫폼을 선택합니다.
우선 목표 먼저 시험할 구성 선택을 되돌릴 조건
단일 GPU에 들어가지 않는 모델 실행 텐서 병렬 또는 지원되는 모델 분할 통신으로 목표 지연을 충족하지 못하면 모델 설정이나 실행 방식을 재검토합니다
단일 GPU에서 실행되는 모델의 다중 요청 처리 데이터 병렬 또는 독립 인스턴스 복제 복제본별 메모리가 부족하면 모델 설정이나 동시성 목표를 조정합니다
MoE 모델의 서비스 처리 공식 문서에서 지원하는 전문가 병렬 조합 모델 또는 버전 지원이 불명확하면 실제 배포 전에 호환성을 확인합니다

현재 장비가 듀얼 GPU여도 두 카드를 항상 함께 묶어야 하는 것은 아닙니다. 단일 GPU에서 실행되는 모델에 텐서 병렬을 고정하면 요청 처리 목표와 맞지 않을 수 있고, 반대로 복제본을 늘리면 카드마다 모델 메모리를 확보해야 합니다. 따라서 모델 용량과 요청 부하를 먼저 정하고, NCCL 진단 문서로 통신 상태를 점검한 뒤 선택하는 편이 안전합니다. 장비 도입 전에 임시 맥 환경도 검토한다면 KuzCloud 한국 지역 이용 조건에서 제공 범위를 확인할 수 있습니다.

CUDA 기반 vLLM 추론이 주 목적이라면 맥 대여는 듀얼 RTX 5090을 대체하는 장비가 아닙니다. 다만 운영 환경을 구매하기 전에 macOS나 애플 실리콘 호환성을 따로 시험해야 한다면, KuzCloud 맥 대여를 별도 검증 환경으로 고려할 수 있습니다. 해당 환경을 확인할 때는 KuzCloud 이용 안내를 살펴보고, 실제 목적과 맞는 임시 환경인지 판단하세요.

KuzCloud 원격 맥으로 추론 실험 운영을 보완하세요

KuzCloud의 전용 맥 미니 M4를 실험 스크립트 작성과 결과 정리를 위한 원격 개발 환경으로 활용할 수 있습니다.

실물 장비를 단독으로 사용하고 관리자 권한으로 필요한 개발 도구를 자유롭게 설치할 수 있습니다.