2026: vLLM на двух RTX 5090 — тензорный параллелизм или несколько реплик?
Для vLLM на двух RTX 5090 выбирайте тензорный параллелизм, если модель с нужными настройками не помещается на одной карте; если помещается, а цель — обслуживать больше независимых запросов, сначала проверяйте отдельные реплики и data parallel. Этот выбор зависит от реальной конфигурации модели, возможностей используемой версии vLLM и измерений на вашей нагрузке: две установленные карты сами по себе не делают совместный запуск быстрее.
Эта статья — для разработчиков, которые запускают локальный вывод через vLLM и решают, разделять ли модель между GPU.
Она пригодится руководителям AI-студий, которым важен баланс между размером модели и числом одновременных запросов.
Специалистам по закупке и эксплуатации она поможет сначала определить профиль нагрузки, а затем проверять подходящую платформу.
Последняя проверка: 13 октября 2026 года. Стратегии сверены с документацией vLLM и материалами NVIDIA NCCL, перечисленными в статье; параметры зависят от версии и требуют проверки перед развёртыванием.
Сначала определите, что именно ограничивает сервис
Вопрос «как задействовать обе карты?» недостаточно точен для выбора схемы. Для решения нужно разделить два разных ограничения:
- Модель не помещается на одной карте. Имеют значение не только веса, но и настройки квантования, рабочая память, длина контекста и KV-кэш. Если в целевой конфигурации один экземпляр не запускается на одной GPU, независимые реплики проблему вместимости не решат: каждой реплике потребуется отдельная память под модель.
- Модель помещается, но не хватает пропускной способности. Если сервису нужно одновременно обрабатывать больше независимых запросов, копии модели на разных GPU могут быть полезнее, чем разделение вычислений одного экземпляра.
- Сервис чувствителен к задержке одного запроса. Скорость ответа отдельному пользователю — не то же самое, что суммарное число обработанных запросов. Тензорное параллельное исполнение может оказаться уместным, но результат зависит от обмена между картами и конкретного режима генерации.
- Память расходуется не только на веса. Настройки контекста и одновременности влияют на место, доступное для KV-кэша. Поэтому утверждение «веса влезают» ещё не доказывает, что нужный профиль обслуживания поместится.
- Многокарточная связь зависит от платформы. Интерфейс, топология, доступность P2P и программная конфигурация влияют на передачу данных. Обозначение PCIe x8 само по себе не задаёт фиксированный процент потери производительности.
В документации vLLM по параллельному масштабированию tensor parallelism и data parallelism рассматриваются как разные способы распределения работы. Практический вывод для конфигуратора простой: сперва сформулировать цель — вместить модель или увеличить обработку запросов, — а уже затем выбирать режим.
Важно: обсуждения пользователей о том, что двойной GPU «работает медленнее», полезны как повод проверить топологию и замерить обмен, но не являются доказательством того, что любая система с двумя RTX 5090 потеряет производительность или обязательно окажется медленнее одной карты.
Когда нужна общая модель на нескольких GPU
Тензорный параллелизм распределяет части модели или её вычислений между несколькими GPU. Это может позволить запустить конфигурацию, которая не работает на одной карте, или изменить время выполнения одного запроса. Но карты должны согласованно обмениваться данными во время вычислений, поэтому добавляется коммуникационная составляющая.
Использовать эту стратегию имеет смысл, когда:
- целевой экземпляр модели с выбранными настройками не помещается на одну GPU;
- один запрос должен использовать разделённую между картами модель;
- применяемая версия vLLM поддерживает нужное сочетание модели и стратегии;
- проверка на целевой платформе показывает, что обмен не нивелирует ожидаемую пользу.
Если между картами нет NVLink, это не означает автоматический запрет на тензорный параллелизм. Однако вывод о пригодности PCIe нужно делать по фактическому пути передачи данных и тестам, а не по числу слотов на материнской плате. Подход NCCL к проверке устройств, топологии и P2P описан в официальном руководстве по диагностике GPU.
При этом NCCL-параметры не заменяют ширину или качество канала между картами. Например, NCCL_P2P_DISABLE отключает P2P-коммуникацию; его можно проверять как диагностический вариант, если есть основания подозревать проблему P2P, но считать его универсальной настройкой для ускорения нельзя. Описание переменных и их назначения приведено в справочнике NCCL по переменным окружения.
Когда выгоднее несколько независимых экземпляров
Если одна GPU самостоятельно обслуживает нужный вариант модели, а главная задача — принимать больше независимых запросов, проверяйте GPU multi-replica deployment: размещение отдельной копии модели на каждой карте с распределением запросов между ними.
Плюс подхода — реплики не обязаны синхронно делить каждый шаг вычисления одного и того же запроса. Это может лучше соответствовать сервису, где важна суммарная пропускная способность. Но выигрыш не гарантирован: он зависит от размера очереди, распределения запросов, настроек генерации и того, насколько эффективно экземпляры используют доступную память.
Стоимость этой схемы в первую очередь выражается в ресурсах: каждой независимой копии нужна память под свой экземпляр модели, а также пространство для рабочего состояния и KV-кэша. Если модель целиком помещается только при разбиении между картами, две независимые реплики на тех же картах не станут альтернативой.
Термин «vLLM data parallel» может обозначать режим, встроенный в vLLM, а не только несколько отдельно запущенных процессов. В документации есть отдельные описания развёртывания data parallel и вариантов обработки запросов. Перед внедрением проверьте, как именно выбранная версия распределяет запросы и какие сочетания поддерживает: независимые процессы с внешним балансированием и встроенный режим нельзя считать взаимозаменяемыми без проверки.
Для MoE отдельно проверьте комбинации стратегий
Для моделей MoE нельзя переносить выводы о dense-модели без проверки. В зависимости от архитектуры, версии фреймворка и цели обслуживания могут быть уместны экспертный параллелизм, тензорный параллелизм или их сочетание с data parallel. Выбор зависит от того, как модель распределяет экспертов и какие коммуникационные операции требуются при генерации.
В документации vLLM по развёртыванию expert parallel описаны соответствующие возможности фреймворка, но наличие описанного режима не означает поддержку любой модели или произвольной комбинации параллельных стратегий. Сверяйте конкретную архитектуру и текущие ограничения. Конфигурацию, проверенную на одной MoE-модели, не следует автоматически назначать Llama 4 или всем моделям этого типа.
Сравните варианты на одной и той же нагрузке
Не выбирайте конфигурацию по одному показателю. Задержка до первого токена важна для интерактивного ответа; скорость генерации характеризует поведение отдельной последовательности; пропускная способность показывает, сколько работы система выполняет для потока запросов; память помогает понять, сохраняется ли запас для нужного контекста. Высокий результат в одной категории не доказывает превосходства по остальным.
Для сравнения тензорного параллелизма и реплик зафиксируйте одинаковые условия:
- модель и её точную версию;
- способ квантования и связанные настройки;
- длину контекста и профиль входных данных;
- количество и характер запросов, включая одновременность;
- версию vLLM, драйверов и используемых библиотек;
- метрики: задержку первого токена, генерацию, суммарную пропускную способность и занятость памяти.
Для получения повторяемого результата используйте актуальные команды и параметры из документации vLLM по запуску benchmark. Не сравнивайте одиночный запрос на одной схеме с потоком запросов на другой: это разные задачи, и такой тест не позволяет обоснованно выбрать конфигурацию.
При диагностике связи проверьте, видит ли система ожидаемую топологию и доступен ли P2P, затем сравните поведение на целевой нагрузке. Руководство NCCL по сбору диагностической информации помогает выявлять проблемы коммуникации. Если для проверки меняется переменная окружения, меняйте только один фактор за запуск и фиксируйте результат. Это отделяет диагностический эффект от предположения, будто отдельный параметр способен компенсировать аппаратное ограничение.
Выберите схему по условиям, а не по числу карт
- Если модель с целевыми настройками не запускается на одной карте — проверяйте тензорный параллелизм или другой поддерживаемый для этой архитектуры вариант модельного параллелизма. Затем измеряйте межкарточный обмен на нужном профиле запросов.
- Если модель помещается на одной карте, а требуется обрабатывать больше запросов — сначала сравнивайте реплики и доступный режим data parallel; учитывайте полное размещение модели для каждой копии.
- Если важна задержка одного интерактивного запроса — отдельно тестируйте разбиение модели, но не делайте вывод по суммарной пропускной способности сервиса.
- Если обслуживаются пакетные или параллельные запросы — сравнивайте throughput для реального потока и не подменяйте его скоростью единичной генерации.
- Если используется MoE — подтвердите поддержку нужной комбинации по документации и ограничениям текущей версии, прежде чем собирать конфигурацию.
- Если между GPU нет ожидаемой связи или схема даёт нестабильные результаты — остановите оптимизацию параметрами вслепую и проверьте топологию, P2P и журналы NCCL.
Перед закупкой и запуском проверьте исходные условия
Используйте список перед оценкой платформы и развёртыванием:
- [ ] Целевая модель действительно проверена на одной карте с нужными квантованием, контекстом и рабочим запасом памяти.
- [ ] Выбранная версия vLLM поддерживает требуемый режим для этой модели; документация проверена непосредственно перед настройкой.
- [ ] Для data parallel предусмотрена память на самостоятельную копию модели и её рабочее состояние.
- [ ] Для тензорного параллелизма изучена топология GPU и проверена доступность P2P.
- [ ] Сформулирована цель теста: вместимость модели, задержка отдельного запроса или пропускная способность.
- [ ] Сравнение проводится на одинаковом наборе запросов и одинаковых параметрах модели.
- [ ] NCCL-переменные используются для проверки конкретной гипотезы, а не как замена подходящей аппаратной топологии.
Для эксплуатации также важно разделять выбор аппаратуры и доступ к среде. Если задача уже сформулирована, но требуется проверить конфигурацию перед закупкой, сведения о доступных возможностях следует уточнять через панель KuzCloud и раздел помощи; они не заменяют теста именно вашей модели и профиля запросов.
Частые вопросы
Когда на двух RTX 5090 действительно нужен тензорный параллелизм?
Когда модель в целевой конфигурации не помещается на одной GPU либо тесты подтверждают, что разделение подходит заданным требованиям. Затем нужно проверить поддержку в версии vLLM и измерить межкарточный обмен.
Требуется ли полная копия модели для каждой карты при data parallel?
Для независимой реплики нужна память под собственный экземпляр модели и его рабочее состояние. Проверьте также место для KV-кэша при целевом контексте.
Как увеличить параллельную обработку, если модель работает на одной карте?
Сравните независимые копии и поддерживаемый версией vLLM режим data parallel. Измеряйте одинаковый поток запросов, а не только скорость одиночной генерации.
Подходит ли tensor parallelism без NVLink?
Возможно, но ответ зависит от топологии PCIe, P2P и нагрузки. Проверьте фактический обмен и результаты теста; отключение P2P параметром NCCL не увеличивает пропускную способность.
Перед арендой или покупкой оборудования полезно сначала проверить, какую задачу должна решать система: запуск модели, не помещающейся на одной карте, или обслуживание большего числа запросов. Текущая двухкарточная конфигурация может требовать тонкой настройки топологии, ограничивать масштабирование из-за совместного обмена и оставлять часть памяти недоступной для независимых копий. Для CUDA-зависимого вывода через vLLM аренда Mac не является прямой заменой RTX-системе. Но если параллельно нужен временный стенд для совместимых задач разработки и тестирования, аренда Mac через KuzCloud может избавить от отдельной закупки и обслуживания ещё одной машины; сначала проверьте требования программного стека, а затем выбирайте подходящую среду.
Подготовьте отдельную среду для разработки и управления проектом
KuzCloud предоставляет выделенный Mac mini M4 с полным root-доступом для работы с кодом, инструментами разработки и автоматизацией.
Подключайтесь к удалённому Mac по SSH или VNC и используйте его как отдельную среду для задач, не связанных с вычислениями на RTX 5090.