GPU-оборудование

Нужна ли CUDA 13.5 для запуска vLLM на RTX 5090? Диагностика среды 2026

Модуль vLLM не импортируется, а в журнале появляется ошибка CUDA — это ещё не означает, что нужна именно CUDA 13.5.
Быстрое решение: не устанавливайте CUDA 13.5 как обязательное условие для RTX 5090 и vLLM; сначала сопоставьте драйвер, CUDA-бэкенд PyTorch, сборку vLLM и формат модели. По состоянию на 30 сентября 2026 года официальный архив NVIDIA указывает CUDA 13.4.1, а изученные материалы vLLM перечисляют сборки для CUDA 12.8, 12.9 и 13.0, но не подтверждают обязательность CUDA 13.5.

Этот разбор предназначен для разработчиков, которые устанавливают или обновляют vLLM на RTX 5090 и не понимают, какую среду выбрать.
Он также пригодится тем, кто проверяет FP4-модели, длинные запросы и распределение памяти, а также командам, устраняющим конфликт между контейнером, PyTorch и CUDA.

Последняя проверка: 30 сентября 2026 года. Версии сверены с архивом CUDA Toolkit NVIDIA, инструкцией установки vLLM и страницей выпусков проекта. Если появится новая сборка vLLM или изменится официальная рекомендация для RTX 5090, список совместимых вариантов нужно перепроверить: сама дата публикации не заменяет проверку конкретного релиза.

Проверяйте связку RTX 5090, vLLM и CUDA 13.5 по компонентам

Фраза «для новой видеокарты нужна самая новая CUDA» звучит правдоподобно, но для выбора окружения её недостаточно. В работе участвуют разные слои: драйвер GPU, CUDA-библиотеки, с которыми собран PyTorch, версия vLLM и среда запуска. В контейнере часть библиотек может находиться внутри образа, тогда как драйвер предоставляется системой-хостом. Ошибка в любом из этих слоёв способна проявиться при установке, импорте расширения или запуске модели.

На дату проверки официальный архив NVIDIA перечисляет CUDA 13.4.1 как новейшую версию в архиве. В изученной инструкции установки vLLM и на странице выпусков vLLM представлены варианты сборок с CUDA 12.8, 12.9 и 13.0. Это не доказывает, что никакая сборка не может поддерживать CUDA 13.5 позднее; это означает, что по указанным официальным сведениям нельзя объявлять CUDA 13.5 обязательной для RTX 5090.

Также важно не смешивать CUDA Toolkit с CUDA-бэкендом PyTorch. Наличие toolkit в системе само по себе не подтверждает, с каким набором CUDA-компонентов собран установленный PyTorch и подходит ли он выбранной сборке vLLM. Указания по совместимости драйвера и CUDA приведены в документации NVIDIA о совместимости версий; ограничения конкретной установки следует сверять с официальными рекомендациями для соответствующего выпуска vLLM.

Перед изменениями сохраните базовый снимок окружения:

nvidia-smi
python - <<'PY'
import torch
print("torch:", torch.__version__)
print("torch CUDA backend:", torch.version.cuda)
print("GPU:", torch.cuda.get_device_name(0) if torch.cuda.is_available() else "unavailable")
PY
vllm --version

Если команда vllm --version не работает, зафиксируйте и эту ошибку: она поможет отличить неустановленный пакет от сбоя на этапе запуска. Дополнительно запишите, используете ли вы контейнер или установку в системе, откуда взят образ либо пакет, и какие переменные окружения влияют на загрузку библиотек. Эти сведения важнее, чем попытка сразу обновить все компоненты.

Выберите источник проблемы по этапу сбоя

Диагностика становится быстрее, если разделить ошибки на момент установки, импорта, запуска сервера и выполнения запроса. Сообщение об ошибке CUDA само по себе не указывает, в каком слое находится причина. Ниже — сравнение маршрутов проверки; первым выбирайте строку, соответствующую последнему успешно пройденному этапу.

Наблюдаемый симптом Что проверять сначала Как подтвердить направление
Установка прерывается или сборка расширения падает Выбранный способ установки, доступность готовой сборки, соответствие инструкциям версии vLLM Сопоставить версию пакета или контейнера с официальной инструкцией и сохранить полный журнал сборки
Импорт vLLM завершается ошибкой Совместимость установленного PyTorch, его CUDA-бэкенда и расширений vLLM Выполнить отдельную проверку импорта PyTorch и записать версии из базового снимка
Сервер стартует, но модель не загружается Конфигурацию весов, формат квантования, доступную память и поддержку операторов Запустить минимальную проверку загрузки без дополнительной параллельной нагрузки
Ошибка появляется только на длинном prompt Настройки обработки входа, планирование запросов и бюджет KV cache Сравнить запуск с Chunked Prefill и без него при неизменных весах и запросе
Модель отвечает, но результаты нестабильны Наличие ошибок исполнения, корректность формата и фактические пределы памяти Повторить короткий запрос, затем целевой сценарий, изменяя только один параметр

Если ошибка происходит при сборке, выясните, действительно ли выбранный вариант требует локальной компиляции или доступна подходящая готовая сборка. Проверьте инструкции именно для своего выпуска: команда установки из документации текущей ветки не является универсальным рецептом для любого предыдущего выпуска. Не смешивайте wheel, контейнер и локальную сборку в одном тесте — иначе будет сложнее определить, какой компонент изменил поведение.

Когда падает импорт, отдельно проверьте загрузку PyTorch и обнаружение GPU. Если PyTorch не видит CUDA, переход к диагностике модели преждевременен. Если PyTorch работает, но ломается импорт расширения vLLM, сравните варианты сборки и установленные зависимости с официальными материалами. Для контейнера уточните, какие библиотеки входят в образ, а какие приходят с хоста; наличие CUDA Toolkit на хосте не доказывает, что именно он используется внутри контейнера.

Не исправляйте неизвестную комбинацию обновлением «всего до последнего». Зафиксируйте исходные версии, измените один слой и повторите ту же команду. Если стало хуже, можно вернуться к исходной точке, а не разбирать несколько одновременных изменений.

Для воспроизводимого отчёта сохраняйте полный вывод запуска, а не только последнюю строку. Удаление контекста часто прячет, произошло ли несовпадение библиотек, отказ при загрузке расширения или ошибка выделения памяти.

Разделите ошибки FP4-модели и несовместимость вычислений

Надпись «4-bit» не описывает весь формат модели. Перед установкой весов выясните, что именно указано в конфигурации и карточке модели: NVFP4, INT4 или другой вариант; каким инструментом была выполнена квантизация; какие требования к операторам и бэкенду заявлены. Документация vLLM по выбору схемы NVFP4 и описание поддерживаемых контрольных точек ModelOpt помогают сверить формат с возможностями соответствующего пути выполнения.

NVFP4 — формат с плавающей точкой, тогда как INT4 использует целочисленное представление. Поэтому модели с одинаковым обозначением разрядности могут требовать разные реализации и не быть взаимозаменяемыми. Замена одного набора весов на другой, который также называется FP4, не обязательно устраняет ошибку: важны схема квантования, сохранённые метаданные и поддерживаемые операторы.

Разбирайте сбой по слоям:

  • Ошибка при чтении конфигурации или весов. Сверьте файлы модели, объявленный формат, ожидаемую архитектуру и требования к версии движка. Убедитесь, что тестируете именно выбранный вариант контрольной точки, а не соседний экспорт с похожим названием.
  • Модель загружается, но оператор не поддерживается. Здесь проверяют возможности бэкенда и сборки vLLM, а не только доступную память. Запишите точное имя оператора и окружение, в котором он вызывается.
  • Загрузка проходит, но ответы выглядят повреждёнными или неожиданными. Отделите ошибку исполнения от особенностей набора весов: повторите одинаковый короткий запрос, проверьте метаданные квантизации и сравните результат с известным для этой модели способом запуска. Не приписывайте ухудшение качества всему FP4 без контрольного теста.

Для планирования памяти нельзя считать, что номинальная разрядность полностью определяет фактическое потребление. Помимо самих весов, процессу могут понадобиться данные масштабирования, рабочие области и память для KV cache. Следовательно, сообщение «модель помещается по расчёту для весов» ещё не означает, что сервер выдержит требуемый контекст и параллельность.

Отключите Chunked Prefill только как диагностический тест

Chunked Prefill меняет обработку входного prompt и поведение планировщика запросов; он не уменьшает объём весов и не заменяет бюджетирование KV cache. Поэтому его нельзя использовать как универсальное средство «освободить VRAM». Сначала определите, возникает ли сбой только при обработке длинного входа или модель уже не загружается без запросов.

Для сопоставления сохраните неизменными версию движка, веса, контекст запуска и команду, а затем проведите два теста: один с текущей настройкой Chunked Prefill, другой — с отключённой или скорректированной настройкой, предусмотренной документацией используемого выпуска. При каждом запуске записывайте длину prompt, число одновременно обрабатываемых запросов, ограничение токенов в пакетной обработке и сообщение об ошибке. Параметры и их доступность сверяйте с документацией именно своей версии vLLM: имена и поведение опций нельзя переносить между выпусками без проверки.

Если ошибку удаётся вызвать только длинным входом, исследуйте путь планирования и пиковую рабочую память во время Prefill. Если сервер падает уже при загрузке весов, изменение Chunked Prefill вряд ли устранит первопричину. Если запрос завершается, но результат отличается, сначала проверьте, повторяется ли это при тех же входных данных и настройках. Сам факт включённого Chunked Prefill ещё не доказывает, что он вызвал некорректный ответ.

Частые вопросы о запуске RTX 5090 и vLLM

Какую версию CUDA выбирать для RTX 5090?
Выбор следует делать по конкретной поддерживаемой сборке vLLM и CUDA-бэкенду PyTorch, а не по правилу «новее всегда лучше». На указанную дату архив NVIDIA перечисляет CUDA 13.4.1; изученные варианты сборок vLLM включают CUDA 12.8, 12.9 и 13.0. Поэтому утверждение о необходимости CUDA 13.5 официальными источниками здесь не подтверждается. Перед установкой сверьте документацию своего выпуска и требования драйвера.

Как отличить конфликт PyTorch от проблемы CUDA при неудачной установке?
Сначала запишите сведения о драйвере и GPU, затем проверьте импорт PyTorch, его версию и значение torch.version.cuda. Если PyTorch не обнаруживает CUDA, исследуйте драйвер и среду запуска. Если PyTorch работает, но ломается импорт vLLM или расширения, сравните вариант сборки vLLM с CUDA-бэкендом PyTorch и зависимостями. Ошибка компиляции требует отдельного полного журнала — одной общей строки про CUDA недостаточно для вывода о причине.

Что проверить, если FP4-модель не загружается или выдаёт неверный результат?
Уточните в конфигурации модели конкретную схему квантования и происхождение контрольной точки. NVFP4 и INT4 — не одно и то же, даже если оба обозначены как четырёхбитные форматы. После этого проверьте, поддерживает ли нужный формат и его операторы ваша версия vLLM и выбранный бэкенд. Ошибки чтения весов, неподдерживаемого оператора и сомнительного ответа требуют разных проверок; не объединяйте их в диагноз «не хватает CUDA».

С чего начинать, если Chunked Prefill сопровождается нехваткой памяти?
Сопоставьте запуск с Chunked Prefill и без него на тех же весах и при тех же условиях. Зафиксируйте размер входа, параллельность и параметры пакетной обработки, сверяясь с документацией своей версии vLLM. Если проблема появляется только на длинном prompt, исследуйте путь Prefill и рабочую память; если сбой происходит до первого запроса, пересчитайте память весов и KV cache. Этот режим не заменяет оценку общей вместимости модели.

Проверяйте реальную границу памяти, а не число параметров

Даже корректно установленный сервер может быть нестабилен, если оценка памяти учитывает только веса. В расчёт нужно отдельно включить сами веса, данные масштабирования для квантованного представления, рабочие области вычислений и KV cache. Последний зависит от поведения модели и запросов; поэтому свободная память после загрузки не равна гарантированному запасу для целевого контекста и одновременных запросов.

Официальная страница характеристик NVIDIA указывает для RTX 5090 архитектуру Blackwell и 32 GB GDDR7. Это важная граница для первичного планирования, но не обещание, что любой набор весов с расчётным объёмом ниже неё будет стабильно работать: часть памяти нужна среде исполнения и запросам. В отчёте различайте теоретическую оценку и фактическое измерение по nvidia-smi во время загрузки и выполнения теста.

Не выводите возможность запуска только из общего числа параметров MoE-модели. Meta указывает для Llama 4 Scout 109 млрд параметров всего и 17 млрд активных параметров, а для Llama 4 Maverick — 400 млрд всего и 17 млрд активных параметров в официальном описании Llama 4. Активное число относится к работе модели, но не означает, что остальные веса можно не хранить или что любая версия модели поместится в память одной карты. Эти модели нельзя без оговорок называть «120B».

Устойчивость проверяйте последовательно, фиксируя состояние памяти и результат каждого этапа:

  • Установка: пакет или контейнер устанавливается и импортируется без ошибки.
  • Загрузка: выбранная контрольная точка считывается, а журнал не содержит отказа формата или оператора.
  • Короткий запрос: сервер завершает простой тест без дополнительной конкурирующей нагрузки.
  • Целевой сценарий: проверяются предполагаемые длина prompt, одновременные запросы и другие условия реальной эксплуатации.

Если короткий запрос проходит, а целевой нет, это не означает автоматически, что видеокарта «не поддерживает» модель. Сравните использование памяти между этапами и меняйте по одному параметру. Именно так можно установить, влияет ли на сбой контекст, параллельность, размер пакета или конкретная настройка планировщика. Не называйте теоретическую оценку результатом теста; численные выводы о производительности, памяти и качестве допустимы только при наличии опубликованного источника или явно описанного измерения.

Составьте воспроизводимую запись до следующего изменения

Сообщение в сообществе может подсказать направление поиска, но отдельный случай не устанавливает официальную совместимость и не доказывает, что проблема воспроизводится на другой машине. Для полезной передачи задачи команде подготовьте короткий отчёт, который позволяет повторить именно проблемное состояние.

Отметьте в нём:

  • модель GPU и сведения о драйвере;
  • способ установки — контейнер, готовый пакет или сборка из исходного кода — и источник выбранного варианта;
  • версии PyTorch и vLLM, а также CUDA-бэкенд PyTorch;
  • архитектуру модели, точное обозначение квантования и доступные метаданные;
  • параметры запуска, включая настройки обработки длинного входа;
  • полный журнал от начала команды до завершения;
  • состояние памяти до загрузки, после загрузки и во время проблемного запроса;
  • минимальный запрос, на котором сбой повторяется.

Далее изменяйте только один фактор за тест: сначала вариант установки или сборки, затем формат модели, затем настройки обработки запроса. Сохраняйте результаты и исходную конфигурацию. Если ошибка исчезла после нескольких одновременных изменений, причина всё ещё не установлена; при следующем обновлении она может вернуться. Такой отчёт также не позволяет превратить неподтверждённое сообщение из обсуждения в категоричный вывод о том, что RTX 5090 обязательно требует конкретную CUDA.

Разделите локальный CUDA-инференс и облачную Mac-разработку

Локальная RTX 5090 уместна, когда нужен CUDA-инференс непосредственно на GPU и команда готова самостоятельно поддерживать драйвер, PyTorch, сборку vLLM и модели. Цена такой независимости — обслуживание единственного локального окружения, зависимость тестов от состояния конкретной машины и риск того, что обновление одного компонента нарушит связку остальных. Для непрерывной тяжёлой нагрузки или работы, требующей физического GPU и локальных интерфейсов, облачная Mac-среда не является заменой.

Для редактирования кода, подготовки сценариев, оркестрации задач и других этапов, которым не требуется CUDA, эти функции можно отделить от локального GPU-тестирования и выполнять в облачной Mac-среде. Это не устраняет ограничений локальной RTX 5090 и не переносит CUDA-инференс на Mac; зато позволяет не использовать GPU-машину для задач, которые не задействуют её вычислительный тракт. Описание доступной среды и условий стоит проверять на русскоязычной странице KuzCloud, а вопросы по организации доступа — в разделе помощи KuzCloud.

Если ошибки возникают именно при выполнении CUDA-кода, оставьте инференс на совместимой GPU-системе и сначала установите воспроизводимую комбинацию версий. Если же проблема — в раздельной подготовке кода и запуске локальных GPU-тестов, рассмотрите разделение этих задач, не ожидая от облачного Mac запуска vLLM на CUDA. Такой выбор опирается на требования рабочей нагрузки, а не на предположение, что новая версия CUDA сама по себе устранит несовместимость.

Разделите GPU-инференс и удалённую разработку на Mac

KuzCloud предоставляет выделенный облачный Mac mini M4 для разработки, сборки и тестирования проектов.

Подключайтесь к физической машине напрямую по SSH или через VNC и получайте полный root-доступ.