OOM при развёртывании Kimi K3 в vLLM: что снижать?
Критерий выбора здесь простой: при OOM во время загрузки Kimi K3 сначала проверяют аппаратный и программный минимум; при падении на первом длинном запросе уменьшают контекст; при падении только после роста параллелизма ограничивают число последовательностей и отдельно проверяют кеш. Если минимальная нагрузка не становится стабильной после такой проверки, выгоднее сменить совместимую тестовую среду, а не продолжать урезать рабочие параметры.
Эта статья предназначена для инженеров, которые уже запускают Kimi K3 через vLLM и видят нехватку памяти на этапе инициализации, prefill или нагрузочного теста. Она также подходит платформенным командам, которым нужно определить границу длинного контекста и параллелизма для Agent-сценариев, а техническим руководителям — сравнить настройку текущего кластера, расширение ресурсов и аренду изолированной среды.
Последнее обновление: 6 августа 2026 года. Данные сверены с официальным recipe vLLM для Kimi K3, публикацией vLLM от 27 июля 2026 года, актуальной документацией по параметрам памяти и открытыми материалами по поддержке модели.
Шаг 1. Зафиксируйте момент OOM до изменения параметров
Строка OutOfMemoryError в конце журнала не всегда показывает настоящую причину. Для Kimi K3 необходимо отметить, на каком из четырёх этапов процесс завершается:
- до обработки первого запроса — вероятна нехватка статической памяти модели, несовместимость образа, ошибка распределения по rank-процессам или неподходящая аппаратная конфигурация;
- на первом коротком запросе — проблема может быть связана с базовой инициализацией кеша, рабочими буферами или неверным окружением;
- на длинном запросе — основной подозреваемый связан с объёмом prefill, фактической длиной входа, выходным бюджетом или мультимодальными данными;
- после увеличения числа одновременных запросов — проверяются активные последовательности, батч токенов, KV-блоки и поведение prefix caching.
До перезапуска следует сохранить:
- полный журнал запуска от выбора образа до создания engine;
- версии образа, vLLM, PyTorch и CUDA;
- модель GPU на каждом узле и распределение rank-процессов;
- свободную память каждой GPU до старта, после загрузки весов и перед первым запросом;
- длину входа, ожидаемый объём ответа, наличие изображений и инструментов;
- число одновременно активных последовательностей в момент сбоя.
Такой журнал нужен не для формального отчёта, а для выбора следующего эксперимента. Если процесс не дошёл до первого запроса, снижение max-num-seqs не освободит память, которую занимают веса и структуры engine. Если короткий запрос стабилен, но длинный завершается OOM на prefill, отключение кеша может ухудшить повторные запросы, не устранив пиковую нагрузку.
Шаг 2. Проверьте статический ресурс и совместимость окружения
Официальный рецепт vLLM указывает для Kimi K3 специальный Docker-образ vllm/vllm-openai:kimi-k3. В текущем описании этот образ собран только под CUDA 13, а хосту требуется драйвер NVIDIA уровня r580 или новее. В рецепте также указан минимальный профиль на 8 GPU класса GB300 для NVIDIA-варианта; это именно граница официального сценария, а не универсальная формула для любого квантования или топологии. Официальный recipe Kimi K3 для vLLM
Критично не подменять эти требования настройками сервера:
max-model-lenне исправляет несовместимость CUDA и драйвера;max-num-seqsне уменьшает объём памяти, необходимый для загрузки весов;- отключение
prefix cachingне превращает неподходящий образ в совместимый; - увеличение
gpu-memory-utilizationне добавляет физическую память и может только отложить ошибку до момента выделения буферов; - перенос части процесса на CPU не следует считать подтверждённым способом запуска без проверки конкретной версии recipe.
Для базовой проверки нужно сопоставить фактическое окружение с официальным recipe Kimi K3:
- используется ли рекомендованный образ, а не произвольный nightly;
- совпадает ли архитектура GPU с поддерживаемым профилем;
- видит ли каждый rank свою GPU;
- нет ли занятой памяти от другого процесса;
- соответствует ли драйвер требованию r580+;
- не смешаны ли на одном запуске несовместимые CUDA-библиотеки хоста и контейнера.
Документация прямо отмечает, что для CUDA 12.9 и драйвера r575 требуется обновление драйвера либо самостоятельная сборка vLLM из ветки K3 с отдельной проверкой зависимостей. Это не следует трактовать как готовый штатный путь: такой вариант уже выходит за пределы простого запуска официального образа. Описание окружения и ограничений Kimi K3
Чек-лист статического OOM
- [ ] OOM появляется до первого API-запроса.
- [ ] На всех GPU зафиксирована свободная память перед запуском.
- [ ] В журнале есть успешная или незавершённая загрузка каждого rank.
- [ ] Используется актуальный тег образа из официального recipe.
- [ ] Драйвер хоста проверен отдельно от версии CUDA внутри контейнера.
- [ ] Попытка снизить
max-model-lenне используется как замена проверке совместимости. - [ ] При несоответствии окружения сначала исправляется среда, а не бизнес-профиль сервиса.
Если хотя бы один из первых пяти пунктов не подтверждён, настройка параллелизма пока преждевременна.
Шаг 3. Если падает длинный запрос, измерьте prefill, а не только длину контекста
Когда короткий запрос проходит, а длинный текст, кодовая база или мультимодальный ввод приводит к OOM, наиболее вероятна перегрузка во время prefill. В этот момент движок обрабатывает входной массив до начала обычной генерации, поэтому пиковая память может отличаться от памяти при спокойном decode.
max-model-len следует воспринимать как верхний предел, а не как обязательный размер каждого запроса. Поддержка Kimi K3 рассчитана на очень длинный контекст, однако это не означает, что конкретному Agent-сценарию нужно сразу резервировать максимальный диапазон. Официальный рецепт отдельно рекомендует подбирать max-model-len под тестовый сценарий. Рекомендации vLLM по запуску Kimi K3
Порядок проверки:
- Зафиксировать короткий запрос, который стабильно завершается.
- Оставить неизменными модель, образ, число GPU и настройки кеша.
- Увеличивать только длину входа ступенями, соответствующими реальным Agent-задачам.
- Записывать пиковую память во время prefill, время до первого токена и результат запроса.
- После нахождения границы повторить тест дважды, чтобы исключить случайный фоновый расход памяти.
- Затем проверить отдельный бюджет ответа: длинный вывод может удерживать дополнительные блоки и менять профиль нагрузки.
- Выбрать минимальный контекст, который сохраняет качество задачи, а не максимальное значение, которое однажды прошло.
Для репозитория с системной инструкцией, схемами инструментов и историей сообщений нужно различать:
- постоянный общий префикс;
- изменяющуюся часть пользовательского запроса;
- фактический объём результата;
- мультимодальные элементы, которые могут создавать дополнительные временные буферы.
Если используется chunked prefill или мультимодальная обработка, параметры нельзя переносить из старой конфигурации без проверки документации конкретной версии vLLM. В документации по аргументам запуска vLLM необходимо подтвердить название параметра, его область действия и совместимость с текущим runner. Не стоит считать, что одинаково названная опция ведёт себя одинаково в разных ветках разработки.
Однопараметрический эксперимент для длинного запроса
Первый запуск — базовая длина контекста и один запрос. Второй — меняется только max-model-len или фактическая длина входа. Третий — возвращается исходный контекст и уменьшается только максимальный объём ответа. Если OOM исчезает лишь во втором сценарии, ограничение связано с prefill или резервированием контекстного пространства. Если ошибка сохраняется независимо от длины, нужно вернуться к статическому окружению или проверить, не является ли ошибка асинхронным сбоем CUDA.
Шаг 4. При росте параллелизма отделите лимит последовательностей от кеша
Если один запрос и несколько коротких последовательных запросов работают, а OOM возникает после увеличения одновременной нагрузки, первым изменяется лимит активных последовательностей. В vLLM параметр max-num-seqs задаёт верхнюю границу числа одновременно обрабатываемых последовательностей; его смысл отличается от max-model-len, который ограничивает длину последовательности.
Проверка выполняется так:
- Запустить один и тот же запрос при одной активной последовательности.
- Повторить его при двух, затем при следующем целевом уровне параллелизма.
- Не изменять в этой серии длину входа, бюджет ответа и кеш.
- Для каждого уровня записать пиковую память, очередь, задержку первого токена и момент OOM.
- Вернуться к стабильному уровню и отдельно протестировать влияние
prefix caching. - Сравнить не только факт успешного запуска, но и пропускную способность, время ожидания и долю повторного использования префикса.
Важное различие: снижение параллелизма уменьшает число одновременно удерживаемых состояний, но не обязательно снижает пиковую память одного длинного prefill. Поэтому при одиночном длинном запросе такой шаг может не дать результата.
Шаг 5. Проверяйте prefix caching на повторяемом трафике
Для Kimi K3 prefix caching не следует считать автоматически включённым только потому, что сервер запустился. В официальной команде запуска vLLM для модели присутствует явный параметр --enable-prefix-caching. Публикация vLLM также описывает специальную гибридную схему кеширования для KDA-состояния и обычных KV-блоков, поэтому поведение Kimi K3 нельзя полностью оценивать по опыту стандартной Transformer-модели. Публикация vLLM о поддержке Kimi K3
В документации по конфигурации кеша vLLM указано, что gpu_memory_utilization является ограничением памяти текущего экземпляра, а enable_prefix_caching управляет включением prefix caching. Эти параметры отвечают за разные вещи: первый задаёт бюджет для executor, второй меняет способ повторного использования обработанных префиксов.
Для проверки нужны запросы с реальным общим префиксом:
- одинаковая системная инструкция;
- один и тот же набор инструментов;
- повторяющаяся версия документа или репозитория;
- несколько Agent-ходов с общей историей.
Серия без общего префикса не показывает пользу кеша и может только создать дополнительное давление на память. В серии с повторяемым префиксом сравниваются:
- пиковое потребление GPU-памяти;
- время prefill;
- число активных cache blocks;
- доступный объём KV-кеша;
- процент повторного совпадения;
- стабильность при росте параллелизма.
Если включение кеша меняет только время до сбоя, но не устраняет сам сбой, это ещё не доказательство, что причина — нехватка памяти. Для Kimi K3 уже опубликованы специфические сообщения об illegal memory access при конкурентной нагрузке и экспериментальном режиме кеширования Mamba; они относятся к конкретной сборке и окружению, поэтому должны использоваться как гипотеза для проверки, а не как универсальный диагноз. Пример специфического сообщения об ошибке в GitHub issue
Частые вопросы перед повторным запуском
FAQ ниже не заменяет журнал теста. Его задача — не дать распространённым коротким рекомендациям привести к неверному изменению нескольких переменных одновременно.
Если OOM появляется при загрузке, уменьшение max-model-len имеет смысл только после того, как подтверждено, что engine уже прошёл статическую инициализацию и резервирует память под runtime-кеш. До этого приоритетом остаются образ, драйвер, CUDA, свободная память и распределение rank-процессов.
При нехватке памяти на длинном контексте первым ограничивается реальный вход и верхняя граница контекста, затем отдельно проверяется бюджет генерации. Ограничение параллелизма подключается позже, если одиночный длинный запрос стабилен, а ошибка возникает только при нескольких активных последовательностях.
При OOM после роста параллелизма не следует сразу отключать prefix caching. Сначала ограничивается число последовательностей, затем запускается A/B-проверка кеша на трафике с общим префиксом. Иначе можно одновременно изменить количество запросов и структуру распределения кеша, потеряв причинность эксперимента.
Шаг 6. Отличите настоящий OOM от асинхронной ошибки CUDA
В журнале нужно разделять минимум три класса событий:
- Настоящая ошибка выделения памяти — сообщения вроде
CUDA out of memory,Failed to allocate, недостаток свободной памяти или невозможность создать нужный буфер. - Завершение процесса системой — контейнер или worker исчезает без обычного исключения; проверяются системные журналы, лимиты контейнера и признаки принудительного завершения.
- Асинхронная ошибка CUDA — например,
illegal memory access, после которой следующая операция сообщает ошибку, хотя повреждение могло произойти раньше.
В открытом issue по Kimi K3 описаны падения при конкурентной нагрузке, при которых сообщение появляется в разных местах — в CUDA Graph, TMA-дескрипторе или Triton-ядре. Авторы issue сами рассматривают эти места как возможные точки обнаружения ранее возникшей асинхронной ошибки, а не как окончательно установленный корень проблемы. Пример следует считать средовым воспроизведением, а не подтверждённой общей причиной OOM.
Практическая последовательность:
- сохранить первый CUDA-related traceback, а не только последнюю строку;
- проверить, меняется ли ошибка при фиксированном одном запросе;
- отдельно сравнить prefix caching on/off;
- не объявлять
enforce-eagerрабочим решением без замера скорости и стабильности; - проверить состояние tracking issue и связанного отчёта именно для соответствующей версии образа;
- при необходимости локализовать асинхронную ошибку с помощью диагностического режима CUDA только на коротком тестовом окне.
Если отключение кеша или снижение параллелизма лишь увеличивает время до падения, но не устраняет illegal memory access, это аргумент против классификации проблемы как обычной нехватки памяти. Следующим шагом становится сбор воспроизводимого сценария для конкретной версии vLLM, а не дальнейшее бесконечное уменьшение рабочих параметров.
Шаг 7. Выберите путь восстановления по стоимости отката
После однопараметрических тестов обычно остаются три реалистичные стратегии.
Сохранить текущие ресурсы и сузить сервис. Подходит, когда короткий контекст и ограниченный параллелизм проходят повторную проверку, а бизнес-сценарий допускает очередь. Цена — меньшая пропускная способность, более высокая задержка и необходимость формально закрепить лимиты в API-шлюзе.
Добавить совместимые ресурсы. Подходит, если окружение уже подтверждено, минимальный сценарий стабилен, а OOM возникает на нужной команде нагрузки. Увеличение ресурсов не должно быть первым шагом при r575, неверном образе или ошибке ядра: дополнительные GPU могут только сделать дорогим воспроизведение той же неисправности.
Перейти в изолированную тестовую среду. Это рациональный вариант, если текущий кластер не проходит минимальный baseline, содержит смешанные версии драйверов или занят другими workload. Изолированная среда позволяет подтвердить официальный путь запуска без риска нарушить существующие сервисы. Для оценки доступных вариантов можно начать с консоли KuzCloud, а вопросы по доступу и эксплуатации сверить с разделом помощи KuzCloud.
Критерий выхода должен быть заранее определён: минимальный тест проходит несколько повторов, длинный запрос укладывается в согласованный лимит, целевой уровень параллелизма не вызывает OOM, а повторный префикс действительно демонстрирует ожидаемое поведение. Сам факт успешного старта процесса не означает готовность к выдаче команды разработки.
Итоговая матрица решения
| Наблюдаемый профиль | Первое изменение | Что измерить после изменения | Когда прекратить настройку |
|---|---|---|---|
| OOM до первого запроса | Проверить образ, CUDA, драйвер, свободную память и rank-процессы | Этап загрузки каждого rank и доступную память | Если официальный минимум не проходит даже без нагрузки |
| Короткий запрос стабилен, длинный падает | Уменьшить фактический вход и max-model-len |
Пиковую память prefill, задержку первого токена и качество Agent-задачи | Если минимальный полезный контекст всё равно не проходит |
| Один запрос стабилен, параллелизм вызывает OOM | Ограничить max-num-seqs |
Память, очередь, задержку и пропускную способность | Если требуемый уровень параллелизма недостижим на текущем ресурсе |
| Повторяемый префикс вызывает нестабильность после включения кеша | Провести A/B-тест с --enable-prefix-caching |
Hit rate, cache blocks, память и тип ошибки | Если меняется только частота сбоя или появляется illegal memory access |
В журнале illegal memory access, SIGSEGV или cascading CUDA errors |
Отделить асинхронный сбой от OOM | Первый CUDA traceback и воспроизводимость по версии | Если проблема воспроизводится на минимальной нагрузке |
| Все параметры снижены, но baseline не проходит | Перейти в совместимую изолированную среду | Стабильность официального сценария и полный fingerprint | Если текущий кластер не подтверждает базовую совместимость |
С точки зрения закупки, наиболее дорогой ошибкой является не сам OOM, а неверная классификация. Попытка лечить несовместимый CUDA-стек снижением контекста не даёт устойчивого результата; ограничение параллелизма не помогает одиночному prefill; отключение prefix caching может скрыть симптом, но лишить Agent-сценарий ожидаемой повторной обработки префиксов.
Если текущий кластер уже занят другими задачами, использует неподходящий драйвер или не позволяет быстро воспроизвести официальный baseline, аренда изолированной GPU-среды у KuzCloud может быть практичнее долгой перестройки. Самостоятельная инфраструктура остаётся оправданной для постоянной тяжёлой нагрузки и команд, которым нужны собственные физические интерфейсы, но для временной проверки Kimi K3 она часто добавляет задержку закупки, миграции и согласования драйверов. Сначала стоит подтвердить границу запуска в отдельной совместимой среде, а затем решать, требуется ли расширение постоянного кластера или достаточно временного ресурса.
Проверьте развёртывание Kimi K3 в KuzCloud
Запустите vLLM в изолированной среде KuzCloud и определите, связана ли ошибка с загрузкой модели, длиной контекста или параллелизмом.
Подберите вычислительный узел для последовательной проверки параметров и оценки фактического потребления памяти.