Контракт canonical Chat Completions route. Passthrough не означает поддержку любого поля OpenAI.
modelstringverifiedПоле обязательно даже при одной доступной модели. Другой ID не выбирает скрытую модель или провайдера.
"model": "Qwen/Qwen3.5-397B-A17B-FP8"messagesarray<object>verifiedИстория передаётся upstream. Для tool-ответа используйте role=tool и соответствующий tool_call_id.
"messages": [{"role":"user","content":"Привет"}]max_tokensintegerverifiedОграничивает весь output: reasoning, финальный текст и tool calls вместе. 42gpu не подставляет значение при текущей конфигурации, но admission резервирует 8192 токена, если поле пропущено.
"max_tokens": 2048temperaturenumberpassthroughПередаётся без преобразования. Точный default и границы не являются контрактом 42gpu.
"temperature": 0.7top_pnumberpassthroughNucleus sampling; передаётся без преобразования. Обычно меняют temperature или top_p, а не оба одновременно.
"top_p": 0.9streambooleanverifiedtrue возвращает Server-Sent Events. Поток завершается событием data: [DONE].
"stream": truestream_optionsobjectpassthroughПередаётся upstream. include_usage просит отдельный финальный chunk с usage до [DONE].
"stream_options": {"include_usage": true}stopstring | string[]passthroughПоследовательности остановки передаются без изменения; точный лимит количества не установлен 42gpu.
"stop": ["</answer>"]seedintegerpassthroughПередаётся без изменения. Одинаковый seed не является гарантией побитовой воспроизводимости между версиями deployment.
"seed": 42frequency_penaltynumberpassthroughПередаётся без преобразования; точные границы не закреплены публичным контрактом 42gpu.
"frequency_penalty": 0.2presence_penaltynumberpassthroughПередаётся без преобразования; точные границы не закреплены публичным контрактом 42gpu.
"presence_penalty": 0.2nintegerpassthroughЗапрашивает несколько choices. Каждый сгенерированный токен учитывается в usage и стоимости; production-путь с n>1 отдельно не гарантируется.
"n": 1toolsarray<object>verifiedDeployment запущен с auto tool choice и Qwen tool-call parser. Аргументы функции возвращаются JSON-строкой; валидируйте их в приложении.
"tools": [{"type":"function","function":{"name":"weather","parameters":{"type":"object"}}}]tool_choicestring | objectpassthrough42gpu не нормализует выбор инструмента; неподдерживаемая форма будет отклонена upstream.
"tool_choice": "auto"response_formatobjectunsupported / not documentedПоле технически проходит через proxy, но structured output на текущем deployment не защищён smoke-тестом. Не полагайтесь на него как на публичный контракт.
не публикуетсяsystem, user и assistant принимают текстовый content. Роль tool связывается с вызовом через tool_call_id.
Для user-сообщения проверены массивы блоков text + image_url. Deployment также принимает video_url в той же схеме: {"type":"video_url","video_url":{"url":"…"}}. Доступность URL и медиа-лимиты проверяет upstream.
{
"model": "Qwen/Qwen3.5-397B-A17B-FP8",
"messages": [{
"role": "user",
"content": [
{"type": "text", "text": "Что изображено?"},
{"type": "image_url", "image_url": {"url": "https://example.com/image.jpg"}}
]
}],
"max_tokens": 512
}Нативный публичный control — chat_template_kwargs.enable_thinking. Если его пропустить, 42gpu не подставляет значение: применяется поведение chat template/upstream.
{
"model": "Qwen/Qwen3.5-397B-A17B-FP8",
"messages": [{"role": "user", "content": "Реши: 17 × 24"}],
"chat_template_kwargs": {"enable_thinking": true},
"thinking_token_budget": 1024,
"max_tokens": 2048
}{
"model": "Qwen/Qwen3.5-397B-A17B-FP8",
"messages": [{"role": "user", "content": "Ответь кратко: 17 × 24"}],
"chat_template_kwargs": {"enable_thinking": false},
"max_tokens": 256
}thinking_token_budget — нативный положительный integer. При выключенном thinking 42gpu удаляет его.
enable_thinking (top-level) — compatibility alias: переносится в chat_template_kwargs.enable_thinking и удаляется.
reasoning_effort: "none" выключает thinking; любая другая непустая строка включает. Это compatibility mapping, а не шкала качества.
thinking_budget — compatibility alias для thinking_token_budget. Нативное поле имеет приоритет.
max_tokens не относится только к финальному тексту: reasoning тоже тратит общий output budget. Если лимит закончился после reasoning и до ответа, response сохраняет reasoning_content и может получить diagnostic thinking_token_budget_exhausted.
В non-streaming reasoning приходит в choices[].message.reasoning_content, в SSE — в choices[].delta.reasoning_content.
Сообщения, output budget, reasoning on/off и budget, sampling passthrough-поля, streaming, stop, seed, tools/tool choice и проверенные image/video content blocks.
Семейство и веса модели, FP8, окно 262144, GPU/topology и tensor parallelism, регион hosting, admission limits, fallback, logging/retention, billing mechanics, deployment и autoscaling. Политики SLA, retention и compliance не выводятся из JSON-параметров.