API Reference

Модели

Сейчас в публичном inference API доступна одна модель. Roadmap не является каталогом доступности.

Точное значение поля model

qwen3.8-flash-next

Поле обязательно. Название другой модели или провайдера не выбирает альтернативный backend. Устаревшие идентификаторы перечислены ниже.

Текущая доступность

Модель
Qwen3.8 Flash Next
Weights / формат
Qwen/Qwen3.8-Flash-Next-FP8, FP8
Контекст
1 000 000 токенов всего (нативно 262 144, расширен)
Размер
MoE 125B, 6B активных
Лицензия весов
qwen-community-1.0
Hosting
8x A100 80GB, РФ
Input
19.10 ₽ / 1M токенов
Output
64.60 ₽ / 1M токенов

1000000 — общий лимит input + зарезервированного output, а не гарантированный размер одного prompt. Длинные запросы проходят admission control.

Проверенные возможности deployment

Chat Completions

Текстовые сообщения и обычный non-stream response.

Streaming

SSE chunks, reasoning_content и завершение [DONE].

Tool calling

Function tools, auto tool choice и Qwen tool parser.

Reasoning

Thinking on/off, budget и reasoning_content.

Изображения

image_url content blocks в user-сообщении; capabilities.vision=true.

Structured output / response_format проходит через proxy, но не входит в проверенный публичный контракт.

Получить каталог

GET/vllm/v1/models

Возвращает статический публичный каталог 42gpu и не зависит от занятости inference upstream.

Terminal
curl -sS https://api.42gpu.ru/vllm/v1/models \
  -H "Authorization: Bearer $GPU42_API_KEY"
Response200
{
  "object": "list",
  "data": [
    {
      "id": "qwen3.8-flash-next",
      "object": "model",
      "owned_by": "42gpu",
      "root": "qwen3.8-flash-next",
      "context_length": 1000000,
      "pricing": {
        "input": "RUB 0.0191/1K",
        "output": "RUB 0.0646/1K"
      },
      "capabilities": {
        "chat": true,
        "streaming": true,
        "functions": true,
        "vision": true
      },
      "endpoint": "/vllm/v1/chat/completions"
    }
  ]
}

Устаревшие идентификаторы (deprecated)

Qwen 3.5 397B снята с обслуживания. Старые значения model по-прежнему принимаются как алиасы, но на них отвечает Qwen3.8 Flash Next; тариф не изменился.

  • qwen3.5-397b
  • Qwen/Qwen3.5-397B-A17B-FP8

Рекомендуем перейти на qwen3.8-flash-next: алиасы оставлены для обратной совместимости и не возвращаются в каталоге.

Фиксированные свойства

Вес модели, FP8, контекст, GPU/topology, tensor parallelism, hosting region, admission limits, fallback и deployment configuration задаются платформой. Они не выбираются значением model или произвольными JSON-полями.

Что можно менять в запросе →