批量推理点对话 API

批量推理点对话 API

请求 URL

POST https://wanqing.streamlakeapi.com/api/gateway/v1/endpoints/batch/chat/completions

请求头

Authorization: Bearer YOUR_API_KEY
Content-Type: application/json

请求参数

消息格式

{
    "messages": [
        {
            "role": "",
            "content": ""
        }
    ],
    "model": "",
    "stream": false,
}

响应格式

成功响应（非流式）

{
    "id": "req-71z2sj-1755282699618223575", // 请求Id，唯一标识一次请求
    "object": "chat.completion", // 对象类型，表示这是 chat completion 响应
    "created": 1741569952, // 创建该 chat completion 的 Unix 时间戳（单位为秒）
    "model": "", // 生成该 chat completion 所使用的模型名称
    "choices": [ // 模型生成的 chat completion 的候选列表（可能有多个候选回复）
        {
            "index": 0, // 该 chat completion 在候选列表中的索引，从0开始
            "message": { // 消息内容
                "role": "assistant", // 生成这条消息内容的角色类型（assistant）
                "content": "你好，我可以帮你什么？", // 模型返回的实际回复内容
                "refusal": null, // 拒绝原因（如果AI拒绝回答）
                "annotations": [] // 注释信息（额外的元数据）
            },
            "logprobs": null, // 对数概率信息（用于分析生成概率）
          	// 模型停止生成的原因
            "finish_reason": "stop" // 完成原因（stop/length/content_filter等）
        }
    ],
    "usage": { // 令牌使用统计
        "prompt_tokens": 19, // 输入提示消耗的token数
        "completion_tokens": 10, // 生成回复消耗的令牌数
        "total_tokens": 29, // 总令牌数（prompt + completion）
        "prompt_tokens_details": { // 输入令牌详细信息
            "cached_tokens": 0, // 缓存的令牌数
            "audio_tokens": 0 // 音频令牌数
        },
        "completion_tokens_details": { // 输出令牌详细信息
            "reasoning_tokens": 0, // 推理过程使用的令牌数
            "audio_tokens": 0, // 音频输出令牌数
            "accepted_prediction_tokens": 0, // 接受的预测令牌数
            "rejected_prediction_tokens": 0 // 拒绝的预测令牌数
        }
    },
    "service_tier": "default" // 服务层级（default/scale等）
}

成功响应（流式）

​data: {
    "choices": [
        {
            "delta": {
                "content": "你好"
            },
            "finish_reason": null,
            "index": 0,
            "logprobs": null
        }
    ],
    "created": 1755282700,
    "event": "model_thought",
    "id": "req-71z2sj-1755282699618223575",
    "model": "qwen3-30b-a3b",
    "object": "chat.completion.chunk",
    "system_fingerprint": null,
    "usage": null
}

......

​data: {
    "choices": [],
    "created": 1755283049,
    "id": "req-pg48yq-1755283048307453384",
    "model": "qwen3-30b-a3b",
    "object": "chat.completion.chunk",
    "system_fingerprint": null,
    "usage": {
        "completion_tokens": 1470,
        "completion_tokens_details": {
            "reasoning_tokens": 454
        },
        "prompt_tokens": 11,
        "total_tokens": 1481
    }
}

data: [DONE]

错误响应

{
    "ResponseMeta": {
      	// 请求ID
        "RequestId": "",
      	// 错误码
        "ErrorCode": "",
      	// 错误信息
        "ErrorMessage": ""
    }
}