快速开始

本平台提供两种场景的 API 访问方案，旨在满足不同的业务需求：

1. 在线推理点：适用于实时场景的低延迟业务场景（如聊天机器人、客服系统）
2. 批量推理点：适用于大规模数据处理场景（如文本分析、批量摘要）

两种 API 接口均兼容 OpenAI Chat Completions 格式规范，便于开发者快速集成。

使用流程

本节将带您在 5 分钟内完成首次在线推理点&批量推理点 API 调用。

前置准备

1. 注册并登录平台账号
2. 确保开通万擎服务
3. 准备好您的开发环境（ cURL 调用、 Python、Golang、Java 等主流语言）

获取并配置 API Key

引导用户如何获取一个 API Key

获取 API Key

登录万擎平台控制台 >【 系统管理与统计】->【 API Key 管理】> 点击 "创建 API Key"

⚠️ 请妥善保存生成的 API Key。

配置 API Key

环境变量配置（推荐）：

# Linux/Mac
export WQ_API_KEY="your-api-key-here"

# Windows
set WQ_API_KEY=your-api-key-here

准备推理点

准备在线推理点

登录万擎平台控制台 >【模型服务】->【在线推理】> 点击 "新建推理服务"

在线推理列表页/详情页，定位目标推理接入点（实例状态需为 "运行中"）：

复制推理接入点 ID，示例值为：ep-xxx-xxx

准备批量推理点

登录万擎平台控制台 >【 模型推理】->【批量推理 】> 点击 "新建批量推理点"

批量推理点列表页/详情页，定位目标推理接入点（实例状态需为 "运行中"）：

复制推理接入点 ID，示例值为：ep-xxx-xxx

发起调用

在线推理点 API 调用

cURL 示例

curl 'https://wanqing.streamlakeapi.com/api/gateway/v1/endpoints/chat/completions' \
-H "Authorization: Bearer $WQ_API_KEY"  \
-H 'Content-Type: application/json' \
-d '{
    "model": "ep-dxf81n-1751215333281xxxx", 
    "stream": true, 
    "messages": [ 
        {
            "role": "system",
            "content": "你是一个 AI 人工智能助手。"
        },
        {
            "role": "user",
            "content": "请用简洁的语言介绍你自己，并举例说明你最能帮助用户解决哪类问题。"
        }
    ]
}'

Python 示例

pip install --upgrade "openai>=1.0"

import os
from openai import OpenAI

# 请确保您已将 API Key 存储在环境变量 WQ_API_KEY 中
client = OpenAI(
    base_url="https://wanqing.streamlakeapi.com/api/gateway/v1/endpoints",
    # 从环境变量中获取您的 API Key
    api_key=os.environ.get("WQ_API_KEY")
)

response = client.chat.completions.create(
    model="ep-dxf81n-1751215333281xxxx",  # ep-dxf81n-1751215333281xxxx 为您当前的推理点ID
    messages=[ 
        {
            "role": "system",
            "content": "你是一个 AI 人工智能助手。"
        },
        {
            "role": "user",
            "content": "请用简洁的语言介绍你自己，并举例说明你最能帮助用户解决哪类问题。"
        }
    ],
)
print(response.choices[0].message.content)

Golang 示例

go get -u 'github.com/openai/openai-go@v1.12.0'

package main

import (
    "context"
    "os"

    "github.com/openai/openai-go"
    "github.com/openai/openai-go/option"
)

func main() {
    // 请确保您已将 API Key 存储在环境变量 WQ_API_KEY 中
    client := openai.NewClient(
        option.WithBaseURL("https://wanqing.streamlakeapi.com/api/gateway/v1/endpoints"),
		    // 从环境变量中获取您的 API Key
		    option.WithAPIKey(os.Getenv("WQ_API_KEY")),
	    )
    chatCompletion, err := client.Chat.Completions.New(context.TODO(), openai.ChatCompletionNewParams{
		    Messages: []openai.ChatCompletionMessageParamUnion{
			    openai.SystemMessage("你是一个 AI 人工智能助手。"),
			    openai.UserMessage("请用简洁的语言介绍你自己，并举例说明你最能帮助用户解决哪类问题。"),
		    },
		    // ep-dxf81n-1751215333281xxxx 为您当前的推理点ID
		    Model: "ep-dxf81n-1751215333281xxxx",
    })
    if err != nil {
        panic(err.Error())
    }
    println(chatCompletion.Choices[0].Message.Content)
}

Java 示例

使用 Gradle 进行依赖安装：

implementation("com.openai:openai-java:2.12.0")

或者使用 Maven 进行依赖安装：

<dependency>
  <groupId>com.openai</groupId>
  <artifactId>openai-java</artifactId>
  <version>2.12.0</version>
</dependency>

// 该代码所使用 OpenAI SDK 版本为 2.12.0
import com.openai.client.OpenAIClient;
import com.openai.client.okhttp.OpenAIOkHttpClient;
import com.openai.models.chat.completions.ChatCompletion;
import com.openai.models.chat.completions.ChatCompletionCreateParams;

public class Main {
    public static void main(String[] args) {
      	// 请确保您已将 API Key 存储在环境变量 WQ_API_KEY 中
        OpenAIClient client = OpenAIOkHttpClient.builder()
          			// 从环境变量中获取您的 API Key
                .apiKey(System.getenv("WQ_API_KEY"))
                .baseUrl("https://wanqing.streamlakeapi.com/api/gateway/v1/endpoints")
                .build();

        ChatCompletionCreateParams params = ChatCompletionCreateParams.builder()
                .addSystemMessage("你是一个 AI 人工智能助手。")
                .addUserMessage("请用简洁的语言介绍你自己，并举例说明你最能帮助用户解决哪类问题。")
          			// ep-dxf81n-1751215333281xxxx 为您当前的推理点ID
                .model("ep-dxf81n-1751215333281xxxx")
                .build();

        try {
            ChatCompletion chatCompletion = client.chat().completions().create(params);
            System.out.println(chatCompletion);
        } catch (Exception e) {
            System.err.println("Error occurred: " + e.getMessage());
            e.printStackTrace();
        }
    }
}

批量推理点 API 调用

cURL 示例

curl 'https://wanqing.streamlakeapi.com/api/gateway/v1/endpoints/batch/chat/completions' \
-H "Authorization: Bearer $WQ_API_KEY"  \
-H 'Content-Type: application/json' \
-d '{
    "model": "ep-dxf81n-1751215333281xxxx", 
    "messages": [ 
        {
            "role": "system",
            "content": "你是一个 AI 人工智能助手。"
        },
        {
            "role": "user",
            "content": "请用简洁的语言介绍你自己，并举例说明你最能帮助用户解决哪类问题。"
        }
    ]
}'

Python 示例

pip install --upgrade "openai>=1.0"

import os
from openai import OpenAI

# 请确保您已将 API Key 存储在环境变量 WQ_API_KEY 中
client = OpenAI(
    base_url="https://wanqing.streamlakeapi.com/api/gateway/v1/endpoints/batch",
    # 从环境变量中获取您的 API Key
    api_key=os.environ.get("WQ_API_KEY")
)

response = client.chat.completions.create(
    model="ep-dxf81n-1751215333281xxxx",  # ep-dxf81n-1751215333281xxxx 为您当前的推理点ID
    messages=[ 
        {
            "role": "system",
            "content": "你是一个 AI 人工智能助手。"
        },
        {
            "role": "user",
            "content": "请用简洁的语言介绍你自己，并举例说明你最能帮助用户解决哪类问题。"
        }
    ],
)
print(response.choices[0].message.content)

Golang 示例

go get -u 'github.com/openai/openai-go@v1.12.0'

package main

import (
    "context"
    "os"

    "github.com/openai/openai-go"
    "github.com/openai/openai-go/option"
)

func main() {
    // 请确保您已将 API Key 存储在环境变量 WQ_API_KEY 中
    client := openai.NewClient(
        option.WithBaseURL("https://wanqing.streamlakeapi.com/api/gateway/v1/endpoints/batch"),
		    // 从环境变量中获取您的 API Key
		    option.WithAPIKey(os.Getenv("WQ_API_KEY")),
	    )
    chatCompletion, err := client.Chat.Completions.New(context.TODO(), openai.ChatCompletionNewParams{
		    Messages: []openai.ChatCompletionMessageParamUnion{
			    openai.SystemMessage("你是一个 AI 人工智能助手。"),
			    openai.UserMessage("请用简洁的语言介绍你自己，并举例说明你最能帮助用户解决哪类问题。"),
		    },
		    // ep-dxf81n-1751215333281xxxx 为您当前的推理点ID
		    Model: "ep-dxf81n-1751215333281xxxx",
    })
    if err != nil {
        panic(err.Error())
    }
    println(chatCompletion.Choices[0].Message.Content)
}

Java 示例

// 该代码所使用 OpenAI SDK 版本为 2.12.0
import com.openai.client.OpenAIClient;
import com.openai.client.okhttp.OpenAIOkHttpClient;
import com.openai.models.chat.completions.ChatCompletion;
import com.openai.models.chat.completions.ChatCompletionCreateParams;

public class Main {
    public static void main(String[] args) {
      	// 请确保您已将 API Key 存储在环境变量 WQ_API_KEY 中
        OpenAIClient client = OpenAIOkHttpClient.builder()
          			// 从环境变量中获取您的 API Key
                .apiKey(System.getenv("WQ_API_KEY"))
                .baseUrl("https://wanqing.streamlakeapi.com/api/gateway/v1/endpoints/batch")
                .build();

        ChatCompletionCreateParams params = ChatCompletionCreateParams.builder()
                .addSystemMessage("你是一个 AI 人工智能助手。")
                .addUserMessage("请用简洁的语言介绍你自己，并举例说明你最能帮助用户解决哪类问题。")
          			// ep-dxf81n-1751215333281xxxx 为您当前的推理点ID
                .model("ep-dxf81n-1751215333281xxxx")
                .build();

        try {
            ChatCompletion chatCompletion = client.chat().completions().create(params);
            System.out.println(chatCompletion);
        } catch (Exception e) {
            System.err.println("Error occurred: " + e.getMessage());
            e.printStackTrace();
        }
    }
}