批量推理 (Batch Inference):模型在非实时、离线状态下,对累积的大量数据(如一天的用户日志、历史记录)集中、一次性进行预测计算,结果通常批量输出到数据库或文件。批量推理注重处理吞吐量和资源利用率,适用于报表生成、用户分群、历史数据分析等场景。
体验链接:批量推理
批量推理点
新建
- 权限申请:
- 主账号(即溪流湖账户)拥有账号下所有项目的访问/管理权限,无需权限申请;
- 子账号:可由主账号为名下子账号设置某项目的只读/管理权限;
- 若账户余额不足,请先充值。
点击「新建批量推理点」进入信息填写页面,用户需填写以下信息:
页面截图 | 需填写字段 |

| - 名称(必填):支持中英文、数字、下划线、中划线,不能以下划线和中划线开头,用户最多可输入64个字符,同一项目内推理点名称不能重复;
- 描述(非必填):用户最多可输入200个字符;
- 标签(非必填):最多可选20个标签;
- 接入模型(必填):默认为空,选择模型后支持切换;
- 计费方式:若资源包有余量,则计费时优先抵扣资源包余量。
|
用户填写完成后点击「下一步」进入信息确认与提交页面,提交成功后将自动跳转至推理点详情-API 调用页面。

任务详情
用户在此页面可查看某个推理点的API调用方式及推理点基本信息。
API调用
API调用页面可以查看模型推理接入点的调用方法,点击「查看API Key」获取API Key,在环境变量中进行设置,参考API示例对模型推理接入点进行调用。查看API Key调用详细说明请点击:API调用。

基本信息
用户在此页面可查看选中推理点的名称、标签、描述、接入模型、模型限额,点击「编辑」按钮可修改该接入点的名称、标签及描述。

推理点列表
当某个项目下存在多个批量推理接入点时,用户可在批量推理列表页面查看该项目下的所有推理点信息,包括批量推理点名称、状态、模型服务、标签等信息。该页面支持通过接入点名称/ID、描述进行搜索。用户在该页面可对选中的推理点进行以下操作:
页面截图 | 参数说明 |

| - API调用:点击后,当前页面打开详情-API调用;
- 监控:点击后将在新标签页打开推理点的调用统计;
- 体验:点击后将在新标签页打开此推理点接入模型的模型体验页面;
- 编辑:点击后打开编辑信息弹窗,支持修改名称、描述、标签;
- 开启/停止:
- 开启:仅已停止的推理点支持操作「开启」;
- 停止:仅运行中的推理点支持操作「停止」;
- 删除:仅已停止的推理点支持操作「删除」,删除需二次确认。
|
批量推理任务
新建
点击「新建批量推理任务」进入信息填写页面,用户需填写以下信息:
页面截图 | 需填写字段 |

| - 名称(必填):支持中英文、数字、下划线、中划线,不能以下划线和中划线开头,用户最多可输入64个字符,同一项目内推理点名称不能重复;
- 描述(非必填):用户最多可输入200个字符;
- 标签(非必填):最多可选20个标签;
- 接入模型(必填):默认为空,选择模型后支持切换,模型限额为「每天10亿tokens」;
- 计费方式:若资源包有余量,则计费时优先抵扣资源包余量;
- 最长等待时间(非必填):从任务创建时开始计时,若任务在设置时间内未全部完成,平台将自动停止该任务,用户可查看已执行的结果文件;
- 上传数据文件(必填):可下载数据模板,一次最多可上传1个文件,文件最多包含5万条数据,文件大小不超过500MB。
|
用户填写完成后点击「下一步」进入信息确认与提交页面,提交成功后将自动跳转至批量推理-任务详情页面。
任务详情
用户在此页面可查看选中批量推理任务的名称、标签、描述、任务开始时间及接入配置等信息,点击「编辑」按钮可修改该接入点的名称、标签及描述。任务执行成功/异常/结果文件过期提醒将通过短信方式告知用户。

任务列表
当某个项目下存在多个批量推理任务时,用户可在批量推理列表页面查看该项目下的所有推理任务信息,包括批量推理任务名称、状态、任务进度、模型服务、标签等信息。该页面支持通过接入点名称/ID、描述进行搜索。用户在该页面可对选中的推理点进行以下操作:
页面截图 | 参数说明 |

| - 查看结果:点击后可查看该批量推理任务已完成的推理结果;
- 监控:点击后将在新标签页打开推理点的调用统计;
- 终止:点击后将终止执行该批量推理任务,终止后将无法继续执行,已终止状态可查看已完成的推理结果;
- 编辑:点击后打开编辑信息弹窗,支持修改名称、描述、标签;
- 删除:仅已停止的推理任务支持操作「删除」,删除需二次确认。
|