logologo
售前咨询
快手万擎
开始使用
模型介绍
产品计费
API说明
控制台介绍
相关协议
文档中心
控制台介绍批量推理

批量推理


批量推理 (Batch Inference):模型在非实时、离线状态下,对累积的大量数据(如一天的用户日志、历史记录)集中、一次性进行预测计算,结果通常批量输出到数据库或文件。批量推理注重处理吞吐量和资源利用率,适用于报表生成、用户分群、历史数据分析等场景。

体验链接:批量推理

批量推理点

新建

  1. 权限申请:
  • 主账号(即溪流湖账户)拥有账号下所有项目的访问/管理权限,无需权限申请;
  • 子账号:可由主账号为名下子账号设置某项目的只读/管理权限;
  1. 若账户余额不足,请先充值

点击「新建批量推理点」进入信息填写页面,用户需填写以下信息:

页面截图

需填写字段

  1. 名称(必填):支持中英文、数字、下划线、中划线,不能以下划线和中划线开头,用户最多可输入64个字符,同一项目内推理点名称不能重复;
  2. 描述(非必填):用户最多可输入200个字符;
  3. 标签(非必填):最多可选20个标签;
  4. 接入模型(必填):默认为空,选择模型后支持切换;
  5. 计费方式:若资源包有余量,则计费时优先抵扣资源包余量。

用户填写完成后点击「下一步」进入信息确认与提交页面,提交成功后将自动跳转至推理点详情-API 调用页面。

任务详情

用户在此页面可查看某个推理点的API调用方式及推理点基本信息。

API调用

API调用页面可以查看模型推理接入点的调用方法,点击「查看API Key」获取API Key,在环境变量中进行设置,参考API示例对模型推理接入点进行调用。查看API Key调用详细说明请点击:API调用

基本信息

用户在此页面可查看选中推理点的名称、标签、描述、接入模型、模型限额,点击「编辑」按钮可修改该接入点的名称、标签及描述。

推理点列表

当某个项目下存在多个批量推理接入点时,用户可在批量推理列表页面查看该项目下的所有推理点信息,包括批量推理点名称、状态、模型服务、标签等信息。该页面支持通过接入点名称/ID、描述进行搜索。用户在该页面可对选中的推理点进行以下操作:

页面截图

参数说明

  1. API调用:点击后,当前页面打开详情-API调用;
  2. 监控:点击后将在新标签页打开推理点的调用统计;
  3. 体验:点击后将在新标签页打开此推理点接入模型的模型体验页面;
  4. 编辑:点击后打开编辑信息弹窗,支持修改名称、描述、标签;
  5. 开启/停止:
  • 开启:仅已停止的推理点支持操作「开启」;
  • 停止:仅运行中的推理点支持操作「停止」;
  1. 删除:仅已停止的推理点支持操作「删除」,删除需二次确认。

批量推理任务

新建

点击「新建批量推理任务」进入信息填写页面,用户需填写以下信息:

页面截图

需填写字段

  1. 名称(必填):支持中英文、数字、下划线、中划线,不能以下划线和中划线开头,用户最多可输入64个字符,同一项目内推理点名称不能重复;
  2. 描述(非必填):用户最多可输入200个字符;
  3. 标签(非必填):最多可选20个标签;
  4. 接入模型(必填):默认为空,选择模型后支持切换,模型限额为「每天10亿tokens」;
  5. 计费方式:若资源包有余量,则计费时优先抵扣资源包余量;
  6. 最长等待时间(非必填):从任务创建时开始计时,若任务在设置时间内未全部完成,平台将自动停止该任务,用户可查看已执行的结果文件;
  7. 上传数据文件(必填):可下载数据模板,一次最多可上传1个文件,文件最多包含5万条数据,文件大小不超过500MB。

用户填写完成后点击「下一步」进入信息确认与提交页面,提交成功后将自动跳转至批量推理-任务详情页面。

任务详情

用户在此页面可查看选中批量推理任务的名称、标签、描述、任务开始时间及接入配置等信息,点击「编辑」按钮可修改该接入点的名称、标签及描述。任务执行成功/异常/结果文件过期提醒将通过短信方式告知用户。

任务列表

当某个项目下存在多个批量推理任务时,用户可在批量推理列表页面查看该项目下的所有推理任务信息,包括批量推理任务名称、状态、任务进度、模型服务、标签等信息。该页面支持通过接入点名称/ID、描述进行搜索。用户在该页面可对选中的推理点进行以下操作:

页面截图

参数说明

  1. 查看结果:点击后可查看该批量推理任务已完成的推理结果;
  2. 监控:点击后将在新标签页打开推理点的调用统计;
  3. 终止:点击后将终止执行该批量推理任务,终止后将无法继续执行,已终止状态可查看已完成的推理结果;
  4. 编辑:点击后打开编辑信息弹窗,支持修改名称、描述、标签;
  5. 删除:仅已停止的推理任务支持操作「删除」,删除需二次确认。


上一篇:在线推理下一篇:调用监控
该篇文档内容是否对您有帮助?
有帮助没帮助