在线推理 (Online Inference)：模型在收到用户请求（如点击按钮、输入查询）时实时进行计算，并立即返回单个预测结果（通常在毫秒级）。它要求模型服务低延迟、高并发，常用于需要即时反馈的应用，如推荐系统、欺诈检测、聊天机器人对话等。用户在新建推理接入点后，通过API Key的方式调用接入点。

体验链接：在线推理

推理接入点类型

预置推理接入点：当用户调用KAT系列模型时，平台提供对应模型的预置推理服务，用户可快捷调用。
自定义推理接入点：需由用户主动创建推理接入点，支持更丰富的模型选择。

新建自定义推理接入点

权限申请：

主账号（即溪流湖账户）拥有账号下所有项目的访问/管理权限，无需权限申请；
子账号：可由主账号为名下子账号设置某项目的只读/管理权限；

若账户余额不足，请先充值；
确认权限及余额无问题后，进入在线推理页面，选择「自定义推理接入点」，点击「新建推理服务」，进入创建页面；
填写名称、应用描述、标签等基础信息，用户可对接入模型配置接入点限流；
用户填写完成后点击「下一步进入信息确认与提交页面，提交成功后将自动跳转至推理点详情-API 调用页面。

调用推理点

进入在线推理列表页/详情页，选择需调用的推理点（推理点状态需为“运行中”），复制推理点ID，如“ep-xxx-xxx”。

API调用页面可以查看模型推理接入点的调用方法，点击「查看API Key」获取API Key，在环境变量中进行设置，参考API示例对模型推理接入点进行调用。API Key调用详细说明可查看在线推理点对话 API。

查看推理服务

预置推理接入点页面展示平台针对KAT系列模型预置的推理接入点，您可修改接入点限流，其余信息不支持修改；
自定义推理接入点列表展示该项目下的所有用户创建的推理点信息，您可修改推理点名称、描述、标签及限流信息。

查看调用监控

您在推理列表或调用监控页面可查看推理的监控记录，平台当前支持用户按天/小时/分钟选择聚合维度，支持自定义查询周期，调用监控最长保留一年，最大查询时间跨度为31天。

曲线图各指标说明

调用量（次）：按聚合维度展示统计周期内的各项指标数据：调用总量、调用成功次数、调用失败次数、Prompt cache次数；
消耗token数（tokens）：按聚合维度展示筛选条件下的各项指标数据，：token总数、输入token数、输出token数、Prompt cache token数；
模型调用耗时（秒）：按聚合维度展示筛选条件下调用耗时的平均值；
首次响应耗时（秒）：按聚合维度展示筛选条件下调用首包时长的平均值；
Token输出速度（个/秒）按聚合维度展示筛选条件下调用平均输出token的速度；
调用失败率（百分比）：按聚合维度展示筛选条件下调用失败率（调用失败/调用总量）。