logologo
售前咨询
快手万擎
开始使用
模型介绍
产品计费
API说明
控制台介绍
模型定制
场景示例
相关协议
文档中心
控制台介绍模型定制模型部署

模型部署


在模型部署板块,用户可对当前项目下【模型仓库】中的模型进行私有化部署的全链路管理。

适用场景

什么情况下推荐使用私有模型部署?

  • 模型广场提供的模型无法满足用户功能需求,需要自行使用开源社区等其他渠道来源的大模型进行部署
  • 对模型服务的性能、稳定性、隔离性等有较高需求
  • 需要部署经过平台【模型微调】产出的大模型

部署创建

新建模型部署

在左侧导航栏模型定制板块,选择「模型部署」,点击「+模型部署」进入新建信息填写页面:

页面截图

配置项

说明

名称

必填,部署实例名称,建议模型名称+使用场景,例如: qwen2.5-7b-test。

描述

非必填,部署实例描述,建议记录部署使用需求等信息。

基础模型

必填,部署的模型,可选当前项目在【模型仓库】中的模型。

副本数

必填,默认为1,副本数越多,能够提高吞吐和稳定性,但会消耗更多的GPU资源,建议用户按需选择。

计费类型

按模型单元后付费(小时):按照实际使用时长付费,适合短期、弹性需求;

按模型单元预付费(按月):按月预留资源,适合中长期稳定需求。【暂未支持】

信息填写完成后,根据用户所选模型、副本、计费类型计算费用:

若用户选择「按模型单元后付费」,将展示每小时预估价格,例如:¥10/小时;

若用户选择「按模型单元预付费」,将展示具体费用,例如:¥100。

部署任务列表

在左侧导航栏模型定制板块,选择「模型部署」,若当前项目下有模型部署任务,将展示部署任务列表,用户可查看各个任务的名称、状态、模型名称、副本数、任务描述等。

页面截图

展示项

说明

任务名称

点击将跳转至该模型部署详情

状态

  • 【排队中】Pending,正在等待资源调度;
  • 【创建中】Creating,新的模型服务部署中;
  • 【运行中】Available,模型服务创建或者更新完成,此为模型服务部署成功的正常状态;
  • 【变更中】Updating,存量模型服务配置滚动更新中;
  • 【部分异常】Degraded,部分实例没有 Running,点击提示可查看异常信息及处理引导;
  • 【异常】Unavailable,整体完全无法正常对外提供服务;
  • 【已下线】Terminating,模型服务已下线,此时可以执行删除,或者重新扩容上线。

模型名称

展示部署任务的模型名称,支持筛选。

副本数

展示部署任务的副本数。

任务描述

展示部署任务的描述。

最近更新人

展示部署任务的最近更新人,支持筛选。

最近更新时间

展示部署任务的最近更新时间,支持排序。

操作

可对部署任务进行扩缩容操作或删除部署任务,若当前存在引用的资源,将无法删除。


上一篇:模型微调下一篇:模型仓库
该篇文档内容是否对您有帮助?
有帮助没帮助