在模型部署板块,用户可对当前项目下【模型仓库】中的模型进行私有化部署的全链路管理。
什么情况下推荐使用私有模型部署?
在左侧导航栏模型定制板块,选择「模型部署」,点击「+模型部署」进入新建信息填写页面:
页面截图 | 配置项 | 说明 |
名称 | 必填,部署实例名称,建议模型名称+使用场景,例如: qwen2.5-7b-test。 | |
描述 | 非必填,部署实例描述,建议记录部署使用需求等信息。 | |
基础模型 | 必填,部署的模型,可选当前项目在【模型仓库】中的模型。 | |
副本数 | 必填,默认为1,副本数越多,能够提高吞吐和稳定性,但会消耗更多的GPU资源,建议用户按需选择。 | |
计费类型 | 按模型单元后付费(小时):按照实际使用时长付费,适合短期、弹性需求; 按模型单元预付费(按月):按月预留资源,适合中长期稳定需求。【暂未支持】 |
信息填写完成后,根据用户所选模型、副本、计费类型计算费用:
若用户选择「按模型单元后付费」,将展示每小时预估价格,例如:¥10/小时;
若用户选择「按模型单元预付费」,将展示具体费用,例如:¥100。
在左侧导航栏模型定制板块,选择「模型部署」,若当前项目下有模型部署任务,将展示部署任务列表,用户可查看各个任务的名称、状态、模型名称、副本数、任务描述等。
页面截图 | 展示项 | 说明 |
任务名称 | 点击将跳转至该模型部署详情 | |
状态 |
| |
模型名称 | 展示部署任务的模型名称,支持筛选。 | |
副本数 | 展示部署任务的副本数。 | |
任务描述 | 展示部署任务的描述。 | |
最近更新人 | 展示部署任务的最近更新人,支持筛选。 | |
最近更新时间 | 展示部署任务的最近更新时间,支持排序。 | |
操作 | 可对部署任务进行扩缩容操作或删除部署任务,若当前存在引用的资源,将无法删除。 |