创建推理服务

您可以在平台内按需租赁算力，并按照步骤进行专属于您的推理服务部署。

创建入口

您可以通过以下两个入口创建推理服务：

• 点击顶部菜单 创建 --> + 推理服务 即可进入推理服务创建页面
• 推理社区中选择感兴趣的推理服务，点击 部署 按钮，也可进入推理服务创建页面，并会自动填入相对应的模型名称和模型框架

创建页面说明

• 实例名称：自定义推理服务的名称，为您的服务起一个好听的名字吧
• 可用区：选择您的推理服务所在的可用区
• 资源类型：选择平台内提供的高性价比算力，进行推理服务的部署
• 副本数量：创建推理服务的副本数，副本数越多，服务的并发能力越强，您可以在随后根据服务请求量随时更改您的副本数量
• 推理引擎框架：创建推理服务使用的推理引擎框架，如星舟推理引擎，SD WebUI API，ComfyUI API等
• 模型名称：当选择了 星舟推理引擎 时，需要选择启动加载的模型
• 自动停止：选择是否自动停止推理服务，设置后推理服务将在指定时间自动停止，节省费用
• 描述：推理服务的简单介绍

推理服务的使用

在您创建成功后，就会自动跳转至 我的推理服务 列表页，您可获取调试地址进行调用

查看、扩缩容、编辑、启动停止

点击 查看 按钮，进入自助推理服务详情页

在详情页中，您可以看到服务的详情、副本状态、资源监控等信息

同时您可以点击 扩容/缩容 进行扩缩容操作

点击 编辑 编辑推理服务的信息

点击 启动/停止 进行服务的启停操作