跳到主要内容

快速开始

欢迎您来到揽睿星舟大模型应用开发平台。本篇文章将会向您介绍如何在平台内发现模型、部署模型推理服务,帮助您更快的玩转平台,为您的 AI 之旅提供助力。

一、基本概念

首先,在使用平台的过程中,您会接触到以下的概念

概念名称概念解释
星舟应用平台提供星舟应用模块,在星舟应用您可以找到平台已部署的应用,可以在线试用、通过接口按次调用或租赁算力自行部署。此外应用界介绍了应用中模型的网络结构以及具体参数。在平台内您可以分享自己的模型,也可以使用其他用户上传的模型。平台内同时支持多种推理服务的部署方式。
标准推理服务平台官方会提供一部分模型的 API 调用方式,您可以基于调用次数付费,调用 API或在线试用,使用模型的能力。
自助推理服务在平台内,您可以用实惠的价格租到高性价比的算力,并在其上部署专属于您的推理服务,推理服务通过 endpoint 方式,将模型部署为推理服务,持续为您输出模型能力。
星舟空间平台提供星舟空间模块。在星舟空间内,您可以通过租赁算力,快速部署一个星舟空间供您使用。当前平台提供了(Gradio、Jupyter、Sd-WebUI、ComfyUI、Fooocus)类型的空间。

二、发现模型

在平台内,您可以在星舟应用界面看到所有公开类型的模型,可以在左侧根据不同的任务类型、框架工具及许可证方式,筛选,也可以通过上方的搜索框进行模型名称的搜索,同时选择右上角的排序类型,右侧将会展示符合条件的模型。

模型筛选页

找到您需要的模型后,点击模型卡片,将进入模型详情页。首先您可以在「Playground」标签页中试用模型。同时我们提供了 Python 和 Http 的调用方法,您可以方便的将 AI 能力集成到您的项目中。

playground页

您可以切换至「README」标签页查看模型介绍,了解和使用模型。

README页

「模型和代码」标签页中可以查看模型文件和代码,您可以通过 git 方式将模型文件下载至本地。

模型和代码页

三、使用模型进行推理

揽睿平台针对模型的推理服务部署,有以下两种形式,您可以按照需求选择最适合您的模型推理服务部署方式。

1、使用标准推理服务

我们在平台上运行了一批高配置高稳定性的算力,并部署了平台内模型,开放 API 接口。您可以轻松对接标准推理服务 API,快速接入 AI 能力,平台将基于您调用的次数按量计费。

点击模型详情页,您可以在【Playground】界面中,点击【Python】、【HTTP】tab,在相应tab页,您能看到相应方式的API调用说明文档(并不是所有模型都支持 API 调用,平台将陆续支持,如果没有请选用其他部署方式),按文档配置您的 API Key(API Key 使用请点 这里,将 API 接口代码复制于您的项目中,即可开始在您的项目中使用平台内的模型,不同模型的 API 价格请参考这里

标准推理服务

2、部署自助推理服务

您可以在平台内按需租赁算力,并按照步骤进行专属于您的自助推理服务。

点击模型详情页右上角的【部署】按钮,跳转至自助推理服务界面,按界面中的输入项,选择满足您需求的算力,平台将基于您的选择计算算力价格。

自助推理服务

在您支付费用后,就会跳转至您采购的自助推理服务界面,

我的星舟自助推理服务

点击【查看】按钮,进入自助推理服务详情页,在详情页中,您可以看到服务的详情、副本状态,同时您可以点击【扩容/缩容】进行手动扩缩容操作。点击【编辑】进行自助推理服务的编辑,点击【启动/停止】进行服务的启动停止操作。

星舟自助推理服务详情页

扩容/缩容

三、模型文件上传&下载

平台内的模型文件采用 git 的方式进行管理。点击界面右上角的【克隆/下载】按钮弹出弹窗。

克隆/下载

弹窗内将提供连接至当前模型仓库的方式,当您可以通过 git https 等方式进行 git clonegit push 的操作,具体文件上传&下载的方式请点这里


了解更多

当您读到这里,您已经学会了如何在平台内使用查找模型、使用模型推理服务等,若您想进一步了解平功能,请查看相应教程。