跳到主要内容

简介

揽睿·知用 推理服务帮助用户快速创建大模型的推理服务，支持多种模态的模型，支持多种推理框架。

特性​

揽睿·知用 推理服务具有以下特性：

  • 异步调用
  • 排队策略
  • 负载均衡
  • 动态扩缩容
  • 推理结果回调
  • 推理结果持久化
  • 推理结果快速分发

支持推理框架​

揽睿·知用 推理服务支持多种推理框架：

星舟推理引擎​

星舟推理引擎 是 揽睿·知用 自研的高性能推理引擎，支持对话补全、图片生成、视频生成等多种模态的模型推理。

相较于其他推理引擎，星舟推理引擎 具有更高的性能、更低的延迟、更大的吞吐量、更好的稳定性。

SD-WebUI API​

SD-WebUI API 是 揽睿·知用 在 SD-WebUI 基础上二次开发的推理服务。

ComfyUI API​

ComfyUI API 是 揽睿·知用 在 ComfyUI 基础上二次开发的推理服务。

自定义推理服务​

支持用户上传私有推理镜像，利用平台负载均衡、动态扩缩容等能力，快速部署自有模型服务。