跳到主要内容

推理服务中使用私有模型

星舟推理引擎​

1、使用私有checkpoint模型​

如果要启动私有模型的推理引擎服务，只需要在创建推理服务的时候选中 私有模型 中待启动的模型名称。步骤如下图所示：

image

image

2、使用私有lora模型​

如果要在星舟推理引擎服务中使用私有lora模型，只需要在推理的时候更改lora_params参数。例如，需要使用的私有模型为example.safetensors，则对应修改lora_params参数为：

"lora_params": [
    {
        "name": "custom/example.safetensors",
        "weight": 1.0
    }
]

3、使用私有embeddings模型​

如果要在星舟推理引擎服务中使用私有embeddings模型，只需要在推理的时候更改neg_embeddings参数。例如，需要使用的私有模型为example.safetensors，则对应修改neg_embeddings参数为：

"neg_embeddings": [
    {
        "name": "custom/example.safetensors"
    }
]

SD WebUI API​

1、使用私有checkpoint模型​

如果要使用私有checkpoint模型，只需要在推理的时候更改sd_model_checkpoint参数。例如，需要使用的私有模型为example.safetensors，则对应修改sd_model_checkpoint参数为：

"override_settings": {
    "sd_model_checkpoint": "custom/example.safetensors"
}

2、使用私有lora模型​

如果要在星舟推理引擎服务中使用私有lora模型，只需要在推理的时候更改prompt参数，具体为增加模型名称、权重及触发词。例如，需要使用的私有模型为example.safetensors，触发词为"trigger word"：

假设使用前的prompt为"original prompt",使用lora后的prompt变更为:"original prompt,<lora:example:1>,trigger word", 冒号后的数字是lora的权重。此处代表权重设为1。

3、使用私有embeddings模型​

如果要在星舟推理引擎服务中使用私有embeddings模型，只需要在推理的时候更改negative_prompt参数，具体为增加embeddings的模型文件名。例如，需要使用的私有模型为example.safetensors：

假设使用前的negative_prompt为"original negative prompt",使用lora后的negative_prompt变更为:"original negative prompt, example"

ComfyUI API​

1、使用私有checkpoint模型​

开发中，待上线。。。。。。

2、使用私有lora模型​

开发中，待上线。。。。。。

3、使用私有embeddings模型​

开发中，待上线。。。。。。