controlnet使用指南
ControlNet是基于Stable Diffusion的一个绘画插件，其主要功能是通过一个中间处理器提取参考图片中的特征信息，然后通过这个特征信息实现对AI绘图的画面控制示例
{
"prompt": "girl",
"modelStyleId": 1,
"controlnet": {
// 可以通过units传递最多3个控制单元，此处示例仅传递一个
"units": [
{
"type": "canny",
"image": "用于线稿上色的线稿图base64或者公网可访问URL地址"
}
]
}
}原理解析
1.
canny算法提取参数image图片中的硬线条作为特征，实现了线稿提取的功能2.
3.
全部可用控制器
controlnet.units[0].type的参数列表| type参数 | 是否适用于通用大模型 | 功能说明 | preprocessor(对应预处理器) |
|---|---|---|---|
| resample | 适用 | 对原始图片进行重新采样细化，添加细 节，通常用于对画面进行调整细化，让画面更加丰富 | tile_resample |
| openpose | 适用 | 参考图片的人体姿势生成新的同姿势图片，用于生成姿势参考图片 | dw_openpose_full |
| seg | 适用 | 根据原始图像进行色块语义分割，在分割后根据原始语义重新生成图 | seg_ofade20k |
| depth | 适用 | 识别参考图像深度信息，重新生成图片 | depth_midas |
| softedge | 不适用 | 软边缘，参考提供画面的大概线条信息，生成对应的图片，新生成的图片会在整体构图上保持与参照图大概一致 | softedge_pidinet |
| canny | 适用 | 硬边缘，参考图片中的比较明显的线条信息，重新生成对应线条的画面，可以用于线稿生图功能 | canny |
| lineart | 不适用 | 参考原始图片的线稿进行上色处理 | lineart_realistic |
| shuffle | 不适用 | 对画面进行修改打乱重组，颜色风格参考参照图生成新图片 | shuffle |
| reference | 不适用 | 使得模型参考提供的图片进行生图 | reference_only |
| ipa | 适用 | 使得模型参考提供的图片风格或者物体人像进行生图 | ipadapter |
| brightness | 不适用 | 参考图片中的光影信息，用于生成包含对应明暗信息的图片 | 如果controlnet的image图片是黑底白字，建议不开启预处理器，preprocess 传false |
| qrcode | 不适用 | 二维码 | 如果controlnet的image图片是黑底白字，建议不开启预处理器，preprocess 传false |
修改于 2024-04-11 03:14:20