触站AI开放平台API
  1. 通用AI绘画(触站AI绘画)
触站AI开放平台API
  • 触站AI API接口使用说明
  • 返回结构
  • 更新历史
  • 基础
    • 获取当前客户详情以及积分情况
  • 工作流(AI小工具)
    • 1.获取工作流(小工具)字段详情
      POST
    • 2.提交工作流(小工具)任务执行
      POST
    • 3.获取工作流(小工具)任务进度或结果
      POST
  • 应用工具(电商工具)
    • 获取应用工具选项详情
    • 提交应用工具任务
  • 通用AI绘画(触站AI绘画)
    • 提交绘画任务积分计算说明
    • controlnet使用指南
    • 提交绘画任务
      POST
    • 获取绘画任务详情
      POST
    • 提交局部重绘绘画任务
      POST
  • 模型训练
    • 提交模型训练任务
    • 获取模型训练进度或者结果
  • MJ绘画
    • 提交Midjourney绘画任务
    • 使用Midjourney获取特定图片的画面描述
    • 提交Midjourney单图放大任务
    • 提交Midjourney单图扩写绘画任务
    • 提交Midjourney单图variation(变种)任务
    • 获取Midjourney任务详情(含进度)
  • 示例&DEMO
    • DEMO | 1分钟快速实现一个AI绘画页面
    • 高级模型 | 最能听懂人话的AI绘画模型-效果展示
    • 风格ID | 不同风格效果参考(内含ModelStyleID)
    • 示例 | 通过API实现图片中隐藏文字或者图案的效果
    • 示例 | 关于大尺寸图片参数的最佳实践(惊悚慎入)
    • 示例 | 使用回调获取任务结果的最佳实践
    • 示例 | 局部重绘处理
    • 示例 | 如何使用工作流接口进行绘图
    • 概念解析 | 工作流使用独立算力卡运行【独占模式】
    • 风格上新
      • 黏土风格
  1. 通用AI绘画(触站AI绘画)

controlnet使用指南

ControlNet是基于Stable Diffusion的一个绘画插件,其主要功能是通过一个中间处理器提取参考图片中的特征信息,然后通过这个特征信息实现对AI绘图的画面控制

示例#

以下是一个例子用于对参考图片进行上色:
{
    "prompt": "girl",
    "modelStyleId": 1,
    "controlnet": {
        // 可以通过units传递最多3个控制单元,此处示例仅传递一个
        "units": [
            {
                "type": "canny",
                "image": "用于线稿上色的线稿图base64或者公网可访问URL地址"
            }
        ]
    }
}

原理解析#

以上参数的大致过程原理为:
1.
通过canny算法提取参数image图片中的硬线条作为特征,实现了线稿提取的功能
2.
ControlNet通过线稿特征,干预AI绘画的生图过程,使得最终的生成图片的线稿为步骤1中提取到的线稿
3.
对新生成的线稿进一步细化,从而得到特定风格的完整图片

全部可用控制器#

以下是触站AI目前支持的全部可用的controlnet.units[0].type的参数列表
type参数是否适用于通用大模型功能说明preprocessor(对应预处理器)
resample适用对原始图片进行重新采样细化,添加细节,通常用于对画面进行调整细化,让画面更加丰富tile_resample
openpose适用参考图片的人体姿势生成新的同姿势图片,用于生成姿势参考图片dw_openpose_full
seg适用根据原始图像进行色块语义分割,在分割后根据原始语义重新生成图seg_ofade20k
depth适用识别参考图像深度信息,重新生成图片depth_midas
softedge不适用软边缘,参考提供画面的大概线条信息,生成对应的图片,新生成的图片会在整体构图上保持与参照图大概一致softedge_pidinet
canny适用硬边缘,参考图片中的比较明显的线条信息,重新生成对应线条的画面,可以用于线稿生图功能canny
lineart不适用参考原始图片的线稿进行上色处理lineart_realistic
shuffle不适用对画面进行修改打乱重组,颜色风格参考参照图生成新图片shuffle
reference不适用使得模型参考提供的图片进行生图reference_only
ipa适用使得模型参考提供的图片风格或者物体人像进行生图ipadapter
brightness不适用参考图片中的光影信息,用于生成包含对应明暗信息的图片如果controlnet的image图片是黑底白字,建议不开启预处理器,preprocess 传false
qrcode不适用二维码如果controlnet的image图片是黑底白字,建议不开启预处理器,preprocess 传false
上一页
提交绘画任务积分计算说明
下一页
提交绘画任务
Built with