AI 艺术生成手册/ControlNet/Canny
< AI 艺术生成手册 | ControlNet
在此上下文中，Canny 指的是 Canny 边缘检测 算法，这是一种在计算机视觉中常用的边缘检测算法。
要使用 Canny 模式，您需要确保已从以下位置下载 Canny 模型：https://hugging-face.cn/lllyasviel/sd_control_collection/tree/main 并搜索以下 Canny 预训练 ControlNet 模型。
| ControlNet Canny 预处理模型 | GPU VRAM 建议 |
|---|---|
| diffusers_xl_canny_full.safetensors | X > 12GB VRAM |
| diffusers_xl_canny_mid.safetensors | 8GB VRAM >X > 12 GB VRAM |
| diffusers_xl_canny_small.safetensors | X < 8GB VRAM |
工作流程
首先，我们需要一个基础图像来进行操作。比如这张弹奏三味线的艺妓的照片。
然后，您可以想象一张类似的照片，比如一位摇滚明星弹奏吉他。
我们将使用提示： "摇滚明星弹奏重金属音乐，用电吉他，跪在舞台上"
每个效果都显示在下面
注意：除非另有说明，否则所有设置都与默认设置相同。
控制权重控制参考图像对生成图像的影响程度。更高的控制权重将导致更相似的图像，而更低的控制权重将导致更原始的图像。
| 控制权重 | 1.0 | 0.8 | 0.6 | 0.4 | 0.2 |
|---|---|---|---|---|---|
| 生成 ControlNet 图像 |
 |
|
|
|
|
Stable Diffusion ControlNet 中的预处理分辨率设置控制用于训练模型的图像分辨率。更高的预处理分辨率将使模型更准确，但它也将需要更多计算。注意：如果您使用的是包含大量细节的参考图像，则可能需要使用更高的预处理分辨率来捕捉生成图像中的所有细节。如果您受计算能力限制，则应使用较低的预处理分辨率。
| 预处理分辨率 | 300 | 600 | 900 | 1200 |
|---|---|---|---|---|
| 生成 ControlNet 图像 |
|
|
|
|
| 1200 | 1500 | 1800 | 2048 | |
| 生成 ControlNet 图像 |
|
|
|
|