AI 绘画生成手册/ControlNet
ControlNet 由斯坦福大学的研究人员 Lvmin Zhang 和 Maneesh Agrawala 开发。它首次在 2023 年 2 月发表的论文 为文本到图像扩散模型添加条件控制 中介绍。.
当你在 Stable Diffusion 上进行实验时，你可能会遇到这样的情况：你想创建一个带有酷炫姿势的角色，但使用提示本身是一项艰巨的任务。你可能生成了数百张图像，但无法得到你想要的那些图像。
这就是 ControlNet 派上用场的地方。
ControlNet 允许提示创作者使用额外的输入图像或条件来指导图像生成过程，而不仅仅是文本提示。
例如
假设你想控制图像中人物的姿势（如所示，一个女孩蹲下）
AI 模型将在人类不同姿势的图像数据集上进行训练。同时，ControlNet 网络在相同数据集上进行训练。
ControlNet 网络将学习将图像中人类的姿势与扩散模型的预期输出相关联。
ControlNet 网络训练完成后，你可以使用它来控制图像中人类的姿势，并使用提示将女性转换为男性，如所示。
它使用一个从零权重开始的“零卷积”层。
此层添加到预训练扩散模型（如 Stable Diffusion）的每个块中。
零卷积使 ControlNet 能够在特定任务上进行训练，而不会改变原始模型的知识。
(1) 文本提示被发送到 ControlNet 神经网络
(2) 然后使用训练好的 AI 模型生成图像。
(3) 然后使用 ControlNet 向生成的图像添加额外条件。
(4) 然后使用 ControlNet 微调生成的图像。
(5) 然后输出微调后的图像。
首先，假设你使用 SDXL 基本模型来生成图像，强烈建议你下载 Union ControlNet
(专门为 SDXL 训练) 这里：https://hugging-face.cn/xinsir/controlnet-union-sdxl-1.0/tree/main.
我们假设你拥有 Automatic1111 或 SD.Next (Vladmandic ) 的 Web-UI。
(1) 首先，转到 扩展 -> 可用 -> 点击“从”按钮下载扩展。
(2) 搜索扩展 sd-webui-controlnet-manipulations (作者为 Mikubill)。 点击右侧的“安装”按钮。
(3) 重新启动整个 Automatic1111，确保扩展已正确安装。
(4) 安装后，在 txt2img 或 img2img 选项卡中，你应该看到 ControlNet v1.1.xxx（通常位于 Seed 下方）。
(5) 点击 
展开菜单并 y你应该看到类似 到左侧
以下是 ControlNet 样式中找到的一些设置示例
要使用任何 ControlNet 模型，你需要点击 启用
如果显卡 VRAM 的性能不足以进行额外的预处理，请点击 低 VRAM
对于 像素完美，如果希望 ControlNet 保留图像的大部分细节，则它很适合
(注意：如果你想从照片写实风格转换为动漫风格，这将很有用)
在 SD.Next 中，它更容易，因为 ControlNet 集成到 Web-UI 中，无需使用外部扩展。
将下载的模型复制到此位置
你安装的位置\SDNext\automatic\models\control\controlnet
打开 SD.Next 后，直接转到“控制”选项卡，你会看到一些选项
最初，所有这些都将隐藏，你需要点击屏幕右侧的◀按钮来显示隐藏的菜单
控制输入
你可以在此处上传你的“基本”图像，并将生成的图像显示出来
此外，常规图像生成设置 也位于此处，你可以点击◀按钮来显示它们
控制元素
你可以选择 ControlNet、T2I Adapter、XS、Lite 和参考，但对于本章，我们将使用 ControlNet
预处理器
这是预处理器设置，用于更精细的控制
| Canny | 涂鸦 | 姿势 | 线稿 | 二维码 |
|---|---|---|---|---|
|
|
|
ControlNet 通俗介绍 - Controlnet
Huggingface - 在此处下载所有预训练 ControlNet 模型（用于 SD1.5）
Github - 所有作者作品的信息都在这里