大家好,我是三石
今天,我要与大家共同探讨的是关于comfyUI入门教程的核心内容,即ControlNet模型与预处理器的重要功能解析。ControlNet,这个名字相信对大家来说并不陌生,它作为sd软件中不可或缺的一个功能模块,拥有着显著的作用。它能够在保持物体结构不变的前提下,通过正向和负向提示词的输入,创造出与原始图像相似的新图片,其效果可谓是相当出色。下面这幅图虽然略显抽象,但足以让大家对ControlNet的功能有一个直观的认识。哈哈,相信大家都能一眼看出ControlNet究竟是如何工作的。

没错,ControlNet的灵魂就是“控制”,我给他起了一个漂亮的解释,叫做“带着枷锁跳舞”。
官方解释是:ControlNet 是一种神经网络结构,通过添加额外条件来控制扩散模型。也就是实现对细节的精确控制。

了解了这个之后,我们就可以今天的主题了,本篇文章目录:
1.ControlNet模型介绍
1.1 模型介绍
Controlnet截止目前一共发布了14种模型,有些模型的功能是大体类似的,所以我按照自己的理解,又把他们分成了5类,分别是:
可以发现,模型最多的还是前三类,景深控制、线条控制和姿态控制。


1.2 模型下载与安装
那知道了模型,我们怎么安装呢?这里给大家分享下官方地址:


这里大家要注意,controlnet的版本要和底模的版本保持一致,不然就会报错,可能出现以下情况,看绿色箭头处大家就明白了。

接着我们就要安装了,这个也比较简单,安装路径看下图,这里建议大家把 ".pth" 和 ".yaml" 都下载放进去,然后刷新或者重启下comfyui就可以了。

安装之后,在comfyUI界面双击鼠标左键输入“apply controlNet”,就可以调出该节点了,怎么使用我会在最后的案例中进行说明。

1.3 模型版本命名规则
大家应该也发现了,作为设计师,每次看到一常串看不到的英文和汉字,就不知所云,这个我当时也郁闷了好久,为什么一个模型的命名要这么长。。。

后来,我发现原作者已经做了详细的解释,这里我也帮助大家整理理解下:
我们最需要关注的是“e/p/u”模型完成度,和“基于sd1.5版本进行训练”两个数值,一个决定了模型的稳定程度,一个决定了模型的版本,这里建议大家优先尝试“P,已完成模型”。

下面这张是原版:

2.ControlNet各个模型的差异
接下来就是ControlNet的各个模型的介绍了,其实在官方网站中已经说的很详细了,我这里就结合案例帮助大家更好地理解下各个模型的差异。
第一类是景深控制模型:ControlNet 1.1 Depth、ControlNet 1.1 Normal
这两个模型是能够基于图片的立体纵深效果生成类似的画面。

第二类是线条控制模型:ControlNet 1.1 Canny、ControlNet 1.1 MLSD、ControlNet 1.1 Scribble、ControlNet 1.1 Soft Edge、ControlNet 1.1 Lineart、ControlNet 1.1 Anime Lineart。
这6个模型是能够基于线稿生成类似的画面,区别在于线稿的类型不一样,有的是直线,有的是曲线,还有的是涂鸦线,这就类似于每个人不一样的起稿方式。

标题:深入剖析核心环节——ControlNet 1.1 Openpose模型解析
原文片段改写:
第三种类型是专注于姿态操控的ControlNet 1.1 Openpose模型。
此模型能够根据人物的内在骨骼结构,精确地创造出与之相似的身体姿态画面。

文章标题:关键环节剖析|解析ControlNet模型与预处理器的内在关联
(文章第16/41章节,中间内容,如下改写)
第十六节:色彩调控利器ControlNet 1.1的Shuffle与Segmentation模型
这一系列模型具备独特的色彩调控功能,它们在保留原有色彩的基础上,还能进行创新的二次创作,显得尤为有趣。

标题:深入剖析核心环节——ControlNet模型与预处理器之间的奥秘
(本文第17/41部分,正文内容如下)
第十七节:特殊类型模型解析:ControlNet 1.1 Instruct Pix2Pix、ControlNet 1.1 Tile、ControlNet 1.1 Inpaint
在这类别中,我们遇到了三种独特的模型:Instruct Pix2Pix、Tile以及Inpaint。它们各自承担着特定的“指令”功能。以Instruct Pix2Pix为例,仅需输入“make hand on fire”这样的指令,便能瞬间在图像中实现火焰效果的添加。接着是Tile模型,它具备将模糊图像转化为高清图像的神奇能力。而Inpaint模型,正如其名,能够在蒙版指定的区域内进行局部内容的精确替换。

这是ControlNet 1.1 Inpaint局部替换的效果。

ok,至此,ControlNet的14种模型已经全部介绍完毕。如果您对某些模型仍感到困惑,欢迎访问官方平台获取更深入的了解。实际上,尽管模型众多,但经过一番理解后,记住它们其实并不困难。其中,常用的模型占据了半壁江山,比如canny、MLSD、openpose等,大家只需牢记这些主流模型即可。同时,我也希望大家能在自己的模型上多加实践,这样有助于加深理解。由于个人精力有限,我无法一一为大家详细解析每个模型,我会在后续的文章中,结合具体的工作流程,为大家详细介绍。还请各位读者谅解。
接下来,我们转入新的话题!
3. ControlNet预处理器详解与安装
3.1 ControlNet预处理器详解
在介绍了ControlNet模型之后,接下来我要向大家介绍的是ControlNet预处理器。我曾看过许多教程,一开始对预处理器与模型之间的关系感到迷惑不解。然而,随着不断的研究,我终于揭开了其中的秘密。用一句话来概括:ControlNet的核心在于,其模型在生成图像之前,需要先与风格进行适配。如果上传的图片已经是预处理过的,那么就无需使用ControlNet预处理器。

标题:深入解析核心环节:ControlNet模型与预处理器间的奥秘
概述来说,预处理器的主要任务是将图片转化为ControlNet模型所能识别的形式。以canny模型为例,它能够识别的是线稿。假如我们上传的图片本身就是线稿,那么预处理器就无需介入。然而,若我们上传的是一张彩色图片,那么就必须借助预处理器将其转换为线稿,随后才能将处理后的图像输入给ControlNet模型。
以下是一个具体的案例,以供参考。在这个案例中,面包的线稿是我从本地经过处理并上传的。这样一来,我们便能够生成出类似线稿形状的面包图像。

若手头暂无该线稿素材,亦无需担忧。
此时,ControlNet的预处理器便显现出其独特价值,它正是为此类需求量身打造的。我只需将本地的面包图片利用comfyui进行处理,将其转换成线稿形式,随后将其输入至ControlNet模型中,一切便迎刃而解。

在此环节,各位需留意一个关键点,那就是预处理器与模型之间应保持一种匹配的关系。即便两者不完全匹配,依然能够生成图像,但很可能会无法达到我们期望的最终效果。

标题:关键环节剖析 | 探究ControlNet模型与预处理器间的奥秘
原文片段改写:
尽管这次并未精确匹配,但“scribble”模型依旧与线条保持着某种联系。然而,若我们将模型更改为“openpose”,生成的图像与线稿图之间的相似度几乎为零。因此,在此我们强烈建议各位在使用时务必保持警惕,仔细核对,以免出现偏差。

3.2 探究ControlNet预处理器之安装奥秘
在运用ControlNet模型之前,安装预处理器是不可或缺的一环。关于这一安装步骤,与之前的教程并无二致,在此,我为大家提供两种安装途径。首先是官方推荐的下载并本地安装的方式,其次是利用comfyui界面进行便捷安装。
1. 通过官方渠道下载并本地安装:
首先,您需要从官方网站获取预处理器的压缩包,下载完成后,只需将其放置于指定的目录中即可完成安装。


2.于Comfyui界面轻松部署
步入管理器manager,输入“fannovel16”进行检索,锁定相应节点,随后点击安装按钮,完成操作后,请记得重启软件以使新安装的组件生效。

3.3 探究ControlNet预处理器与模型之间的匹配之道
在深入理解了预处理器的基础知识之后,我们面临着一个新的挑战:面对预处理器中繁多的选项,我们该如何作出明智的选择?又该如何确保这些选择与controlNet模型实现精准对接呢?

在着手解决首个疑问之前,我们得明确一个关键点:面对同一类别下的众多选项,究竟该如何抉择?
以“法向与深度”这一预处理器的例子来说,它下设有13个不同的处理器。面对如此繁多的选择,我建议各位不妨亲自动手一一尝试,通过实际操作来观察各个处理器带来的结果。久而久之,您自然会找到最适合自己需求的那一个。我个人也是经过多次实践,几乎对所有预处理器都进行了测试,具体情况可参考下方的图示:

在此,我以一个深度预处理器为例,为大家展示其产生的不同效果。大家会发现,这些效果实际上相差并不显著。当大家遇到具体需求时,不妨都试一试,这样一来,便能更好地理解其中的原理。

标题:核心环节剖析 | 探究ControlNet模型与预处理器间的奥秘
(本文第30/41段,中间内容,以下为改写内容)
在接下来的线稿预处理器方面,若各位读者渴望深入了解它们之间的微妙差异,不妨前往某设计社区搜索相关内容。那里,一些博主已经将相关知识阐述得相当详尽。在此,我先抛出一些基础观点,以期激发更多深入的讨论,哈哈。
当然,在未来的实际工作流程分享中,我会针对不同的处理器进行具体分析。针对特定的应用场景,我将详细解析每个处理器的功能和特点。

关于如何使controlNet模型与之相匹配的问题,我们接下来进行探讨。
针对这一难题,我为大家提供了两种解决方案,并且强烈建议各位尝试。首先,您可以查阅官方文档,那里面的描述十分详尽,大家在操作过程中可以参照文档内容进行操作。

文章标题:深入解析核心环节 | 探究ControlNet模型与预处理器之间的奥秘
(文章第32/41部分,内容核心,以下为改写正文)
原文段落:
第二个途径则是查阅目录,细致审视ControlNet预处理器的一级分类,这样大概也能推断出与之相对应的ControlNet模型。

4. 遇到ControlNet预处理器安装故障的解决之道
这一部分内容之所以独立成章,是因为我发现安装过程中遇到错误的情况并不罕见。因此,我的目的是向大家提供一些实用的方法,以便大家能够顺利解决在运行预处理器时可能遇到的问题。
尽管我们已成功安装了预处理器,但在实际操作中,比如尝试运行“openpose姿态预处理器”时,可能会遭遇故障。

如果没有安装对应的模型,这时会出现下面的报错;

在这个环节,我们需要将终端显示的模型独立下载,并将其存放到相应的文件夹中。举例来说,如果需要下载的是“body_pose_model.pth”这个模型,那么就可以通过互联网将其下载并放置在之前所看到的目录中。
只需访问之前的网址,并滚动至页面底部,便可以找到所有的预处理器资源文件。在此过程中,建议您使用英文进行对照,以便更准确地理解和使用这些资源。

在这篇文章中,我要与大家分享一个实用的技巧。原作者在下载的文件中已经明确标注了安装路径,大家只需关注下方的红框部分,那里就清晰地展示了所需的路径信息。


5. 探秘ControlNet基本操作流程及实战案例
在本文的最后阶段,我将向您展示ControlNet最基本的工作流程,掌握了这一流程,后续的拓展工作都将建立在它之上。首先,我要与大家探讨的是如何在保持背景不变的前提下,对人物的性别进行转换,而人物的姿态也保持原样不变。

在本文的深入探讨中,我们引入了ControlNet 1.1 Depth这一先进模型,并结合了“MiDaS深度预处理器”以实现卓越的效果。这一过程中,我们巧妙地固定了两个采样器的种子,以确保结果的稳定性和可复现性。对于需要详细了解工作流程的朋友,欢迎随时与我取得联系,我将乐意提供必要的指导。

文章标题:深度剖析核心节点|探索ControlNet模型与预处理器间的微妙关系
(文章第40/41部分,正文内容改写如下)
第二部分,我要向大家介绍的是,上传一幅描绘鸟类的图片,接着运用“AnimalPose动物姿态预处理器”来准确捕捉小鸟的肢体构造,再配合“openpose模型”进行精细调整。通过局部蒙版的运用,效果同样相当出色。如果您对这一工作流程感兴趣,想要了解更多的细节,欢迎随时联系我。

5. 总结
今日的分享至此圆满落幕。在本文中,我详尽地为大家解析了ControlNet各模型的独特之处,以及它们与ControlNet预处理器的协同作用。实际上,SD(Stable Diffusion)的核心功能就是实现控制,无论是控制结构、姿态还是外型,这些均依赖于ControlNet模型的支持。对于那些对这一领域感兴趣的读者,建议您深入研读本文。
此外,关于安装过程中出现的错误问题,我也提供了相应的解决方案,希望这能让您在使用过程中更加畅快。
在此,衷心祝愿各位在探索AI的道路上玩得尽兴,创作出满意的图像!
如若觉得内容有所启发,不妨关注一下,后续我将结合实际应用场景,搭建工作流,以帮助大家更好地理解和应用。期待与您共同探讨,共同成长。
