
今日,我们带来了一段精彩的内容视频,该视频已配备进度条和旁白解说。若您希望获取原始视频、文中对比图片以及模型,请与我联系,我将为您提供所需资料。
下面是图文版的内容:
正文篇幅:2906字,包含37幅插图
预计阅读时长:约8分钟
在上一篇文章中,我们详细介绍了ControlNet的线条控制功能。对于那些尚未阅读该篇内容的鹿友,不妨点击阅读:

今日,我们继续深入探讨ControlNet在三维领域的控制技巧,言辞简练,即刻切入今日的主题核心!

01 序言
在三维创作的领域中,Depth(深度)和NormalMap(法线贴图)两种控制手段相当普遍,因此我决定将它们归入三维控制类别。伴随着Stable Diffusion版本的不断升级,这两种控制方式也引入了新的预处理功能。今天,就让我带领大家详细了解这些变化,一同探讨深度控制的奥秘。
02 Depth(深度)
对于熟悉C4D软件的鹿友们来说,深度控制应该不会陌生。在三维渲染过程中,我们经常通过多通道渲染来保存一张深度图,以便在后期制作中添加景深效果。
Depth(深度)控制同样能够将图片转换成一张黑白灰相间的深度图。这张图能够表现出图像中物体的远近关系,其中白色部分代表的是近处的景物,而黑色部分则代表着远处的景象。

在Stable Diffusion这款AI绘画工具中,若您期望创作出与原始图像构图相似,但内容有所差异的新图,那么Depth控制类型将是一个不错的选择。

在Depth模块中,我们能够发现六款精心设计的预处理器,它们分别是Midas、Zoe、Leres、Leres++、Anything以及Hand_Refiner。

标题:老鹿探索AI绘画奥秘:ControlNet三维操控技巧详解
(本文第7/39节,核心内容,以下为改写正文)
在ControlNet的预处理器中,我们迎来了两位新成员:Anything和Hand_Refiner。Hand_Refiner这款预处理器,其独特之处在于它专注于对手部图像的修复,关于它的详细介绍将在稍后的篇幅中展开。
而Anything则拥有它独占的模型,用户需要将这个模型下载下来,并将其放置到ControlNet的模型文件夹中,以便后续使用。

同时它还有自己的预处理器,通常情况下你点击爆炸图标它会在后台自动下载:

然而,若你遭遇网络故障导致下载失败,那情况就会变得复杂一些。通过观察控制台信息,我们能够发现,在模型下载之前,系统后台实际上已经进行了一系列的环境搭建工作:

文后我会把相关文件以及手动安装方法分享给大家:

在开始我们的AI绘画之旅之前,我们首先要对facebookresearch的压缩文件进行解压。按照图示,将其放置到指定的路径中。需要注意的是,如果在cache文件夹内尚未发现torch和hub这两个文件夹,那么请自行创建它们。

将dinov2_vitl14_pretrain文件放置于指定的路径之中,如图片所示。若该路径下尚未存在checkpoints文件夹,请自行创建一个。

在完成depth_anything_vitl14模型文件的导入后,需将此文件妥善存放在ControlNet软件预设的预处理器文件夹内。

在完成所有操作之后,紧接着,将control_sd15_depth_anything这一模型妥善地存入ControlNet所指定的模型文件夹内。

分享给大家的文档里,也写了具体的安装步骤供大家参考:

在Leres以及其升级版Leres++这两款预处理器中,用户将遇到两个独特的参数设置,它们分别是“移除近景”与“移除远景”。

标题:老鹿探索AI绘艺:控制网三维操控技巧解析
(篇章第17/39段,正文内容,以下为改写)
原文内容重现:其功能正如其名,主要在于对画面中的远景与近景进行精确的裁剪。以下展示了在分别对远近景物各进行50%修剪处理后的对比效果图。

以下是对五种预处理器的细致比较,从中我们可以观察到,Midas与Zoe在处理背景细节方面有所疏漏,尽管如此,它们对前景的描绘则较为清晰。
而Leres及其升级版Leres++在保留背景细节方面表现得尤为出色,然而,这种优势在一定程度上导致了前景的模糊。
新近推出的预处理器Anything在处理远近细节方面与Midas和Zoe的表现相近,尤其是在近景的处理上,它展现出了更加清晰和锐利的特征。

在进行实际生成图像的测试过程中,我注意到专门为Anything设计的ControlNet模型所生成的图像出现了问题,具体表现为图像损坏。我不禁产生了疑问,如果将这一模型应用于室内效果图生成,效果是否会有所改善。
鉴于此,我提出一个建议:在大多数情况下,我们还是选择使用默认的depth模型进行操作。

在本文的最后,我们得详细介绍一下这款新推出的Hand_Refiner预处理器。若想运用这一功能,您需要先将hrnetv2和gaphormer这两个文件妥善放置到ControlNet预处理器相应的文件夹内:

接下来,我们将control_sd15_inpaint_depth_hand_fp16文件妥善存放至ControlNet的相关模型文件夹内:

这里我先用sd生成了一张两只手都有问题的女孩图像:

将它发送到图生图局部重绘里,并用画笔涂抹有问题的手部区域:

在ControlNet的Depth控制类型中,挑选Hand_Refiner预处理器及其相应的适配模型。轻点那枚爆炸图标,便会呈现出一张准确的手部深度图。

点击生成手部的问题就被修复了:

03 NormalMap (法线贴图)
相信许多鹿友应该都是我以前写C4D内容的时候关注这位创作者的,所以对法线贴图这个概念并不陌生。
NormalMap (法线贴图)就是用图片的RGB通道记录物体在三维场景中的坐标信息,从而模拟光影以达到凹凸效果。
三维软件中我们通常是在制作材质的时候会用到法线贴图,而在Stable Diffusion中,这项NormalMap控制类型和Depth使用场景类似,主要是通过光影来还原画面的布局:

在NormalMap这一模块中,我们能够找到三种预设的预处理工具,它们分别是Bae、Midas以及Dsine。

在之前,Midas曾是ControlNet 1.0版本的核心算法。不过,官方已经宣布对该算法进行了淘汰,大家只需将其作为知识背景来认识即可。

在当前算法设定中,我们能够看到一个名为“Normal Background Threshold”的参数选项。它的初始设定值为0.4,而其数值的调整范围则介于0到1之间。

它的作用主要就是移除远景的信息,数值越大,远景的信息越少:

标题:探寻AI绘画新境界——ControlNet三维控制技术入门
段落一:
近期,我接触到一项名为Dsine的全新算法。通过网络搜索,我并未发现有关其使用方法的详细教程。据悉,这种算法似乎依赖于一个特定的ControlNet SDXL模型。
段落二:
为了启用Dsine,我们需将预处理器模型文件dsine.pt妥善放置到ControlNet预处理器的指定文件夹内:

同时要将ControlNet模型放到对应的模型文件夹中:

在本人亲自测试的过程中,我发现这项技术即便是在SD1.5版本中也能顺畅运行。请看下方的图像,当我的SD大模型选用1.5版本,并将ControlNet模型也设定为1.5版本时,控制效果依然显著。
坦白讲,就这个案例来看,我个人并不觉得SDXL的控制能力相较于1.5模型有何明显优势:

在Dsine工具中,我们可以看到Fov(视场角)和Iterations(迭代次数)这两个参数。关于这两个参数的具体说明,我在网络上暂时并未找到,以下仅是我个人的理解:

标题:老鹿探索AI绘艺之旅:ControlNet三维视觉调控奥秘
段落一:
在AI绘画的世界里,“Fov”一词代表着视场角的含义,其预设数值通常为60度。这一范围涵盖了从0度到360度的广阔区间,个人理解这里所使用的单位应为度数。
段落二:
设计这一参数的初衷,是为了在三维场景摄像机中,模拟出不同视场角下所呈现的光影效果,从而使画面更具真实感。
段落三:
通过下方的插图,我们可以清晰地观察到,当视场角的数值分别为0度和360度时,法线贴图呈现出惊人的一致性。这背后的原因在于,360度和0度的视角在三维空间中实际上处于同一位置。

标题:老鹿探索AI绘画奥秘:揭秘ControlNet的三维控制技巧
段落一:
在AI绘画的世界里,有一个关键的概念叫做“迭代”,它的默认设置是5次,而它的取值范围在1到20之间。对于这个参数,我仅能根据自己在三维软件中的使用经验来揣摩它的作用。
段落二:
在三维建模软件中,迭代次数一般用来描述数值计算的次数。据此推测,这里的迭代次数可能是用来对生成的法线贴图进行精细调整的。
段落三:
通过对比下面的图示,我们可以发现,法线贴图之间的差异其实并不显著:

接下来,我们将对比三种预处理器在默认参数设置下所生成的法线贴图效果。其中,Dsine算法生成的法线贴图相较于Bae算法,其清晰度更为出色。而Midas算法生成的法线贴图与我们所熟知的法线贴图存在较大差异:

在文章的末尾部分,我们对比了三款预处理器在生成图像方面的表现。其中,Midas的表现并不理想,基本可以将其排除在外。Dsine生成的图像虽然细节更加清晰,但似乎在景深效果上有所欠缺。
关于在Dsine中调整Fov参数,是否能实现景深效果,我并未进行深入的测试。
坦白讲,我之前从未尝试过使用NormalMap这一控制类型:

在这篇文章中,我们详尽地探讨了ControlNet的三维类控制。
若您觉得这篇文章对您有所启发,不妨动动手指,为我点个赞、评论和分享。您的每一个互动都是我前进的动力,衷心感谢!