当前位置: 首页>

有图有话

>正文

老鹿学AI绘画:ControlNet线条控制技巧

发布时间:2026-10-27
老鹿学AI绘画:ControlNet线条控制技巧

嗨,各位鹿友,好久不见!

之前因工作原因精力不足,再加上阅读量不理想,导致我曾一度考虑不再继续更新内容了。

这也是这位创作者停更近半年的原因。

不过内心还是放不下,毕竟已经做了6年多了,不是那么容易就放弃的。

因此我决定继续写下去,文章篇幅会缩短,这样能减轻压力,也能更好地兼顾工作和自媒体。

老鹿学AI绘画:ControlNet线条控制技巧

今日,我们将向您展示一段精心制作的内容视频,其中包含了丰富的进度条和专业的配音解说。如果您对原始视频、文中展示的对比图以及相关模型感兴趣,只需私信我,我将乐意为您提供:

下面是图文并茂的详细内容:

文章篇幅:总计4231字,配图49张

预计阅读时长:约11分钟

在之前的讨论中,我们曾详细介绍过Stable Diffusion的ControlNet的安装过程以及其通用的参数设置:

老鹿学AI绘画:ControlNet线条控制技巧

然后写了两篇基于ControlNet的应用:

老鹿学AI绘画:ControlNet线条控制技巧
老鹿学AI绘画:ControlNet线条控制技巧

在各位鹿友尚未踏足前文所述的三篇教程之前,请务必先行研读。至于ControlNet的相关知识,诸如各类预处理器与模型,我们尚未进行深入探讨。再加上Stable Diffusion的更新脚步不停,近半年来涌现了大量新内容,其中不乏一些我尚未亲自尝试的案例。

原本我打算直接进入新内容的分享,但转念一想,若鹿友们将公众号视为学习的重要资料库,内容的不完整性似乎并不妥当。鉴于此,我决定先对ControlNet的相关内容进行一个全面的补充。

言归正传,让我们切入今天的主题:ControlNet的线条类控制技巧。

老鹿学AI绘画:ControlNet线条控制技巧

提示:本篇文章中关于ControlNet的学习,所有内容均以SD1.5大型模型为基础,并未涉及SDXL模型的应用。

01 ControlNet模型与预处理器之间的联系及invert预处理器详解

在ControlNet中,线条类控制占据了相当大的比重,主要包括以下几类:Canny(边缘检测)、Lineart(艺术线稿)、Softedge(软边缘)、Scribble(涂鸦)以及MLSD(直线检测)。每一类控制都有两个或多个相应的预处理器。

在正式开始学习之前,我们先来深入理解ControlNet预处理器与模型之间的内在联系。

模型主要决定了控制的类型,而预处理器则专注于处理图片素材,以便模型能够更精确地执行控制任务。

以我为例,我在正向提示词中输入了英文:“托尼托尼乔巴”、“戴着老虎帽子”、“3D模型”、“萌萌的”。

而在负向提示词中,我仅使用了BadDream Embedding模型。

老鹿学AI绘画:ControlNet线条控制技巧

生成图的效果是这样的:

老鹿学AI绘画:ControlNet线条控制技巧

此时,我们锁定随机种子值,上传一张我之前运用C4D软件制作的乔巴角色图片,接着激活ControlNet功能,并对“完美像素”选项进行勾选。

老鹿学AI绘画:ControlNet线条控制技巧

控制类型选择Lineart(艺术线稿),预处理器选择无:

老鹿学AI绘画:ControlNet线条控制技巧

按下“生成”按钮,成果虽不尽人意,然而仔细观察,即便未启用预处理器,ControlNet依旧显现出了其独特的作用:

老鹿学AI绘画:ControlNet线条控制技巧

在挑选了相应的预处理器之后,以Lineart Realistic为例,我们会发现图像的生成控制变得更加精确:

老鹿学AI绘画:ControlNet线条控制技巧

除此之外,举个例子,我在这处上传了一幅黑底白边的“鹿”字轮廓图,而在控制类型的选项中,我选择了Canny边缘检测,对于预处理器,我也选择了Canny。

老鹿学AI绘画:ControlNet线条控制技巧

正向提示词中写上各种美食,负向提示词不变:

老鹿学AI绘画:ControlNet线条控制技巧

点击生成,你会发现效果不好,并没有出现我们提示词中的各种美食:

老鹿学AI绘画:ControlNet线条控制技巧

这是因为我们在上传ControlNet的图像时,实际上提供的是一幅轮廓线条图。观察之下,不难发现,经过Canny边缘检测器处理后的效果与我们所上传的原始轮廓图几乎毫无二致:

老鹿学AI绘画:ControlNet线条控制技巧

在将ControlNet的图像文件导入系统时,若该图像已经非常接近预处理器处理后的最终效果,那么我们应当将预处理器设置为无。

这一做法同样适用于我们接下来将要学习的其他控制类型,比如涂鸦、深度、姿势等控制方式。

基于此,我们在此环节应将预处理器选项调整为无:

老鹿学AI绘画:ControlNet线条控制技巧

再次点击生成可以看到提示词中的内容就出现了:

老鹿学AI绘画:ControlNet线条控制技巧

此外,ControlNet系统对白色具有高度敏感性。因此,若您上传的轮廓图像背景为白色且边缘为黑色,在使用预处理器时若选择“无”模式,那么生成的图像可能会出现错误。

老鹿学AI绘画:ControlNet线条控制技巧

这时你需要将预处理器选择为Invert,将黑白进行反转,才能得到正确的效果:

老鹿学AI绘画:ControlNet线条控制技巧

在处理线条类模型时,除了Softedge(软边缘)这一类型外,余下的四种线条类模型均配备了Invert(反转)功能的预处理器。

老鹿学AI绘画:ControlNet线条控制技巧

02 边缘轮廓捕捉

通过Canny边缘检测预处理器处理的图像,其效果与我们早年运用Photoshop提取图像轮廓有着异曲同工之妙:

老鹿学AI绘画:ControlNet线条控制技巧

标题:老鹿探索AI绘画:掌握ControlNet线条控制技巧

段落一:

Canny算法,一种边缘检测技术的代表,其运作原理是针对图像中的细线等边缘信息进行提取。假设我们有一张由细线构成的素材,Canny算法便能沿着这些线条的边缘精准提取出相关信息,所生成的图像往往会出现线条重复的现象,形成一种双线条的效果。此外,这些线条的粗细均匀,缺乏明显的粗细变化。

为了更清晰地理解这一点,我们可以将其与接下来的Lineart(艺术线稿)概念进行对比。

段落二:

Lineart,一种线条提取算法,其功能类似于Canny算法,但二者在处理效果上有着显著差异。以同样一条细线素材为例,Lineart会直接提取出该线条,并且这些线条会呈现出粗细不一的特点,这种效果更接近于手绘线稿的自然感。

老鹿学AI绘画:ControlNet线条控制技巧

在Canny中会有两个特有参数,高阈值和低阈值:

老鹿学AI绘画:ControlNet线条控制技巧

大于高阈值的线条将会被保留,换言之高阈值数值越低,保留的线条越多:

老鹿学AI绘画:ControlNet线条控制技巧

低于低阈值的线条将会被忽略,换言之低阈值数值越低,保留的线条越多:

老鹿学AI绘画:ControlNet线条控制技巧

整体而言,Canny算法在线条预处理领域表现颇为出色,其显著特点是能够准确捕捉线条的边缘,不过,它对于处理过于细腻的线条则显得力不从心,因此更适宜应用于那些外形相对简单的事物。

不论是在进行产品色彩的更换、将真人形象转换成动漫风格,或是将动漫形象转变为真人形象的操作中,我们都可以考虑运用这一预处理器来进行尝试。

老鹿学AI绘画:ControlNet线条控制技巧

03 线稿艺术(线条描绘)

在探讨完Canny算法之后,接下来我要为大家介绍的是Lineart——线稿提取技术。正如之前所提及,Lineart主要应用于线条较为复杂的场景,此时运用它将能起到显著的效果。

在Lineart功能中,共包含了五个预设的预处理选项,它们分别是:Standard(标准处理)、Realistic(写实风格线稿)、Coarse(粗略风格线稿)、Anime_Denoise(动漫风格线稿去噪)以及Anime(动漫风格线稿)。此外,Lineart还提供了两个模型选择:Lineart和Lineart_Anime。

老鹿学AI绘画:ControlNet线条控制技巧

标题:老鹿探索AI绘画技巧:掌握ControlNet线条控制技巧

段落一:

在众多AI绘画工具中,Standard模式与之前我们讨论的Invert功能有着异曲同工之妙。它主要针对那些原本就是以白色背景和黑色线条呈现的线稿图像进行操作。若将Standard模式应用于其他图片素材,便会呈现出一种色彩反转的效果:

老鹿学AI绘画:ControlNet线条控制技巧

在接下来的演示中,我选取了一幅动漫风格的图片作为实例,向大家展示了多种预处理器处理后的视觉效果。

观察可知,Standard预处理器在处理过程中产生了白色的阴影,呈现出一种反差强烈的色彩效果;Anime预处理器在处理头发部分时,可能会出现少量的噪点;Coarse预处理器在手部和领带区域的线条显得较为杂乱;Anime_Denoise预处理器处理后的线条较为整洁,但可能会造成一些线条的缺失;而Realistic预处理器在处理过程中,线条的细节表现更为丰富。

老鹿学AI绘画:ControlNet线条控制技巧

接下来,我运用自己的真实照片制作了一系列对比图。在这其中,Standard模式的反色效果尤为突出。与此同时,两种Anime预处理器在生成线条方面的表现相对较少。然而,与它们相比,Coarse和Realistic模式在细节线条的呈现上则显得更为丰富。

老鹿学AI绘画:ControlNet线条控制技巧

在接下来的实验中,我选取了动漫风格的插画和真实世界的摄影作品作为素材,对Lineart系列的所有预处理器和模型进行了XYZ效果图的细致对比。这次实验中,我采用了RevAnimated这款SD大模型,它是一款独具特色的2.5D模型。

通过观察对比,我们可以发现,对于这幅动漫风格的插画,使用预处理器Realistic和Lineart模型相结合,能够达到最为理想的效果:

老鹿学AI绘画:ControlNet线条控制技巧

而对于真实照片来说,预处理器选择Anime效果也还行:

老鹿学AI绘画:ControlNet线条控制技巧

因此,尽管官方将预处理器与模型划分为写实与动漫两大类,我个人认为实际应用时还需根据图片素材的具体情况来决定。

在处理复杂线条场景、进行线稿上色,或是将真人图像转换为动漫风格,抑或是将动漫图像转换为真人风格时,这种控制方法都是值得一试的。

04 软边缘处理

在掌握了Canny和Lineart之后,Softedge的学习就显得更为简单。简言之,Softedge是一种在控制上相对宽松的线条预处理器。

在Softedge中,共包含了五种预处理器,它们分别是PiDiNet、PiDiNetSafe、HED、HEDSafe以及teed:

老鹿学AI绘画:ControlNet线条控制技巧

整体而言,这五种预处理器在算法层面存在差异,其中teed是最新推出的预处理器。

若想运用此预处理器,您需下载名为7_model.pth的模型。通常情况下,点击预处理器旁边的爆炸图标后,后台便会自动完成下载。

若因网络问题导致下载失败,我在文末将提供解决方案。您只需手动下载该模型,并将其放置于ControlNet的预处理模型文件夹内,具体路径如图所示。

老鹿学AI绘画:ControlNet线条控制技巧

在teed预处理器中会有一个安全步数的参数,调整范围是0到10,默认数值为2:

老鹿学AI绘画:ControlNet线条控制技巧

标题:探索Ai绘画ControlNet线条控制技巧

段落一:

关于这个参数的详细信息,我在网络上的资料搜寻中并未找到确切说明。接下来,我将为大家展示我从0至10这一数值范围内的实验结果。

段落二:

从实验结果来看,当参数值设为0时,我们可以观察到画面中出现了灰度区域。这种灰度区域的存在,有可能会在实际生成图像的过程中产生一些影响。

段落三:

当参数值调至1时,画面中不再有任何灰度区域,边缘显得非常清晰和硬朗。随着参数值的逐步提升,灰度区域开始逐步增多:

老鹿学AI绘画:ControlNet线条控制技巧

标题:老鹿探索AI绘艺:ControlNet线条控制技巧

段落一:

在深入研究了PiDiNet和HED技术及其安全版之后,我们可以发现它们的核心功能主要集中在处理图像中的灰度区域。特别值得一提的是,安全版在处理后的结果中,边缘表现得尤为清晰,呈现出更加坚毅的线条效果,而非安全版则呈现出更为柔和的边缘处理。

段落二:

在五种预处理器中,teed处理器能够捕捉到更多的线条信息,并且边缘线条更为鲜明,给人一种硬朗的感觉。与此同时,HED处理器在处理背景信息方面表现得更为出色,其捕捉到的背景细节相较于PiDiNet更为丰富。

老鹿学AI绘画:ControlNet线条控制技巧

同样,我们采用了RevAnimated 2.5D模型来进行图像生成测试。在测试中,HED(High Efficiency Depth)模型的准确性表现得尤为出色,特别是在处理背景中的天空部分。然而,究竟哪种效果更佳,这主要取决于个人的喜好和需求。

老鹿学AI绘画:ControlNet线条控制技巧

05 涂鸦功能

紧接着,我们来到Scribble功能。正如其名,Scribble是一个专门用于识别涂鸦线条稿件的预处理工具,它在线条的控制程度上更为灵活。

Scribble预处理器包括PiDiNet、HED和XDoG三种,其中PiDiNet和HED与Softedge模块中的同名预处理器采用了相同的技术。

在模型中,您还会发现一个名为t2iadapter_sketch的模型,它与控制类型中的T2I-Adapter模型有所关联,我们将在后续内容中进行详细介绍。

老鹿学AI绘画:ControlNet线条控制技巧

在XDoG预处理器中,我们新增了一个XDoG阈值的设置选项。该选项的默认值为32,而其数值区间则设定在1到64之间。

老鹿学AI绘画:ControlNet线条控制技巧

文章标题:老鹿探秘AI绘画艺术:ControlNet线条控制技巧详解

(文章第42/49部分,核心内容,以下为改写正文)

原文片段:

线条的细腻程度与数值息息相关,当数值降低时,线条的细节会更加丰富。然而,我们必须留意到一点,在使用Scribble工具进行涂鸦时,产生的线条往往较为粗犷,过多的细节反而可能影响最终的生成效果。

老鹿学AI绘画:ControlNet线条控制技巧

下面是三种预处理器的处理结果,可以看出XDoG得到的线条也是最多的:

老鹿学AI绘画:ControlNet线条控制技巧

以下展示了三种预处理器所输出的对比效果图,各位读者不妨各自给出自己的评价。就我个人而言,我并不常使用Scribble这类预处理工具。

老鹿学AI绘画:ControlNet线条控制技巧

06 直线捕捉预处理器(MLSD)

在众多线条类预处理器中,MLSD(直线检测)独树一帜。它专注于识别画面中的直线元素,这种功能在建筑及室内设计领域尤为常见。

在MLSD的设置中,我们能够调整两个关键参数:MLSD数值阈值和MLSD距离阈值。它们的默认值均为0.1。

老鹿学AI绘画:ControlNet线条控制技巧

在运用MLSD数值阈值这一功能时,它主要的作用是剔除那些间隔过于紧密的线条。从下方的示例图中,我们可以直观地观察到,当数值设定为0.1时,某些建筑物的识别直线出现了重叠现象。

随着数值的提升至0.4,这一重叠问题得到了显著缓解。值得注意的是,该参数的最大可调整值为2。然而,当数值达到1时,我们几乎无法再检测到任何直线。

老鹿学AI绘画:ControlNet线条控制技巧

在运用MLSD距离阈值这一功能时,其主要目的是为了剔除场景中的细小线条。随着这一数值的逐步提升,各位不妨仔细观察下方的插图,我将红色标记区域内的那些短线条进行了特别标注,可以看到,这些短线已经被有效地清除掉了。

老鹿学AI绘画:ControlNet线条控制技巧

在生成图像的过程中,我巧妙地在提示词中融入了对场景的具体描绘:画面左侧呈现出一座房屋,右侧则是熙熙攘攘的街道,其间点缀着几棵树木。

观察这幅图像,我们可以发现,从建筑的角度来看,其还原度相当不错:

老鹿学AI绘画:ControlNet线条控制技巧

以下是关于ControlNet线条类控制的全部讲解。

若您觉得这一内容对您有所启发,不妨动动手指,给予一键点赞、分享和收藏,你们的鼓励对我来说意义重大,衷心感谢!

关注
客服 工单