今日，我们将向您呈现的，是这一内容视频的精彩呈现。视频已精心加入进度条和旁白解说，对学习资料有需求的鹿友们，请通过后台与我取得联系，我将乐意为您提供：
以下是图文并茂的详细内容：
全文共计：3568字，配图50幅
预估阅读时长：约9分钟
近期由于事务繁忙，更新文章的频率有所延长。
在上一篇文章中，我们深入探讨了ControlNet的对象类控制技巧以及语义颜色对照表的制作方法。若您尚未阅读，不妨前往查阅：
01 开篇语
在今天的分享中，我们将深入探讨ControlNet风格迁移类控制的相关内容，涉及以下几个关键要素：IP-Adapter、Instant-ID、Shuffle、Revision以及Reference。
我的初衷是每篇文章介绍一种ControlNet的控制类型，然而，关于IP-Adapter的内容相当丰富。
所以，今天我们特别聚焦于IP-Adapter这一部分！
02 IP-Adapter概览
将IP-Adapter直译为中文，即“图像提示适配器”，这项技术由腾讯团队研发，后由ControlNet的开发者引入到ControlNet系统中：
文章标题：老鹿探秘AI绘艺之旅|ControlNet风格转换篇（上）：IP-Adapter揭秘
（文章第6/59章节，正文内容，以下为改写部分）
原文片段：
这款技术能够从图像中提取关键特征，然后将这些特征巧妙地融入预先训练好的文本到图像生成扩散模型之中，进而达到风格转换的目的。
简而言之，它就如同在图像生成过程中加入了一张垫底图，就好比是在创作过程中额外融入了一个LoRA（低秩自适应）模型。
因此，在ComfyUI的插件中，IP-Adapter plus的开发者将其形象地称作“一张图像的LoRA”。
03 IP-Adapter模型分类详述
自IP-Adapter模型诞生以来，伴随着不断的版本迭代，它已经经历了若干变化。在此过程中，有三个模型已经被淘汰，同时，也有两位社区开发者贡献了新的模型。截至目前，在WebUI界面中，用户可以使用的IP-Adapter模型总数达到了19个，这些模型均可根据用户的实际需求进行选择和下载。
当用户选择不同的大模型版本时，ControlNet的模型栏会智能地显示出该SD模型版本下可用的IP-Adapter模型列表。
标题：老鹿探索AI绘艺之旅|掌握ControlNet风格迁移技术（篇中）：IP-Adapter的多重预处理工具
段落一：
在AI绘画的世界里，预处理器扮演着至关重要的角色。从这些预处理器的命名中，我们可以清晰地窥见IP-Adapter模型的多样性与分类。尽管IP-Adapter的模型种类繁多，但它们主要可以被划分为三大类：Clip、FaceID以及最新加入的PulID。
在观察模型的名称后缀时，我们能够直观地辨识出模型所属的具体类别。例如，对于那些名称中包含"faceid"或"pulid"字样的模型，它们属于特定的类别。而除此之外的其他模型，则无一例外地归属于clip类别之中。
文章标题：鹿鹿探索AI绘画技巧 | 掌控ControlNet风格迁移（初探篇）：IP-Adapter的妙用
（本文第10/59节，正文部分，以下为改写内容）
第10节：模型与预处理器的大匹配游戏
在AI绘画的探索旅程中，每个模型都有自己的“口味”，它们需要特定的“预处理器”来调校。更令人头疼的是，有四个模型还需携手“LoRA模型”这一特殊助手，这让使用过程变得尤为复杂，一不小心就可能出错，就像在复杂的拼图中不小心遗漏了关键的碎片。
因此，在最新版本的IP-Adapter中，特别引入了一项名为ip-adapter-auto的预处理器功能：
在日常操作IP-Adapter时，只需将预设的预处理选项设定为ip-adapter-auto，接着挑选合适的模型，并轻点爆炸图标即可完成操作：
在控制台界面中，我们能够直观地观察到，系统会依据我们所选定的模型类型，自动调整至相应的预处理模块，有效防止了因手动搭配模型与预处理器不匹配而引发的错误问题。
当然，若您渴望深入探究各个模型所对应的预处理器，我特意整理了一份详尽的表格供大家查阅。在文章结尾处，这张表格也将与大家见面。
第04节：Clip模型安装与运用指南
在Clip模型的大家庭中，SD1.5版本与SDXL版本共同孕育了12款独具特色的模型。在这众多模型中，那些名字里含有“face”字样的模型，它们肩负着面部特征迁移的重任。
而那些名字中不包含“face”的模型，它们则专注于对参考图像的整体风格进行迁移。值得一提的是，“composition”这一模型，它是由社区的开发者们精心打造的，同样适用于整体风格的迁移任务。
在准备阶段，我已经将所需的文件资料一一备齐。接下来，请先复制名为clip_vision的整个文件夹：
粘贴到如图所示的路径里：
再复制这个叫models文件夹里的模型：
粘贴到ControlNet的模型文件夹里：
在Clip类别中，针对SD1.5版本以及参考图片整体风格进行风格迁移的模型共有五个。
接下来，让我们一探究竟，了解它们的差异。比如，现在我将展示一张我之前使用SD1.5生成的图片：
通过对比效果图，我们可以观察到以下特点：
1. ip-adapter_sd15_light_v11：
这是一个轻量级的模型，图中成功呈现了红色头发和墨镜的元素，同时人物的服装也有所调整，男孩的形象也得到了一定程度的展现。
该模型的IP-Adapter强度较轻，对提示词的响应更为敏感。
2. ip-adapter_sd15：
这是一个基础模型，红色头发和墨镜的表现较为明显，服装设计也基本沿袭了参考图。
它的强度属于中等水平。
3. ip-adapter_sd15_plus：
作为基础模型的加强版，墨镜未能完全展现，整体色调偏向黑白。
这款模型的强度是最强的。
4. ip-adapter_sd15_vit-G：
该模型基于大参数的CLIP-ViT-bigG进行训练，是一个基础模型。
其强度与ip-adapter_sd15_plus相近，但画面细节更为丰富。
5. ip-adapter_plus_composition_sd15：
如其名称所示，这是一个社区模型，主要进行了构图的迁移，人物形象全部转换为男孩。
在探讨SDXL风格迁移模型的运用时，我们了解到该模型共有四种类型。在操作过程中，若遇到面部变形的问题，可以适当调整ControlNet的权重；若出现过拟合现象，则需适当减少CFG值。
以下是当ControlNet权重为0.8，CFG值为4时，产生的对比效果：
1. ip-adapter_sdxl_vit-h：
- 这是基于SDXL基础模型的版本，其效果相较于SD1.5略显不足，但似乎能够识别出红色头发和墨镜。
- 整体上，其强度把握得较为适中。
2. ip-adapter-plus_sdxl_vit-h：
- 这是SDXL的增强版模型，由于降低了ControlNet的权重，红色头发得以稍微显现，而IPA的强度达到了最强。
3. ip-adapter_sdxl：
- 这是一个基于大参数CLIP-ViT-bigG进行训练的基础模型，相较于小参数的ip-adapter_sdxl_vit-h基础模型，它对提示词的敏感度更高，红色头发、墨镜甚至是1boy的元素都能在作品中体现。
4. ip-adapter_plus_composition_sdxl：
- 这是一个由社区贡献的模型，它主要实现构图的迁移效果。
标题：老鹿探索AI绘艺之旅|ControlNet风格迁移技巧（篇一）：IP-Adapter应用
段落一：
在Clip类中，特别为SD1.5版本配备了两种专门用于面部特征迁移的模型。在应用这些模型时，我们应优先选择那些面部特征较为显著、占比较大的参考图片进行上传。
段落二：
最初，我计划使用AI创造的虚构人物来进行演示，然而，我发现自己在面部识别方面并不在行，难以准确判断作品的优劣。因此，我最终选择上传了一张知名人士的照片，以供参考：那就是小罗伯特·唐尼。
通过观察对比图像，我们可以得出以下结论：
1、在ip-adapter-plus-face_sd15的案例中，我们能够明显地观察到参考图中的面部特征得到了保留，不过，整体效果并不理想，对于提示词的反应不够敏感。
2、而在ip-adapter-full-face_sd15的示例中，虽然也表现出了参考图中的面部特征，但效果依旧不佳，甚至将服装样式也进行了迁移。
文章标题：老鹿探索AI绘画艺术|ControlNet风格迁移技巧解析（上）：IP-Adapter模型应用
（文章第25/59部分，中间内容改写如下）
在Clip类中，我们针对SDXL面部特征迁移的模型仅有一种，以下是通过对比图所能观察到的效果：
ip-adapter-plus-face_sdxl_vit-h模型：
• 该模型具备面部特征迁移的能力，尽管表现并不十分理想，但仍然能够呈现出一部分提示词所传达的内容。
05 面部迁移专用模型FaceID的安装与操作
FaceID模型系列专注于面部风格迁移，结合SD1.5和SDXL版本，共计包含6款模型，其中4款模型还配备了相应的LoRA模型。进行安装的步骤首先是从insightface文件夹中复制整个文件夹内容：
粘贴到如图所示路径：
再复制这个叫models文件夹里的模型：
粘贴到ControlNet的模型文件夹里：
最后再复制LoRA文件夹里的模型：
粘贴到我们平常存放SD的LoRA文件夹里：
此外，在使用ip-adapter_face_id_plus时，还需特别关注，需额外将clip_h.pth文件下载至指定文件夹，具体位置如图片所示。若您此前已成功安装clip类的ip-adapter，那么这一步骤便可省略。
标题：老鹿探索AI绘艺之旅|掌握ControlNet风格迁移技巧（篇一）：IP-Adapter解析
段落一：
FaceID这一功能模块主要针对面部特征的提取，它要求输入的必须是真实的人像图片，因此卡通形象是无法被它识别的。
在操作过程中，我们无需像Clip类的Face迁移模型那样，刻意去寻找面部特征占比较大的参考图片。以我为例，我直接上传了一张之前使用过的图片：
文章标题：老鹿探秘AI绘艺之旅|ControlNet风格迁移技巧篇（上）：IP-Adapter模型解析
（文章第34/59部分，中间段落，以下为改写内容）
在SD1.5版本中，FaceID模型家族拥有三位成员。
使用ip-adapter-faceid_sd15这一模型时，必须搭配相应的LoRA模型。根据官方推荐，LoRA模型的权重应设定在0.5至0.7之间。
接下来，我们将对比添加LoRA模型前后的效果。这款模型力度适中，用户可以通过提示词精准调控对象的饰品、发色以及面部表情。
标题：老鹿探秘AI绘画艺术——ControlNet风格迁移技巧（上）：IP-Adapter模型解析
（本文第35/59节，正文内容如下）
在应用ip-adapter-faceid-plusv2_sd15模型时，您同样需要为其配备相应的LoRA。若您在使用此模型时遭遇面部扭曲的问题，不妨尝试适当减少ControlNet的控制权重以进行调整。
相较于基础模型，Plus版模型在画面细节上显得更为精致，其强度亦显著高于基础版，甚至能将黑白照片的颜色迁移至风格化效果中。至于两者之间的优劣，还需各位读者自行品鉴，得出个人见解。
此外，一款名为ip-adapter-faceid-portrait-v11_sd15的肖像模型，在应用过程中无需使用LoRA技术。
下面展示了这三个模型的对比图像，其中各项参数已进行标注，用户可以根据自身实际需求来挑选合适的模型：
关于SDXL的FaceID模型，同样地，它也包含三个版本，与SD1.5模型相似，这里就不再一一详述。
在没有加入提示词的情况下，SDXL在描绘人物年龄方面相比SD1.5模型表现得更为精准。下面是ip-adapter-faceid_sdxl在使用LoRA技术前后的对比效果图：
在操作ip-adapter-faceid-plusv2_sdxl以及ip-adapter-faceid-portrait_sdxl这两种模型时，若遇到模型过度拟合的问题，不妨考虑将CFG参数的数值适当下调。
最后是SDXL的三款模型对比：
06 PuLID模型安装与操作指南
近期推出的一款面部风格迁移处理器——PuLID，其安装过程较为繁琐，我经过多次尝试才成功安装。首先，必须安装evaclip扩展：
然后复制models整个文件夹：
粘贴如图所示位置，注意看路径，不要弄错了：
然后再复制这个模型文件：
粘贴到ControlNet的模型文件夹里：
在完成PulID的配置环节中，我们还需引入insightface这一组件。如果你此前已经成功安装了FaceID，那么这一步骤你可以跳过。但若你尚未安装，那么请按照以下步骤操作：将insightface文件夹按照图示指引，复制至指定路径。
完成安装过程后，将一幅画作上传至系统，挑选PulID模型，随后点击那个象征性的爆炸图标。此刻，若你注意到画面呈现出如图所示的惊人效果，那便意味着安装操作已顺利完成：
在PulID中会有两个模式，逼真度和极度风格化：
在老鹿学习AI绘画的旅程中，我们来到了ControlNet风格迁移技巧的深入学习阶段——IP-Adapter。在这里，我们了解到PulID这个工具是专门为SDXL设计的。如果在实践中遇到了过拟合的问题，我们可以尝试减少CFG数值来调整。
接下来，让我们来比较两种模式的效果。说实话，这两种模式之间的区别并不是非常明显。
然而，通过观察我们可以发现，PulID在面部特征的还原上比FaceID更为出色。不过，需要注意的是，PulID在面部表情的控制上相对较弱。
07 IP-Adapter的独特参数
依托于IP-adapter风格迁移的强大功能，ControlNet现在也实现了多图上传的功能，这一特性对于IP-adapter的运用来说尤为契合。
用户可以上传多张具有不同风格的照片进行风格迁移，同样，也能上传多张人物照片进行面部风格迁移。以我为例，我上传了5张小罗伯特·唐尼的肖像照：
以下是SD1.5系列面部风格迁移模型的独立参考图与多图参考图的生成效果之间的对比展示。
在参数设置上，我并未进行深入的调整，主要目标在于保证面部图像在生成过程中不会出现破损或过度拟合的情况，以下效果供各位读者参考。
下面是SDXL的对比图：
此外，细心观察的鹿友们或许已经留意到，在IP-Adapter的操控下，我们通常见到的均衡模式、提示词优先级和ControlNet优先级这三个选项均不复存在。
取而代之的是权重类型这个参数，它的可控性更高。可以看到有非常多的预设类型：
文章标题：探寻AI绘艺之旅 | 探秘ControlNet风格迁移技术（篇一）：IP-Adapter之奥秘
（文章第54/59段，正文部分，以下为改写内容）
挑选完毕，页面下方便会以柱状图表的形式直观地呈现出各个权重的分布情况。用户既可以选择既定的预设类型，也可以自行输入具体的数值，这种设计使得操作过程极具灵活性。
文章标题：老鹿探秘AI绘艺|ControlNet风格调控技巧（上）：IP-Adapter应用解析
原文片段：
这些预设主要可以分为三大类别：缓和调控、轻度调控以及风格调控。
在缓和调控这一类别中，我们能够看到：常规线性、缓入、缓出、缓入缓出以及反向缓入缓出等几种模式。
缓和调控的特点在于权重的逐渐上升或下降。在此，容易产生混淆的是，柱状图所呈现的是IP-Adapter的权重，而所谓的缓入缓出，实际上是指提示词与模型权重的变化。
因此，常规线性、缓入和缓出这三种模式分别对应的是平衡模式、ControlNet权重占优以及提示词权重占优。
以下是关于缓和类预设的对比分析。先前我们提到，在遭遇面部变形的情况时，可以适当减少 ControlNet 的权重设置。然而，若权重设置过低，可能会影响到面部迁移效果的质量。在这种情况下，我们可以利用以下预设来辅助处理：
文章标题：老鹿探索AI绘画技巧|ControlNet风格迁移技巧（上）：IP-Adapter
（文章第57/59部分，中间部分，直接输出改写正文）
原文片段：
第二类是所谓的弱类别，涵盖了 weak input（弱输入）、weak output（弱输出）、weak middle（弱中间）以及 strong middle（强中间）等几种。
这类弱类别的显著特征在于，其权重强弱两端的数值是相等的。
特别需要指出的是，这里的柱状图所表达的含义与缓和类截然不同，它所反映的是提示词与模型权重的分布情况。
以下是弱类别预设效果的对比展示：
文章标题：老鹿探索AI绘艺|ControlNet风格转换技巧（上）：IP-Adapter解析
第三种类型是风格转换，涵盖了以下几种：风格转换、构图、强化风格转换、风格与构图、强化风格与构图。
我们可以通过调节不同权重的板块来掌控不同元素，这种做法与LoRA的分层控制有异曲同工之妙。而最终的强化风格与构图，实际上是一种线性操作。
这项功能是近期才推出的，我尚未亲身体验。下面请大家欣赏对比图，并积极尝试使用。
当然，今日分享的IP-Adapter相关内容至此告一段落。
笔耕不辍，撰写此类文章实属不易。若您觉得此篇内容对您有所启发，不妨动动手指，给予一键三连的支持，您的鼓励对我意义重大，在此深表感谢！
