大家好,我是三石(dan)。自从涉足AI绘画领域,我发现自己在面对一些基础术语时,常常感到一头雾水。在构建comfyui工作流的过程中,我常常感到一种知其然而不知其所以然的困惑,对于选择哪个模型也常常感到迷茫,很多时候只能模仿着别人,这种状态让我感到非常不适。此外,在网上也很难找到详细的教程来对这些术语进行深入的解释。
幸运的是,我身边有许多算法领域的同行,通过与他们的交流,我对一些基础术语有了更为深刻的认识,现在我将这些知识分享给大家。
今天,我要为大家揭开stable diffusion中一些基础问题的神秘面纱,主要分为两大板块:
请放心,我将从设计师的角度出发,帮助大家更好地理解这些概念。
问题一:SDXL、SD1.5等不同版本之间有何差异,究竟有多少个版本?
这个问题之所以出现,是因为每次我浏览网站时,总是被左上角的xl、lora等标识搞得摸不着头脑,仿佛置身于云雾之中。一会儿是1.0版本,一会儿是1.5版本,再一会儿又是XL版本,我对此感到十分困惑,不知所以。

经过我的深入研究,我发现其中的奥秘如下:sd实际上是指stable diffusion的简称,而紧随其后的后缀则代表了不同版本的别称。

自Stable Diffusion(SD)问世以来,它不断进化,推出了多个更新版本。下面是SD主要版本的简要介绍:
每一代的新版本都在提升生成图像的品质,同时所学习的图片数据量也在持续增长。下面,我将为大家简要梳理一下各个版本之间的差异:

SD 1.1至1.5版本:在训练过程中,所使用的图片尺寸均为512*512像素;
SD 2.0至2.1版本:训练时的图片尺寸升级至768*768像素;
SD XL版本:采用600000步256*256像素和200000步512*512像素的图片进行训练,特别适用于生成1024*1024像素大小的图片,其生成质量显著提升,深受用户喜爱。
简而言之,SD的每一版迭代都相较于前一代增加了训练步数,并提升了出图质量。
面对如此众多的版本,究竟哪个版本最为合适呢?在此,我向大家推荐sd1.5和sdXL这两个版本。sd1.5版本因其丰富的生态系统而备受推崇,而sdXL则以其卓越的出图质量而闻名,画面表现力强,但相应地,它对显存的需求较高,训练速度相对较慢。

若您尚未拥有这两款模型,不妨点击下方的链接进行下载:
您也可以在评论区留言,我会联系您获取相关信息。
问题二:checkpoint与lora究竟有何含义?
在梳理了stable diffusion的不同版本之后,接下来我将为大家详细解释checkpoint和lora的含义及其差异;
2.1 checkpoint究竟是什么?
官方解释:
Checkpoint在深度学习领域是一个常见的术语,指的是在每次训练结束后保存模型参数(即权重)的一种惯例。这就像是在游戏中保存关卡进度一样,Checkpoint允许我们在训练过程中保存模型的状态,以便日后能够加载这些保存的参数,继续训练或进行推理。
以更通俗的方式来说,checkpoint就是在stable diffusion的基础底模之上,通过再次训练,形成具有特定风格、更适用于生成特定调性图片的模型。

在liblib平台中,我们可以观察到大量的checkpoint。这些checkpoint均是在基础模型的基础上,经过进一步训练所形成的。

每种checkpoint都可以在详情页中看到基础模型的版本,看下图:

这一点尤为关键。我们必须留意,controlnet与模型版本之间存在着严格的一一对应关系。一旦checkpoint的版本与controlnet模型版本不相符,系统便会抛出错误。其根本原因在于训练时所使用的图片尺寸与当前版本存在差异。

报错信息如下:

2.2:揭秘lora的独特之处
在众多技术中,lora(Localized Refinement of Attributes)独具一格,它并非与checkpoint同出一辙。我们可以将lora想象成在基础模型生成的图像之上,叠加了一层特殊的“滤镜”,以此实现风格切换的效果。正因如此,它的体积小巧,仅需几百MB的空间,受到了众多用户的喜爱。毕竟,并非所有人都能拥有足够的算力和时间来训练一个完整的checkpoint。然而,只需短短数小时,便可以完成lora的训练,且所需训练素材也相对较少,这使得lora的优势显而易见,极具吸引力。

标题:深入剖析:Lora、Sdxl、Checkpoint、Sd1.5的内涵与运作机制
(本文第11/18节,正文核心部分,以下为改写内容)
我们可以将Lora视为一款游戏《英雄联盟》中的皮肤。在这个游戏中,最初的皮肤代表着大型模型,而后续推出的皮肤便是Lora。Lora能够对英雄的外观、姿态进行改造,但其核心结构始终保持不变。因此,Lora技术本质上是一种实现模型轻量化微调训练的巧妙方法。

在众多网站中,我们可以轻松地获取各式各样的lora风格。若您想了解更多详情,可以参考我先前撰写的一篇专题文章,其中详细介绍了如何获取这些风格的下载链接。
但有时候,在使用lora时,我们可能会遇到一个难题,那就是输出的图片效果并不如网站展示的案例那般出色。这种情况很可能是因为我们没有正确选择底模所导致的。

或者是没有输入触发词:

问题3:checkpoint与lora有何差异:
细心阅读上文的朋友们应当能够明显察觉到这两者的不同之处:

在comfyui操作界面中,若要选择lora,需首先进入“新建节点”功能模块,紧接着在列表中搜寻“加载器”选项,然后在该选项中找到并点击“lora加载器”。

然后再lora节点中选择自己已经下载好的lora就可以啦

标题:深入探讨:关于LORA文件存放路径及安装细节
段落一:
LORA文件的具体存放位置是位于"models"文件夹下的"loras"子目录中。若您对安装相关的问题感到困惑,不妨回顾一下我之前撰写的一篇详细介绍安装步骤的文章。

结语:
伴随着本次分享的落幕,我们一同探讨了sd1.5、sdxl、checkpoint、lora等不同版本的sd模型及其原理。通过深入浅出的讲解,期望各位读者能对这些版本之间的差异和lora技术的应用有了更为深刻的认识。
掌握这些基础知识,将为各位在操作comfyui时提供助力,使得上手变得更加得心应手。
在此,衷心祝愿每位读者都能迅速地创造出心中所想的那幅作品。感谢大家的聆听与支持!
