Stable Diffusion AI绘画神器入门教程

一、Stable Diffusion 概览

Stable Diffusion 是一种基于扩散原理的图像生成模型，能够产出高品质、高分辨率的图像。它通过模拟扩散过程，将原本的噪声图像逐步转换成目标图像。这种模型以其出色的稳定性和可控性著称，能够生成丰富多样且视觉效果极佳的图像。

Stable Diffusion 拥有直观易用的用户界面，用户可以轻松地调整绘画参数并实时查看效果。用户可以根据需求选择不同的画布、画笔和颜色，同时还可以通过调整图像的风格、纹理和色彩等参数，来创作出各式各样的艺术作品。

此外，Stable Diffusion 还具备一些高级功能，如批量处理、自动校正和自动调整等，这些功能可以帮助用户更加高效地完成大量的绘画工作。

二、系统配置需求

为了确保Stable Diffusion的运行效率，推荐使用配备英伟达Nvidia独立显卡的电脑，其性能远超集成显卡、AMD或Intel处理器以及CPU渲染。建议至少选择10系显卡，以获得更好的体验感；显卡显存至少4G，6G为合格标准，更高显存无上限；内存至少8G，16G为合格标准，同样无上限；硬盘可用空间最好在500G以上，固态硬盘为最佳选择。

系统兼容性方面，Stable Diffusion支持Windows 10/11、macOS（仅限于Apple Silicon，Intel版本的Mac无法使用Radeon显卡）以及Linux系统。需要注意的是，苹果版Stable Diffusion兼容的插件数量较少，功能上不如Windows和Linux电脑。

三、Stable Diffusion 的部署选择

在考虑部署方案时，不妨考虑租用云主机服务，例如腾讯云的GPU云服务器。若您暂时无法使用独立显卡或云服务，也可以调整启动配置，采用CPU进行渲染。这种方法虽然兼容性强，但渲染速度较慢，并且需要至少16G的内存支持。

四、Stable Diffusion 的安装步骤

目前，您可以直接使用@秋葉 aaaki 开发的集成安装包，这一举措大大降低了安装的难度。集成安装包仅是提供了一个可视化的便捷启动界面，它并不会影响最终的出图效果，其主要作用是简化了本地部署的过程。

安装步骤如下：

1. 访问SD的官方开源地址：

目前广泛使用的Stable Diffusion Web UI是一个发布在开源平台Github上的Python项目。与常规软件的安装方式不同，Stable Diffusion并不是下载即用的软件。您需要准备执行环境、编译源码，并且针对不同的操作系统和电脑进行相应的调整。这要求您具备一定的程序开发经验。幸运的是，已经有不少经验丰富的开发者撰写了详细的安装教程。

对于拥有NVIDIA显卡的用户，在开始使用Stable Diffusion之前，请先登录官方网站：

下载并安装与您的显卡相匹配的最新版驱动程序，以及显卡所支持的最新版CUDA驱动。

具体操作步骤包括：

1. 安装启动器，运行所需的依赖项。

2.复制这两个文件，粘贴到 novelai-webui-aki-v2 文件夹中

3.找到启动器双击即可

4.轻点“即刻启动”按钮，稍作等待，系统将自动弹出浏览器界面，您即可开始使用（首次启动可能需要较长时间）。

5.复制 http://127.0.0.1:7860 打开网页即可使用了

6.界面汉化

可下载中文语言包扩展：

文章标题：Stable Diffusion 初学者手册零起点掌握AI绘画利器！教程剖析

（文章第10/53节，正文部分，以下为改写内容）

操作步骤一：借助WebUI进行拓展安装

1）启动稳定扩散webui，切换至“Extensions”选项卡

2）点击“从URL安装”，留意“扩展的git存储库的URL”区域的输入框

3）将以下Git仓库地址粘贴或输入：

4）点击下方黄色的“Install”按钮，完成安装后，需重启WebUI（先点击“Install from URL”旁边的“Installed”，然后点击“Apply and restart UI”下方的“Reload UI”按钮，完成重启）

5）点击“设置”，在弹出的窗口中点击“用户界面”选项卡，在界面底部找到“本地化（需要重启）”，选择“中文-全部”或“中文-英文”

6）点击界面顶部的“Apply settings”按钮，接着点击右侧的“Reload UI”按钮，即可完成汉化操作

操作步骤二：直接复制已翻译的本地化模板

1）在任何目录下执行git clone https://github.com/VinsonLaro/stable-diffusion-webui-chinese

2）进入下载后的文件夹，将“localizations”文件夹中的“Chinese-All.json”和“Chinese-English.json”复制到“stable-diffusion-webui\localizations”目录

3）点击“设置”，切换至“用户界面”选项卡，在界面底部找到“本地化（需要重启）”，选择“中文-全部”或“中文-英文”

4）点击界面顶部的“Apply settings”按钮，然后点击右侧的“Reload UI”按钮，即可完成汉化

您可以参考插件开发者的说明文档或浏览来自某设计社区等网站的使用心得，大家在civitai上搜索合适的图例，借鉴原作者的出图提示词、参数和模型，再进行修改，这样学习效果更为明显。

四、界面基础

1. 提示词的创作技巧

在着手创作提示词时，新手们可以借鉴那些优秀的风格模板来获得灵感。同时，利用描述语工具和在线资源，不断实践和研究，便能逐渐掌握生成图像的规律。随着时间的积累，你将能够独立撰写出详尽的提示词。

以下是一些推荐的 tag 关键词网站：

- ChatGPT

- NovelAI

- poe ChatGPT

- moonvy

- prompttool

- wolfchen

- lexica

- arthub.ai

- aigodlike

- rentry.org

- promptomania

2. Prompt 格式的优化策略

第一部分：画质 tag 与画风 tag 的设定

第二部分：描绘画面主体，突出主体的强调点和细节概括。这里的主体可以是人物、事件、物品、景象等，概括画面核心内容。

第三部分：详细描述画面场景或人物细节，嵌入相应的 tag。这里涉及画面细节内容的描绘。

第二部分通常会提供人物数量、人物主要特征、主要动作（通常位于人物描述之前）、物体的主要特征、主景或景色的框架等信息。

举例说明：（具体应用时需灵活调整，多尝试以找到适合自己的节奏和风格）

第一部分：使用“masterpiece”、“best quality”、“4k”，（以 Pixar 风格呈现：“:1.4”）

第二部分：描绘一位女孩，（可爱、英俊，穿着户外运动装：“:0.7”），采用 3D 技术，（面部特写：“:1.2”），（在夜晚，被发光的植物、花朵、飞舞的萤火虫和篝火所环绕），（超高清、美学风格、美丽构图、丰富的明亮色彩、体积感柔和光线）。

第三部分：灵感来源于《爱丽丝梦游仙境》，魔法、童话。使用 Unreal Engine、Octane Render、Cuteness Render、令人敬畏、美丽。

原文片段：

masterpiece， best quality，4k，

( Pixar - style :1.4)，1girl，(Cute,handsome，wearing outdoor sportswear :0.7)，3D，(Face close-up :1.2)，(In a cave，at night，surrounded by glowing plants, flowers，flying fireflies，bonfires), (Ultra detailed， aesthetic，beautiful composition， rich bright colors，volumetric soft light). Inspired by Alice in Wonderland

(low quality，worst quality :1.4) bad-hands-5 EasyNegative，blob，no foot

改写片段：

杰作之作，品质卓越，分辨率高达4K，

采用皮克斯风格，比例设定为1.4，画面中描绘了一位少女，她可爱或英俊，身着户外运动装，形象鲜明，权重为0.7，作品呈现为3D效果，面部特写部分权重为1.2，(在一个洞穴内，夜晚时分，四周环绕着发光的植物、花朵、飞舞的萤火虫以及篝火)，画面细节极致，具有美学价值，构图精美，色彩丰富且明亮，光线呈现出体积感与柔和感。(灵感来源于《爱丽丝梦游仙境》)

(质量低劣，最差质量 :1.4) 使用“bad-hands-5 EasyNegative”进行负面调整，避免出现模糊，且确保没有脚部出现。

3. Prompt 使用细则揭秘

1）在 Stable Diffusion 中，提示词的顺序至关重要，越早出现的提示词对生成图像的影响越显著。

2）图像的尺寸也会对提示词的效果产生影响，通常来说，图像尺寸越大，所需的提示词数量也就越多。如果提示词数量不足，它们之间可能会产生相互干扰。

3）在 Stable Diffusion 平台，用户可以通过括号来手动调整提示词的权重，具体操作方法如下：

- (word)：提示词的权重将增加至1.1倍。

- ((word))：提示词的权重将增加至1.21倍，即1.1倍的平方（= 1.1 * 1.1）。

- [word]：提示词的权重将降低至原来的90.91%。

- (word:1.5)：提示词的权重将增加至1.5倍。

- (word:0.25)：提示词的权重将减少至原来的25%。

需要注意的是，调整后的权重值不宜超过1.5。

4）在 Prompt 中巧妙运用表情符号，如用来表达喜悦之情，则可以用来描绘手势。

5）符号“+”与“AND”、“|”的运用：符号“+”和“AND”都用于将短Tag串联起来，使用“AND”时需在两端添加空格以区分，其中“+”与“and”的作用相似；“|”则是循环绘制的符号，也称为融合符号（例如：Prompt A: w1)|(Prompt B: w2）。这种表达方式适用于WebUI界面，这里的w1、w2代表权重。AI将根据A、B两个Prompt进行循环绘制，并可以无限制地添加更多的Prompt。

6）Tag的设定不一定要过于详尽，关键在于模型的稳定性。通过小图进行高分辨率的重绘，例如将800*400的图片升级至1600*800，这样初学者在小图的基础上操作，可以降低图像崩坏的概率。

7）在设置关键词时，最好追求特异性。例如，Anime一词相对宽泛，而JoJo一词则能精准地指向JoJo动漫的风格。在措辞上，越具体越好，尽量避免使用那些容易引起歧义或需要进一步解释的词汇。

五、深入认识模型

1. 模型下载资源以下为几个主流的模型下载网站：

1）Hugging face网站专注于构建、训练和部署各种先进的开源机器学习模型：

2）Civitai网站则是专门为Stable Diffusion AI艺术模型设计的平台：

2. 选择合适的模型

挑选适合的模型，这可是关键所在。

首先，依据你想要创作的风格——无论是写实、二次元、卡通盲盒等，挑选相应的大模型，再搭配适合的Lora。

1）Checkpoint

这类模型体积较大，通常被称为大模型，它们是通过不同的图片进行训练，因此呈现出不同的风格，可以看作是底层的核心引擎。在有些情况下，为了达到所需的效果，可能需要大模型与VAE、emb以及Lora联合运用。

下载的大模型需要存放在SD文件夹中的models/Stable-diffusion目录下。

2）Lora模型解析

Lora，即局部响应算子，是一种体积相对较小的特征模型。它专注于特定角色、风格或动作的训练，具有高度的确定性，相较于embedding模型，其在控制力上更为显著。Lora与embedding模型在功能上存在部分重叠，但也各有其不可替代的领域。

当在ckpt的大规模模型上附加Lora模型使用时，尤其在人物、姿势、物体表现方面表现出色。在webui界面的“Additional Networks”部分，勾选“Enable”以启用Lora模型，随后在“Model”选项中选择相应的模型，并通过“Weight”来调整权重。权重值越高，Lora模型对最终生成图像的影响也越显著。然而，不建议将权重设置得过高（超过1.2），以免产生扭曲的图像效果。

混合使用多个Lora模型可以产生叠加效果。例如，一个专门控制面部特征的Lora模型与一个负责控制画风的Lora模型相结合，可以生成具有特定风格的特定人物形象。因此，可以通过使用多个专注于不同优化方面的Lora模型，分别调整权重，以达到预期的效果。

LoHA模型则是Lora模型的一种改进版本。

下载的Lora模型可以存放在SD文件夹下的“models/Lora”目录中。

3）变分自编码器（VAE）

VAE 模型在功能上相当于一种滤镜，它负责对图像进行色彩调整和细微的优化，通常需要与其他模型相结合使用。例如，若发现图片色调偏灰，色彩不够鲜明，这可能是因为尚未加载 VAEC。

下载好的 VAE 模型应存放于 SD 文件夹下的 models/VAE 目录中。

4）文本逆变换（embedding）

这是一种预设的关键词模型，相当于将一组关键词打包，形成“关键词篮子”，比如 a、b、c 这样的关键词组合，用以代表特定的对象或风格。用户还可以通过下载文本逆变换模型来加以应用。

用户下载的 embedding 模型应当存放在 SD 文件夹的 embeddings 目录内。

六、进阶攻略：掌握ControlNet的使用技巧

首先，了解ControlNet的基础知识——顺利完成插件安装

ControlNet的核心功能在于，通过引入额外的控制性条件，引导Stable Diffusion按照创作者的构想生成图像，有效提升AI图像生成的可控性与精确度。在开始使用ControlNet之前，务必确认Stable Diffusion软件及其ControlNet插件已正确安装。

ControlNet，这一由斯坦福大学研究人员开发的Stable Diffusion拓展工具，让创作者得以轻松操控AI图像与视频中的元素。它能够依据边缘检测、草图处理、人体姿态等多种条件对图像生成进行控制。ControlNet可以被视作一种简化的稳定扩散微调技术。

ControlNet的操作机制是将可训练的网络模块附加到稳定扩散模型的U-Net（噪声预测器）的各个部分。在训练过程中，稳定扩散模型的权重是固定不变的，只有附加模块会在训练中发生变化。

截至目前，ControlNet已升级至1.1版本。相较于1.0版本，ControlNet 1.1版本引入了更多的预处理器和模型，并且原有的模型也通过更优质的数据训练实现了性能上的提升。如需获取更多信息，请查阅相关文档：

在GitHub上搜索并找到对应的网址，将其填写到扩展设置中，完成安装后，不要忘记点击“Apply and restart UI”以重启用户界面。

1）首先，将 ControlNet 模型文件（格式为 .pt、.pth、.ckpt 或 .safetensors）妥善放置到 models/ControlNet 的指定文件夹内。

2）切换至“txt2img”或“img2img”功能界面，开始撰写您的创作提示。

3）点击“刷新模型”按钮，挑选您希望使用的模型。如果模型未能显示，请尝试重新加载或重启 webui。

4）上传您的图像，并挑选合适的预处理器，完成设置。

5）目前，系统支持完整型号和精简型号。您可以通过运行 extract_controlnet.py 脚本，从原始的 .pth 文件中提取出 controlnet。

6）此外，我们还提供了预训练模型供您选择使用。

文章标题：深度解析 Stable Diffusion 新手手册——轻松上手AI绘画利器！实操教学

（文章第25/53节，正文核心部分，如下改写）

原文片段改写：

controlnet这款功能强大的工具，允许用户输入多个单元，实现协同作用。类似于关键词和LoRA，每个control单元都配备了独立的权重设置，即control weight，用户可以通过调整这些权重来精细调控单元的影响力度。

若在操作界面中发现四个单元数量不足，可在设置中进入controlnet目录，对ControlNet Unit的最大数量进行调整。请注意，这一改动需重启WebUI后方能生效。

启动每个单元的操作相当简便，只需勾选启用选项，即可立即生效，生成的图像即可直观呈现。

对于内存容量在8G及以下的显卡，可启用低显存模式。

若追求画面精度，不妨勾选完美像素模式。

允许预览功能，顾名思义，是一项较为传统的功能。

在控制模式中，存在三种不同的操作模式，它们各自的功能可以通过官方发布的一张图表清晰地了解。只需一瞥，便能立刻分辨出这些模式与“control”之间的细微差别。其中，与“control”更为贴近的图像，其prompt的控制力也相对更强。

在Stable Diffusion的世界中，我们迎来了一项革命性的技术——仅限参考控制。这项技术摒弃了传统意义上的控制模型，让用户能够直接借助图像来引导扩散过程，从而彻底颠覆了传统图生图的局限...

七、预处理器详解

一、深入了解Controlnet模型

在探索Stable Diffusion的奥秘时，我们不可避免地会遇到一个关键的角色——Controlnet模型。接下来，让我们来揭开它的面纱，一探究竟。

二、Controlnet模型的命名规则

为了更好地理解和使用Controlnet模型，我们还需掌握其命名规则。以下是一些关于命名规则的详细解读。

在图像处理领域，Canny算法以其卓越的性能而闻名，它擅长捕捉图像的边缘细节，这对于图像生成任务来说至关重要，因为它能协助模型生成边缘清晰的图像。

在将图片转换为线稿的过程中，这种方法特别适合于那些细节不复杂的画面；然而，当面对复杂图像时，主体部分可能会受到非主题元素的干扰。

至于细节的描绘，一个关键因素是分辨率。分辨率越高，线条的清晰度就越高；而阈值的降低则意味着能够捕捉到更多的细节。

在AI绘画领域，Canny算法以其卓越的边缘检测能力而备受推崇。它通过运用边缘检测器来勾勒出输入图像中高对比度区域的轮廓，从而实现图像的精细描绘。这种线条化的处理方式能够捕捉到图像中极为丰富的细节。然而，若图像背景中存在其他物体，Canny算法可能会错误地将其也识别为边缘，从而产生不必要的干扰。因此，为了获得最佳的检测效果，背景中的物体越少，处理结果就越好。在此预处理环节中，control_sd15_canny模型被证明是最为理想的选项。

1. Canny算法的硬边缘处理

2. 深度与深度损失（Depth & Depth Leres）

该预处理工具旨在为输入图像提供深度估计。深度信息在控制图像中物体空间位置方面发挥着重要作用。在图像中，亮度较高的区域通常表示物体离观察者较近，而亮度较低的区域则表示物体距离观察者较远。

在使用大尺寸图像时，深度信息可能会遗漏图像内部的细节，如面部表情等。通常，我们会将其与control_sd15_depth模型相结合使用。Midas Resolution函数则负责调整detectmap中图像的大小和细节级别。该级别越高，所需的VRAM也就越多，但生成的图像质量也将更高；反之，如果级别较低，图像质量会相应下降。

Depth Leres与Depth拥有相似的核心概念，但它在地图中覆盖的范围更广。然而，有时它可能会从图片中捕捉过多信息，从而生成与原始图像略有差异的图像。因此，建议用户先尝试这两种预处理工具，根据个人偏好和需求决定最终选择哪一种。

3. HED（整体嵌套边缘检测）

HED技术能够为物体边缘绘制出清晰且细腻的线条，其输出效果与Canny相似。其显著优势在于，它能够捕捉到复杂的细节和轮廓，同时还能保留如面部表情、发丝、手指等细节特征。HED预处理器被广泛应用于调整图像的风格和色彩。在众多模型中，control_sd15_hed被认为是适用于此预处理器的最佳选择。

4. OpenPose姿态解析

该预处理器能够生成一个基础的骨骼模型，呈现为火柴人形态。这项技术因其广泛应用而备受推崇，原因在于多个OpenPose骨架能够融合成一个完整的图像。在骨架图中，每个关节点都至关重要，正如以下图示所展示的那样，每个点都代表着特定的身体部位。

5. MLSD（移动线段检测）技术

在MLSD预处理器的应用中，特别适合于创造出极具力量感的线条，这些线条能够精准地捕捉到那些具有独特且刚性轮廓的建筑以及各类人造结构。然而，它并不适合用于处理那些非刚性或弯曲的物体。MLSD技术非常适合于生成室内布局或建筑结构的设计，因为它能够有效地凸显出直线和边缘。在此预处理器的运用中，最为理想的模型选择是control_sd15_mlsd。

6. 线条勾勒的艺术

线条勾勒，简称Lineart，与Canny算法构成了一组相互补充的技术。Lineart对线条和分割的识别极其敏感，而Canny算法则专注于捕捉光影变化中的边缘细节。因此，在绘画过程中，线条勾勒特别适用于对原始线稿进行色彩填充。在众多绘画场景中，这两者常常展现出相似的特点。

为此，专门有一个模型针对二次元处理线稿上色。Anime Lineart。

7. 软边缘技巧

这种边缘处理方式与硬边缘有着相似之处，但又有其独特之处。它特别适合那些边缘线不够清晰、材质显得柔和、倒角平滑的轮廓。

8. 涂鸦功能详解

在Stable Diffusion中，涂鸦功能旨在通过简单的黑白线条画和草图来生成图像。用户有权限通过“Canvas”选项来定制特定尺寸的空白画布，以便进行手工素描（当然，您也可以直接上传已有的图像）。值得注意的是，如果您的草图和绘图是以白色背景上的黑色线条为主，那么您需要勾选“Invert Input Color”这一选项。针对这一预处理器的理想模型当属control_sd15_openpose。