安装

这个过程其实很简单,看github官方的文档吧。出现的问题大多数为网络问题。
GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI

炼丹

想炼出一枚好丹,需要有三个要素,一鼎好用的炉子,炉温控制器和原材料。
对应到Stable Diffusion的过程,炉子代表你使用的Stable Diffusion model;控制器是用来finetune的模型(比如LORA模型);而原材料就是你输入的Prompt,无论文字还是图片,都是影响你最终生成效果的重要指标。

SD Model Checkpoint

要炼丹,先找个好炉子,sd1.4版本的model生成效果属实不怎么样,生成出来的人细节层次太差,都是像下面这种效果。
2023-04-11_Stable Diffusion记录-20230411
2023-04-11_Stable Diffusion记录-20230411-1
2023-04-11_Stable Diffusion记录-20230411-2
最抽象的是这个,这是个啥?
2023-04-11_Stable Diffusion记录-20230411-3
由于sd-webui 1.5的model现在还有输入尺寸不对的bug,所以针对二次元和三次元图片,我找了两个效果比较好的模型,分别是:
AbyssOrangeMix3 (AOM3) | Stable Diffusion Checkpoint | Civitai
2023-04-11_Stable Diffusion记录-20230411-4
ChilloutMixss | Stable Diffusion LORA | Civitai
2023-04-11_Stable Diffusion记录-20230411-5
需要注意的是AOM3需要将红框所示的VAE文件放到.\stable-diffusion-webui\models\Stable-diffusion目录下,并将vae名字改为abyssorangemix3AOM3_aom3a1b.vae.pt(与你的模型名一致),否则生成的图片会有发灰的问题。
用基于sd1.5的AOM3生成点图片,效果提升的不是一点半点。
2023-04-11_Stable Diffusion使用教程其一——炼丹三要素-20230412-1
2023-04-11_Stable Diffusion使用教程其一——炼丹三要素-20230412
但其实可以看到手的效果仍然不咋地,毕竟手的骨骼比较复杂,现在的解决方法有用open pose插件去调整,但是还是比较麻烦,期待后续sd版本能够针对手进行修复。

LORA模型

Civitai | Stable Diffusion models, embeddings, hypernetworks and more
在Civitai上有很多LoRA供你选择,LORA模型是用来对你的基础模型进行Finetune用的。
LoRA的基本原理是冻结预训练好的模型权重参数,在冻结原模型参数的情况下,通过往模型中加入额外的网络层,并只训练这些新增的网络层参数。由于这些新增参数数量较少,这样不仅 finetune 的成本显著