如何将 Stable Diffusion PT+YAML 转换成 diffusers 格式

如何将 Stable Diffusion PT+YAML 转换成 diffusers 格式

Huggingface 的 diffusers 格式是初学者最爱的格式，只需要简单几行代码，就可以下载模型，执行 文字到图片 转换等常用功能

而有时候在网上淘模型的时候，经常会遇到原版 Stable Diffusion 格式，只有一个 .pt 文件和一个 .yaml 配置文件，为了方便管理和加载，可以把原版格式转换为 diffusers 格式

下面以 waifu-diffusion-1.4 为示例，演示下如何完成格式转换

1. 从网站上下载 waifu-diffusion-1.4 的 文件

wd-1-4-anime_e1.yaml
wd-1-4-anime_e2.ckpt

2. 在本地准备 Python 环境

python -m venv venv
source venv/bin/activate
pip install 'diffusers[torch]' 'safetensors' 'transformers' 'omegaconf'

3. 下载脚本文件

.14.0/scripts/convert_original_stable_diffusion_to_diffusers.py

注意切换到匹配的 diffusers 版本，不然会出问题

5. 执行命令

python convert_original_stable_diffusion_to_diffusers.py --checkpoint_path wd-1-4-anime_e2.ckpt --original_config_file wd-1-4-anime_e1.yaml --image_size 768 --scheduler_type pndm --prediction_type v_prediction --extract_ema --to_safetensors --device cpu --dump_path out

即可在 out 目录下得到符合 diffusers 格式的模型了

可以使用

StableDiffusionImg2ImgPipeline.from_pretrained("path/to/out")

从本地目录加载模型