SD 1.5 出图全黑一片 VAE 和 fp16 到底哪里设错了

SD WebUI 1.9.4 换了个 SDXL 模型,出图全黑,512×512 和 1024×1024 都一样,终端没有任何报错,进度条正常跑完。第一反应是提示词,换成官方示例的 a photo of a Cat 还是黑的,排除了提示词。

把 latent 打出来看,数值在正常范围,不是全零;VAE decode 之后的像素全是 0。这就指向解码环节。SDXL 官方 VAE 在 fp16 下会溢出,某些层输出 inf,再过 tanh 变成 NaN,最后转 uint8 全变 0,所以图是纯黑而不是花屏。

试过 --precision full --no-half,出图正常,但 24G 的 4090 上显存从 9.8G 涨到 14G,速度慢 40%,部分 LoRA 在 fp32 下还报 dtype 不匹配。这个方案能验证问题,不能长期用。

import torch
from diffusers import AutoencoderKL

vae = AutoencoderKL.from_pretrained(
    "madebyollin/sdxl-vae-fp16-fix",
    torch_dtype=torch.float16,
)
pipe.vae = vae
pipe.vae.config.force_upcast = False
# 输出张量检查,NaN 会显示为 nan
print(pipe.vae.decode(latents).sample.abs().max())

最后走的是 fp16 修复版 VAE。diffusers 里换成 madebyollin/sdxl-vae-fp16-fix,WebUI 则是把 vae-ft-mse-840000 换成对应的 fp16 fix 文件,启动加 --no-half-vae,只让 VAE 走 fp32,UNet 保持 fp16。显存只多 0.6G,速度基本没掉。

判断是不是这个原因有个快办法:同一条 prompt 把步数降到 1 步。1 步还是全黑,基本就是 VAE 或者精度;1 步能出糊图,问题在采样参数或者 CFG 设成了 0。我这边 1 步出的是灰噪点,所以确定在解码侧。

另外提一句,1024 以上分辨率直出时显存峰值会摸到 11G 左右,这跟黑图无关,但容易混在一起排查。先固定在 512 复现,确认解码侧没问题再往上调分辨率。

您可以还会对下面的文章感兴趣: