本地 SD1.5 角色 LoRA 训练闭环
fp16 训练 loss 直接 NaN,换成 fp32 才稳住——一次 12GB 显存内的踩坑实录。
摘要
在本地用 SD1.5 底模训练角色 LoRA,输出 kohya 格式权重并接入 ComfyUI 出图。过程中 fp16 训练溢出到 loss=NaN,换 fp32 后稳定;底模下载与 tokenizer 配置都要走 hf-mirror。
关键指标
部署方法
底模用 SD1.5 v1-5-pruned-emaonly.safetensors(经 hf-mirror 下载)。训练用 diffusers + peft 的 DreamBooth 风格脚本,输出 kohya 格式(lora_unet_*.lora_down/lora_up/alpha)。训练环境复用 ComfyUI 的 torch 2.11。
正文
背景
角色一致性是创作工坊的老大难,靠提示词画同一个人不稳定。想用角色 LoRA 把「人」固定下来,在本地把训练链路跑通。
方案
底模用 SD1.5,训练脚本走 diffusers + peft 的 DreamBooth 风格,训练完成后把 peft 权重映射成 kohya 格式,直接挂进 ComfyUI 的 LoraLoader。
踩坑
坑一:fp16 训练直接溢出。 默认 fp16 训练几步后 loss 变成 NaN,梯度溢出。改成 fp32 后 loss 稳定在 0.004–0.05 区间,150 步约 1 分钟。代价是显存占用上到约 12GB。
坑二:from_single_file 需要额外下载配置。 加载单文件 safetensors 时 diffusers 会去拉 tokenizer 等 config,而 HF 直连被墙。必须在训练环境里把 HF_ENDPOINT 指到 hf-mirror,否则卡在下载。
结论
fp16 不是「更快」的免费午餐,训练精度塌了就是 NaN。小样本角色 LoRA 用 fp32 稳扎稳打即可,显存够就别贪 fp16。训练产物用 kohya 格式,能和 ComfyUI 生态直接打通。
数据来源
4 条局限性与适用边界
结论只在单卡、单底模(SD1.5)上验证;训练集为 3 张的小样本,样本量与泛化能力有限。角色 LoRA 只对 SD 系底模有效,视频模型(H3)没有公开训练器,不能套用。