摘要

在本地用 SD1.5 底模训练角色 LoRA,输出 kohya 格式权重并接入 ComfyUI 出图。过程中 fp16 训练溢出到 loss=NaN,换 fp32 后稳定;底模下载与 tokenizer 配置都要走 hf-mirror。

关键指标

底模SD1.5 pruned-emaonly(4GB)
关键坑fp16 loss=NaN → 改 fp32
显存fp32 训练约 12GB
输出kohya 格式 safetensors

部署方法

底模用 SD1.5 v1-5-pruned-emaonly.safetensors(经 hf-mirror 下载)。训练用 diffusers + peft 的 DreamBooth 风格脚本,输出 kohya 格式(lora_unet_*.lora_down/lora_up/alpha)。训练环境复用 ComfyUI 的 torch 2.11。

正文

背景

角色一致性是创作工坊的老大难,靠提示词画同一个人不稳定。想用角色 LoRA 把「人」固定下来,在本地把训练链路跑通。

方案

底模用 SD1.5,训练脚本走 diffusers + peft 的 DreamBooth 风格,训练完成后把 peft 权重映射成 kohya 格式,直接挂进 ComfyUI 的 LoraLoader。

踩坑

坑一:fp16 训练直接溢出。 默认 fp16 训练几步后 loss 变成 NaN,梯度溢出。改成 fp32 后 loss 稳定在 0.004–0.05 区间,150 步约 1 分钟。代价是显存占用上到约 12GB。

坑二:from_single_file 需要额外下载配置。 加载单文件 safetensors 时 diffusers 会去拉 tokenizer 等 config,而 HF 直连被墙。必须在训练环境里把 HF_ENDPOINT 指到 hf-mirror,否则卡在下载。

结论

fp16 不是「更快」的免费午餐,训练精度塌了就是 NaN。小样本角色 LoRA 用 fp32 稳扎稳打即可,显存够就别贪 fp16。训练产物用 kohya 格式,能和 ComfyUI 生态直接打通。

数据来源

4 条

局限性与适用边界

结论只在单卡、单底模(SD1.5)上验证;训练集为 3 张的小样本,样本量与泛化能力有限。角色 LoRA 只对 SD 系底模有效,视频模型(H3)没有公开训练器,不能套用。

返回报告列表