1/9
第 0 步 · 8 分钟
先搞懂:这次到底在训练什么
此步目标:能用自己的话区分「上传参考图生图」和「训练一份人物 LoRA」。
课程怎么用
不是把命令抄完就算毕业
这篇课改编自静静学AI的人物 LoRA 实操。原文已经把 24 张图、描述、脚本和参数备好,你的任务是走完「数据 → 训练 → 对照 → 保存 → 再加载出新图」,并且能解释每一步在改模型的哪一部分。
这次做的是 SDXL 图像生成模型上的人物 LoRA,不是聊天模型,也不是从零训练完整模型。开头那些「唐装站在长安、和恐龙合影」是后续玩法,原文尚未验证;人物像不像,只能看出图,不能看 loss。
生成时塞参考图 vs 训练人物权重
上传照片给 ChatGPT / IP-Adapter
- 每次生成都要再给参考
- 模型权重没有为你更新
- 换工具、换工作流就要重新贴图
- 适合「先试试像不像」
训练人物 LoRA
- 特征写进一份 .safetensors
- 以后只加载底模 + 这份文件
- 换衣服换场景仍更像同一个人
- 适合反复出写真、固定角色
互动 · LoRA 补丁
底模冻结,只训练一条窄通道
大方块是底模权重,训练时不动。下面两块小矩阵才是 LoRA:左边把特征压窄,右边再展开。窄到什么程度,就是秩。
底模 W(冻结)
A 8×16 · B 16×8
×
ΔW ≈ B × A,参数量约 0.1M(示意)
秩 rank = 16人物起步建议 16
能记住的细节
25%
背训练图的风险
0%
通道较窄:更像「记住一张脸」,不容易把某件衣服一起背下来。
测一下
训完得到的人物 LoRA 文件,为什么不能双击就出图?