1/9

0 步 · 8 分钟

先搞懂:这次到底在训练什么

此步目标:能用自己的话区分「上传参考图生图」和「训练一份人物 LoRA」。

课程怎么用

不是把命令抄完就算毕业

这篇课改编自静静学AI的人物 LoRA 实操。原文已经把 24 张图、描述、脚本和参数备好,你的任务是走完「数据 → 训练 → 对照 → 保存 → 再加载出新图」,并且能解释每一步在改模型的哪一部分。

这次做的是 SDXL 图像生成模型上的人物 LoRA,不是聊天模型,也不是从零训练完整模型。开头那些「唐装站在长安、和恐龙合影」是后续玩法,原文尚未验证;人物像不像,只能看出图,不能看 loss。

生成时塞参考图 vs 训练人物权重

上传照片给 ChatGPT / IP-Adapter

  • 每次生成都要再给参考
  • 模型权重没有为你更新
  • 换工具、换工作流就要重新贴图
  • 适合「先试试像不像」

训练人物 LoRA

  • 特征写进一份 .safetensors
  • 以后只加载底模 + 这份文件
  • 换衣服换场景仍更像同一个人
  • 适合反复出写真、固定角色

互动 · LoRA 补丁

底模冻结,只训练一条窄通道

大方块是底模权重,训练时不动。下面两块小矩阵才是 LoRA:左边把特征压窄,右边再展开。窄到什么程度,就是秩。

底模 W(冻结)

A 8×16 · B 16×8

×

ΔW ≈ B × A,参数量约 0.1M(示意)

秩 rank = 16人物起步建议 16

能记住的细节

25%

背训练图的风险

0%

通道较窄:更像「记住一张脸」,不容易把某件衣服一起背下来。

测一下

训完得到的人物 LoRA 文件,为什么不能双击就出图?