三个旋钮,各干各的

Prompt 一根筋,管不过来

你写 prompt 写到一定地步,会撞一面看不见的墙。咒语再长,模型该乱还是乱。这事儿出在哪儿呢?

问题出在 prompt 这东西本质上是一句话。一句话能告诉模型"画一个穿西装的女人",但它没办法同时告诉模型三件事——你想想:

• 她得是 这个具体姿势:左手叉腰,右手指向远方,身体侧 30 度。你描述得出来吗?写出来就成裹脚布了,模型也听不准。
• 整张图得 看着像 Saul Leiter 那张街拍——你心里有一张参考图。文字怎么把那张图的味儿传过去?
• 她得是 你的模特,不是别人。模型 default 出来的脸有它自己的偏好,你文字描述得再细,模型也认不出"她"是谁。

这就是 prompt 的天花板。文字是一根筋,画面有好几条道——单凭文字管不住。所以三个工具应运而生,各管一摊¹²:

说白了:

• ControlNet 给画面装上一副 骨架——你画一个姿势 / 线稿 / 深度图,喂进去,模型就按这骨架长肉¹。
• IP-Adapter 给画面装上一个 参考——你塞一张图进去,模型就照这张图的色调 / 质感 / 构图照葫芦画瓢³。
• LoRA 给模型 记住一个具体的人或东西——你拿 20-50 张照片训一个小模块,以后这模型一调用就出那个具体的人⁶。

ControlNet——给画面装骨架

ControlNet 翻译过来是"控制网络",说人话就是 给模型一副"必须长成这样"的骨架,模型只能在骨架上添肉填色。这是 2023 年初张吕敏放出来的,改写了整个 SD 生态——之前模型出图基本随机,之后才有"精确控形"这回事儿¹ 🟢 high。

它怎么工作的

你给它一张 参考图。这张图先过一道 预处理器(preprocessor)——这道工序把参考图里的结构信息抽出来,做成一张专门的图,叫 detectmap。然后 detectmap 喂给 ControlNet,ControlNet 在 diffusion 过程里头每一步都拽着模型一把:"按这个长,别乱跑"²。

关键就在预处理器这一步——你选哪种预处理器,决定了你"锁"的是什么¹:

预处理器	抽出来什么	用来锁什么
Canny	硬边缘 / 轮廓线	整体形状、线稿转图、产品角度
Lineart	更柔的笔触线条	插画上色、手绘草图转成片
OpenPose	人体骨架(头 / 躯干 / 四肢 / 手指)	锁姿势、动作复刻
Depth	深度图(灰度,越白越近)	锁空间布局、镜头角度
Soft Edge	柔边检测	重新上色但保留物体形状
Segmentation	语义分区(每块颜色对应一类物)	"这片是天、这片是楼"的布局

实际用起来,90% 的活儿就靠四个:OpenPose 管姿势、Depth 管布局、Canny 管轮廓、Lineart 管线稿。其它的偶尔用一次。

IP-Adapter——给画面找个参考

IP-Adapter 是 2023 年腾讯 AI Lab 放出来的⁴。名字里 IP 是"Image Prompt"——意思就是 把一张图当 prompt 用。文字 prompt 是用文字描述你要什么,图 prompt 是直接给一张样片:模型,你看这个,照这个味儿画。

它跟 ControlNet 的关键区别

同样是"给一张参考图",ControlNet 抽结构(形状骨架),IP-Adapter 抽 气质(色调 / 质感 / 光线 / 整体感觉)。一个管"长成什么样子",一个管"看着像什么"——这是两件事。

它怎么把"气质"传过去的呢?简单说,它用一个 CLIP 图像编码器把你给的参考图压成一组 embedding(向量),然后通过一个叫 decoupled cross-attention 的机制,把这组向量塞进 diffusion 模型的 U-Net 里头——跟文字 prompt 走的是另一条独立通道,两条道不打架³⁵ 🟢 high。这一招最妙的地方是 不用 fine-tune 模型——一个只有 2200 万参数的小模块,就能让模型听懂"图作 prompt"³。

实际用法:三种主要场景

场景	给什么参考图	出来什么
风格传递	一张 Saul Leiter 街拍	新画面色调 / 质感学这张
人脸参考	一张某人的脸	新图里出这个人(像但不锁死)
构图参考	一张广告构图	新内容沿用相似构图布局
多图融合	两张参考图混权重	风格 A + 构图 B 杂交

LoRA——让模型记住一个具体的"谁"

LoRA(Low-Rank Adaptation)跟前两个不一样。ControlNet 和 IP-Adapter 是 在推理时临时往模型身上加约束,LoRA 是 提前训一个小补丁装到模型上,以后每次出图都自带这块补丁的"记忆"。

它最擅长干的事儿就一句话:让模型记住一个具体的"谁"或"什么"——你的模特、你的品牌产品、某个画家的画风、某个虚构角色⁶。Prompt 描述不出具体的人,IP-Adapter 给参考但不锁死,只有 LoRA 真的把这个"谁"刻进了模型本身。

训一个 LoRA 要什么

• 数据集:角色 LoRA 用 20-50 张(挑过的),风格 LoRA 用 50-200 张⁶⁷⁸。多了不一定好——有人塞 200 张训角色,结果比 60 张精选的还差 🟢 high。
• 标注:每张图配一段 caption。Caption 的写法直接决定模型学到什么。
• 算力:SDXL LoRA 用一张 24G 显存的 GPU(比如 RTX 4090)训个把小时;Flux LoRA 稍重一点。
• 调参:learning rate / rank / training steps 这些。新手用默认就行,有经验的能调出更稳的结果。

角色 LoRA vs 风格 LoRA

类型	数据集	典型用途
角色 LoRA	20-50 张同一人 / 物,多角度多表情	品牌人物、自定义模特、虚构角色
风格 LoRA	50-200 张同一风格的作品	某画家画风、品牌视觉调性
概念 LoRA	30-100 张同一概念的图	新衣服款式、新物种、特殊场景

摞起来——一个完整的广告活儿

前三节是把三件套一个一个拆开看。这一节把它们摞起来跑一遍完整流程,让你看到它们怎么在一张图上同时发力。

任务:12 张眼镜广告系列

客户要一个虚构模特(简洁现代风格的亚洲女性,30 岁左右),在 12 个不同城市背景里,穿同一套着装,摆 4 个标志性姿势的变体,整体风格学一张 Saul Leiter 街拍的色调质感。要求:模特每张都是同一个人、姿势可控、12 张视觉统一、可批量产出。

纯 prompt 干这事儿,你试试就知道——12 张图里头模特长相五花八门、姿势随心所欲、色调一片混乱。专业管线干这事儿走下面这条路:

实际跑的步骤

1. 给真模特拍 30 张照片,训一个角色 LoRA 叫 brand_model_v1(1-2 小时)。
2. 用 OpenPose 从样片里抽 4 张姿势骨架(几分钟)。
3. 挑一张 Saul Leiter 街拍当 IP-Adapter 风格参考(几分钟)。
4. 写 12 个 prompt 描述 12 个城市场景(半小时)。
5. 在 ComfyUI 里头搭好节点图:LoRA + ControlNet + IP-Adapter + prompt → Diffusion → 出图。
6. 对 12 个场景 × 4 个姿势 × 多个 seed 跑批量,出来几百张候选(几小时)。
7. 挑出最满意的 12 张,inpaint 修脸 / 修手,Photoshop 后期(几小时)。

从头跑下来 1-2 天的事儿。换成传统拍摄管线:订模特、定场地、12 个城市跑通告、灯光师、化妆师、后期——一周起步,价格 10 倍以上。

决策小抄——这事儿用哪个

三件套不是每个活儿都得全上。你手头一个任务,先问自己:我要锁住的是什么? 答案不一样,用的工具不一样。

你要锁的	用什么	为什么
姿势 / 动作	ControlNet (OpenPose)	骨架抽出来就是一根棍,文字说不准
构图 / 布局 / 角度	ControlNet (Depth)	深度图把空间关系定死
线稿 / 草图变成片	ControlNet (Lineart / Canny)	线条直接喂,不用描述
风格 / 色调 / 气氛	IP-Adapter	找一张样片传"味儿",比文字传得准
一个具体角色的脸	LoRA(角色)	训进模型才能死死锁住
偶尔出某个角色就行	IP-Adapter(人脸)	不锁死,但够用,不用训
某个画家的风格	LoRA(风格)或 IP-Adapter	风格固定深度用 → LoRA;一次性 → IP-Adapter
一个新概念(新衣服 / 新物种)	LoRA(概念)	模型本来不知道,得训

两条经验法则

1. "长期 / 系列 → LoRA;一次性 / 偶尔 → IP-Adapter"。LoRA 训练有成本(数据 + 算力 + 时间),只为一次任务训不划算。你这个角色 / 风格以后还要反复用?训 LoRA。就这一回?IP-Adapter 顶着用。
2. "形归 ControlNet,像归 IP-Adapter,谁归 LoRA"。这是个口诀,实际工作里遇到任何"我想精确锁住 X"的时候,先把 X 归类到形 / 像 / 是谁这三类——选哪个工具就清楚了。

2026 年的工具支持现状

这块儿你也得知道:三件套不是所有底模都支持。截至 2026 年中:

• SDXL / SD 3.5:三件套生态最成熟,所有工具都齐,社区资源丰富⁹。
• Flux.1 Dev:三件套都支持,但 ControlNet 目前只有 Canny / Depth / HED 三个主要模型,IP-Adapter 是 beta¹⁰¹¹。比 SDXL 弱一点但够用。
• Flux 2 / Flux Pro:闭源 / 限制,目前 LoRA 和 ControlNet 支持还在开发中。
• Midjourney / Imagen / GPT Image:闭源,这三件套用不了。MJ 有部分内置替代品(--cref / --sref),其它的没。

你要想吃满这三件套的能力,选底模就只能选 SDXL 系或 Flux.1 Dev 系——这是 2026 年开源生态的两条主干道。闭源模型再漂亮,精确控形这条路你走不了。