第 4 章材料设计理由¶
这份文档回答：为什么第 4 章选这些内容？学完能做什么？不学/不做会缺什么？
也可以作为你提出新需求/修改课程的依据。
1. 本章定位¶
第 4 章不是“搭 ControlNet/LoRA 工程”的课，而是：
把“条件控制与个性化”拆成四层，让面试官知道你不仅会用工具，还知道每层解决什么问题。
四层分别是：
- 文本语义：CLIP；
- 空间结构：ControlNet；
- 图像语义：IP-Adapter；
- 模型定制：LoRA/DreamBooth/TI/Hypernetwork。
2. 材料地图¶
| 材料 | 为什么选 | 学完能做什么 | 不做什么 |
|---|---|---|---|
| 4.1 CLIP | A1/A15 的核心，所有条件的基础 | 写双塔/loss，分析优缺点 | 不做零样本实验 |
| 4.2 ControlNet | A13，空间控制代表 | 画结构，解释 zero conv | 不训练 ControlNet |
| 4.3 IP-Adapter | A14，图像条件代表 | 画解耦 cross-attn，区分 ControlNet | 不搭 demo |
| 4.4 LoRA 系列 | A12，个性化代表 | 比较四种方法，选型 | 不训练 LoRA |
| 05 面试题库 | 知识→表达 | 90 秒回答 5 道核心题 | 不覆盖所有题 |
| 06 练习 | 纸面检查 | 写 loss/算参数/做对比 | 不做编程题 |
| 07 讲师手册 | 可授课 | 4 节课节奏/板书 | 不是学生必读 |
| 08 设计理由 | 解释取舍 | 判断增删/加深 | 不是知识点讲义 |
3. 每份材料的详细理由¶
3.1 为什么先讲 CLIP（4.1）¶
选择理由：
- CLIP 是 SD 文本条件的入口；
- A1 是高频基础题；
- A15 是“你真的理解 CLIP 吗”的追问；
- ControlNet/IP-Adapter 都建立在 CLIP/Attention 之上。
学到什么：
- 双塔架构；
- 对称 InfoNCE；
- 大 batch/温度/零样本；
- 77 token/组合性/偏差；
- SD/SDXL/SD3 的文本编码器差异。
能处理什么：
- A1、A15；
- “CLIP 为什么不是生成模型”；
- “CLIPScore 能不能当指标”；
- “SD3 为什么加 T5”。
为什么不做：
- 不做零样本实验；
- 不训练 CLIP；
- 不展开所有 prompt engineering。
取舍：结构 + 损失 + 局限，足够面试。
3.2 为什么讲 ControlNet（4.2）¶
选择理由：
- A13 是空间控制的代表；
- “frozen base + trainable copy + zero conv”是高频画图题；
- 很多人只会说“加条件”，讲不清结构。
学到什么：
- 结构；
- 零卷积；
- 训练/推理；
- 多条件组合；
- 与 T2I-Adapter 的区别。
能处理什么：
- A13；
- “为什么零卷积”；
- “训练整个 SD 吗”；
- “多个 ControlNet 怎么组合”。
为什么不做：
- 不训练 ControlNet；
- 不跑 Canny/Depth demo；
- 不展开每个条件模型。
取舍：结构 + 动机 + 训练/推理，足够面试。
3.3 为什么讲 IP-Adapter（4.3）¶
选择理由：
- A14 是图像条件的代表；
- 解耦 cross-attention 是核心亮点；
- 面试常问“和 ControlNet 的区别”。
学到什么：
- image prompt；
- 解耦 cross-attn；
- 只训少量参数；
- scale/Plus/FaceID；
- 与 ControlNet 的分工。
能处理什么：
- A14；
- “为什么解耦”；
- “22M 参数花在哪”；
- “什么时候用 IP-Adapter”。
为什么不做：
- 不搭 demo；
- 不训练 adapter；
- 不展开所有变体。
取舍：结构 + 公式 + 对比，足够面试。
3.4 为什么讲 LoRA 系列（4.4）¶
选择理由：
- A12 是个性化高频题；
- 四种方法容易混；
- 面试常问“LoRA 和 DreamBooth 的区别”。
学到什么：
- LoRA 公式/rank/alpha；
- DreamBooth prior preservation；
- TI token embedding；
- Hypernetwork 生成权重；
- 四种方法对比/选型。
能处理什么：
- A12；
- “DreamBooth 是 LoRA 吗”；
- “TI 为什么文件小”；
- “什么时候用哪种”。
为什么不做：
- 不训练 LoRA；
- 不做 DreamBooth；
- 不比较实际效果。
取舍：训练对象 + 容量 + 选型，足够面试。
4. 为什么没有代码¶
第 4 章最容易滑向“搭 demo/训练 adapter”。本课程刻意不做，原因：
- 面试考的是结构和取舍，不是复现；
- 训练/搭 demo 时间成本高；
- 跑通不等于理解：可以调库，但画不出结构；
- 本章产出是结构图、公式、对比表，不是 repo。
如果以后需要代码，建议作为“可选实验”，不进入主线。
5. 学什么 → 能处理什么¶
| 学完 | 能处理的问题 | 能做的动作 |
|---|---|---|
| 4.1 | A1/A15、CLIP 局限 | 写 loss、列优缺点 |
| 4.2 | A13、空间控制 | 画结构、解释零卷积 |
| 4.3 | A14、图像条件 | 画解耦、区分 ControlNet |
| 4.4 | A12、个性化 | 比较四种方法、选型 |
| 05 | 面试追问 | 90 秒回答 |
| 06 | 自我检查 | 写公式、算参数、做对比 |
6. 本章不覆盖什么¶
- 不覆盖 CLIP 的训练工程；
- 不覆盖 ControlNet 的所有条件模型；
- 不覆盖 IP-Adapter 的训练细节；
- 不覆盖 LoRA 的分布式训练；
- 不覆盖实际 demo 搭建。
这些不是不重要，而是不属于第 4 章的面试主线。
7. 你可以怎么改¶
7.1 加深内容¶
- 加 CLIP 的 prompt ensemble；
- 加 ControlNet 的多条件冲突；
- 加 IP-Adapter Plus/FaceID；
- 加 LoRA 的 rank/alpha 调参。
7.2 增加代码（可选）¶
- 给 LoRA 的 20 行伪代码；
- 给 ControlNet 的结构阅读题；
- 不要求运行。
7.3 增加面试训练¶
- 加 30 题题库；
- 加英文版；
- 加“工具选型 case”；
- 加组合方案设计。
7.4 调整比例¶
- 少讲 Hypernetwork，多讲 LoRA；
- 少讲 CLIP 训练，多讲局限；
- 增加 ControlNet/IP-Adapter 对比；
- 增加实际案例。
建议：每加一块内容，就删一块低优先级内容，保持 90 分钟。
8. 怎么判断学会了¶
L1 能复述¶
能讲 3 分钟“怎么控制 SD”。
L2 能画/写¶
能画 ControlNet/IP-Adapter，写 CLIP/LoRA 公式。
L3 能比较¶
能比较 ControlNet/IP-Adapter、LoRA/DreamBooth/TI。
L4 能应对追问¶
能回答“为什么零卷积”“为什么解耦”“DreamBooth 和 LoRA 区别”。
本章目标是 L2–L3，面试冲刺是 L4。
9. 最后一句话¶
第 4 章的价值，不是让你会训模型，而是让你在面试中把“文本、空间、图像、模型定制”四层控制讲清楚。