第 4 章面试题库：90 秒答案与追问¶
用途：把第 4 章知识压缩成面试语言。
方法：先自己答，再看参考；每题至少练 3 遍，第 3 遍录音。标记：S = 必须熟练；A = 高频；B = 加分。
1. 本章 5 道核心题¶
| 题号 | 题目 | 重要度 | 主材料 |
|---|---|---|---|
| A1 | CLIP 架构/训练/损失 | S | 4.1 |
| A12 | LoRA/DreamBooth/TI/Hypernetwork | S | 4.4 |
| A13 | ControlNet | S | 4.2 |
| A14 | IP-Adapter | S | 4.3 |
| A15 | CLIP 特征优缺点 | A | 4.1 |
2. A1：CLIP 架构、训练、损失（S）¶
90 秒版¶
“CLIP 是双塔模型：图像编码器用 ResNet 或 ViT，文本编码器用 Transformer，输出分别投影到共享维度并 L2 normalize。训练用约 4 亿图文对，在一个大 batch 里做对称 InfoNCE：图像和文本两两算 cosine 相似度，对角线是正样本，其余是负样本，两个方向的交叉熵取平均。温度是可学习的 logit scale。它不需要分类标签，学到的共享空间可以做零样本分类和检索，也常作为 SD 的文本编码器。”
追问 1：为什么 batch 要大？¶
负样本更多，对比信号更强；小 batch 容易学到 shortcut。
追问 2：为什么用对称损失？¶
既要 image-to-text，也要 text-to-image；两个方向都约束。
追问 3：零样本怎么做？¶
构造类别 prompt，算图像特征与文本特征的 cosine，取最高分。
易错点¶
- 只写单向交叉熵；
- 忘记 L2 normalize；
- 说 CLIP 是生成模型。
3. A15：CLIP 特征优缺点（A）¶
90 秒版¶
“优点是语义强、零样本、图像和文本共享空间、工程上好冻结，适合做 SD 的文本条件、IP-Adapter 的图像条件和图文评估。缺点主要是 77 token 限制、bag-of-words、组合性弱、计数/空间/否定不行、细粒度不足，还有数据偏差和 prompt 敏感。CLIPScore 也容易被刷，不能单独当生成质量指标。所以 SD3 会加 T5 补长文本和组合推理。”
追问 1：为什么 SD3 加 T5？¶
CLIP 有 77 token 和组合性限制；T5 更适合长文本、计数、文字渲染。
追问 2：CLIP 图像特征适合 ControlNet 吗？¶
不适合；它是全局语义，不是空间密集特征；空间控制用 ControlNet/深度/边缘。
4. A13：ControlNet（S）¶
90 秒版¶
“ControlNet 在冻结的 SD 旁边复制一份可训练的编码器/中间块，用条件编码器把 Canny/Depth/Pose 等控制图注入进去，再通过零初始化卷积把特征加回原模型。零卷积初始为 0，所以训练开始时不影响原模型，之后逐渐学会注入空间条件。训练只更新 ControlNet 分支，base 冻结，因此保留生成先验；推理时用 control scale 调节强度，也可以叠加多个 ControlNet。”
追问 1：为什么零卷积？¶
初始输出为 0，稳定训练，不破坏原模型。
追问 2：为什么复制编码器？¶
容量大，能学空间对应；adapter 更轻但控制弱。
追问 3：和 IP-Adapter 的区别？¶
ControlNet 管空间结构；IP-Adapter 管风格/主体/语义。
5. A14：IP-Adapter（S）¶
90 秒版¶
“IP-Adapter 用 CLIP 图像编码器提取参考图特征，投影后作为额外的图像 cross-attention 条件注入冻结的 SD。它把文本 cross-attention 和图像 cross-attention 解耦：文本一套 K/V，图像一套 K/V，共享 Q，输出相加，用 λ 控制图像强度。这样文本和图像条件互不干扰，只训练少量参数（原版约 22M）。它适合风格/主体参考，和 ControlNet 管空间结构不同，两者可以组合。”
追问 1：为什么解耦？¶
文本/图像分布不同，共享 K/V 会互相干扰，也不方便独立调强度。
追问 2：为什么只训 22M？¶
冻结 SD/CLIP，只学条件注入，成本低、保留原能力。
追问 3：scale 太大会怎样？¶
过度复制参考图，损失文本控制/多样性。
6. A12：LoRA/DreamBooth/TI/Hypernetwork（S）¶
90 秒版¶
“LoRA 学低秩增量 \(W+\frac{\alpha}{r}BA\)，只训练 A/B，文件小、可组合。DreamBooth 是少样本主体定制配方，用 3–5 张图和唯一标识符，配合 class prior preservation 防止过拟合，可以全量微调或加 LoRA。Textual Inversion 冻结模型，只学一个新的 token embedding，文件 KB 级，但容量有限。Hypernetwork 用小网络生成权重增量，原模型冻结，文件较大、训练不如 LoRA 稳定。核心区别是：LoRA 改权重增量，DreamBooth 是训练配方，TI 改 prompt token，Hypernetwork 生成权重。”
追问 1：LoRA 和 DreamBooth 的关系？¶
DreamBooth 是训练配方，LoRA 是参数高效方法；可以组合。
追问 2：DreamBooth 为什么需要先验图？¶
防止过拟合/语言漂移，保留类别知识。
追问 3：TI 为什么容量小？¶
只学一个 token embedding，不学权重。
7. 延伸题：10 个高频追问¶
Q1：CLIP 的 temperature 有什么用？¶
控制 softmax 锐度；可学习，让模型自己调对比强度。
Q2：CLIP 的 image encoder 用 ViT 还是 ResNet？¶
原论文都试过；ViT-L/14 效果强，ResNet 也可用。
Q3：CLIP 的 77 token 怎么来的？¶
文本 Transformer 的固定上下文长度；超过会被截断。
Q4：CLIP 能做 dense prediction 吗？¶
不直接；它的图像特征是全局语义，不适合像素级/密集任务。
Q5：ControlNet 的 condition 是怎么编码的？¶
小卷积网络把控制图映射到 latent 空间，再和 latent 相加/拼接。
Q6：ControlNet 能训练多个条件吗？¶
可以分别训练多个 ControlNet，推理时叠加；也可以训练多条件版本。
Q7：IP-Adapter 的图像特征从哪来？¶
CLIP ViT-H/14 等图像编码器；Plus 用更细粒度特征。
Q8：IP-Adapter 和 textual inversion 的区别？¶
IP-Adapter 是推理时图像条件；TI 是训练一个文本 token。
Q9：LoRA 的 alpha 有什么用？¶
缩放增量，控制 LoRA 影响强度；常与 rank 一起调。
Q10：DreamBooth 过拟合怎么办？¶
减少步数/学习率、加先验图、用 LoRA、数据增强、早停。
8. 追问树：A13¶
ControlNet
├── 为什么需要？
│ └── 文本难控空间
├── 结构？
│ ├── frozen base
│ ├── trainable copy
│ ├── condition encoder
│ └── zero conv
├── 为什么零卷积？
│ └── 初始不破坏原模型
├── 怎么训练？
│ └── 只训分支 + 扩散损失
└── 怎么用？
├── control scale
└── 多条件叠加
9. 15 分钟模拟面试脚本¶
| 时间 | 内容 | 目标 |
|---|---|---|
| 0–2 | 自我介绍 | 建立上下文 |
| 2–5 | A1/A15 | CLIP |
| 5–8 | A13 | ControlNet |
| 8–12 | A14/A12 | 条件/个性化 |
| 12–15 | 追问 + 反馈 | 深度与表达 |
10. 练习方法¶
- 看答案，标关键词；
- 遮住答案，90 秒复述；
- 录音，回听卡壳；
- 找人追问“为什么”。
背“结构 + 3 个关键词 + 1 个公式”，不要背全文。