第 5 章材料设计理由¶
这份文档回答:为什么第 5 章选这些内容?学完能做什么?不学/不做会缺什么?
1. 本章定位¶
第 5 章不是“复现 SDXL/SD3”的课,而是:
把模型演进讲成设计动机:改了什么、解决什么、代价是什么。
三条主线:
- SDXL:更大 + 更强文本 + micro-conditioning + refiner;
- SD3:MMDiT + Rectified Flow + T5 + 16ch VAE;
- 三路线:LDM vs unCLIP vs GAN。
2. 材料地图¶
| 材料 | 为什么选 | 学完能做什么 | 不做什么 |
|---|---|---|---|
| 5.1 SDXL | A10 核心 | 说四项改动,解释 micro-conditioning | 不训练 SDXL |
| 5.2 SD3 | A11 核心 | 写 Flow loss,画 MMDiT | 不训练 SD3 |
| 5.3 三路线 | A7/D6 核心 | 画 LDM/unCLIP/GAN,做选型 | 不复现 DALL·E 2 |
| 05 面试题库 | 知识→表达 | 90 秒回答 4 题 | 不覆盖所有题 |
| 06 练习 | 纸面检查 | 写 Flow loss、做对比 | 不做编程题 |
| 07 讲师手册 | 可授课 | 3 节课节奏/板书 | 不是学生必读 |
| 08 设计理由 | 解释取舍 | 判断增删/加深 | 不是知识点讲义 |
3. 每份材料的详细理由¶
3.1 为什么先讲 SDXL(5.1)¶
选择理由:
- A10 是模型演进高频题;
- SDXL 的四项改动很结构化,适合面试;
- micro-conditioning 是区分“真懂”和“只知更大”的点。
学到什么:
- 双文本编码器;
- 更大 UNet;
- micro-conditioning;
- base + refiner;
- 1024/多宽高比。
能处理什么:
- A10;
- “SDXL 只是更大吗”;
- “micro-conditioning 解决什么”;
- “refiner 必须吗”。
为什么不做:
- 不训练 SDXL;
- 不跑 refiner 对比;
- 不展开训练工程。
3.2 为什么讲 SD3(5.2)¶
选择理由:
- A11 是当前模型演进的核心;
- MMDiT/Flow 是面试区分点;
- T5/16ch VAE 容易被忽略。
学到什么:
- MMDiT 与 cross-attn 的区别;
- Rectified Flow 的插值/损失/采样;
- 三文本编码器;
- 16ch VAE;
- SD3.5。
能处理什么:
- A11;
- “Flow 是不是 Diffusion”;
- “为什么加 T5”;
- “为什么 16ch VAE”。
为什么不做:
- 不训练 SD3;
- 不跑 Flow 采样;
- 不展开 scaling law。
3.3 为什么讲三路线(5.3)¶
选择理由:
- A7/D6 是系统对比题;
- 很多人把 DALL·E 2 当成 LDM;
- 选型能力是岗位刚需。
学到什么:
- LDM;
- unCLIP(prior + decoder + 超分);
- GAN;
- 条件注入/开放程度/可控性;
- 选型。
能处理什么:
- A7/D6;
- “DALL·E 2 为什么需要 prior”;
- “SD 为什么不需要”;
- “GAN 还有什么价值”。
为什么不做:
- 不复现 DALL·E 2;
- 不跑 GAN;
- 不做大规模评测。
4. 为什么没有代码¶
- 面试考的是演进动机和对比;
- 训练/复现成本高;
- 跑通不等于理解;
- 本章产出是架构图、Flow 公式、选型表。
需要代码时,作为可选实验,不进入主线。
5. 学什么 → 能处理什么¶
| 学完 | 能处理的问题 | 能做的动作 |
|---|---|---|
| 5.1 | A10、SDXL 改动 | 列四项、画 base/refiner |
| 5.2 | A11、SD3 | 写 Flow loss、画 MMDiT |
| 5.3 | A7/D6、选型 | 画三路线、做决策 |
| 05 | 面试追问 | 90 秒回答 |
| 06 | 自我检查 | 手算、推导、对比 |
6. 本章不覆盖什么¶
- 不覆盖 SDXL/SD3 的训练工程;
- 不覆盖 DALL·E 2 的完整细节;
- 不覆盖 GAN 的训练技巧;
- 不覆盖最新模型(Flux 等)的全面综述。
7. 你可以怎么改¶
- 加深 Flow Matching 数学;
- 增加 SD3.5/Flux 对比;
- 增加 DALL·E 3 的讨论;
- 增加 GAN 混合方案;
- 增加代码阅读题(可选)。
8. 怎么判断学会了¶
L1 能复述¶
能讲 3 分钟“SD 怎么演进到 SD3”。
L2 能画/写¶
能画 MMDiT/LDM/unCLIP,写 Flow loss。
L3 能比较¶
能比较 SDXL/SD3、SD/DALL·E 2、GAN/Diffusion。
L4 能应对追问¶
能回答“为什么改”“为什么加 T5”“为什么需要 prior”。
本章目标是 L2–L3,面试冲刺是 L4。
9. 最后一句话¶
第 5 章的价值,是让你把“模型演进”讲成设计选择,而不是参数表。