第 5 章讲师手册
用途:把第 5 章 3 节课讲顺,控制节奏,知道哪里停、哪里追问。
原则:讲演进动机、架构差异和选型,不做代码复现。
1. 授课对象与前置
对象:
- 已学完 SD1.x 架构;
- 知道 UNet/Cross-Attn/CFG;
- 准备面试,需要讲清 SDXL/SD3/对比。
前置:
- 第 3–4 章;
- 会画 SD 数据流;
- 知道 CLIP/Cross-Attn。
不需要:
- 训练过 SDXL/SD3;
- 复现 DALL·E 2;
- 跑过 GAN。
2. 三节课总览
| 课次 |
主题 |
核心产出 |
对应材料 |
| 第 1 课 |
SDXL |
四项改动 + base/refiner |
5.1 |
| 第 2 课 |
SD3 |
MMDiT + Flow + T5/VAE |
5.2 |
| 第 3 课 |
三路线对比 |
LDM/unCLIP/GAN + 选型 |
5.3 |
3. 第 1 课:SDXL
3.1 时间安排(90 分钟)
| 时间 |
环节 |
内容 |
| 0–5 |
开场 |
为什么需要 SDXL |
| 5–25 |
文本/UNet |
双编码器、更大 UNet |
| 25–45 |
条件 |
micro-conditioning |
| 45–60 |
两阶段 |
base + refiner |
| 60–75 |
对比 |
SD1.5 vs SDXL |
| 75–85 |
面试 |
90 秒 A10 |
| 85–90 |
小结 |
作业 |
3.2 板书布局
左侧:双文本编码器
中间:micro-conditioning(原尺寸/裁剪/目标)
右侧:base → refiner → decode
底部:四项改动表
3.3 关键提问
- SDXL 只是更大吗?
- micro-conditioning 解决什么?
- refiner 必须吗?
- SDXL 解决 77 token 了吗?
3.4 常见卡点
| 卡点 |
处理 |
| 只说“更大” |
列四项 |
| 忽略 micro-conditioning |
讲裁剪偏差 |
| 认为 refiner 必须 |
讲可选/代价 |
| 说解决 77 token |
强调没有 |
4. 第 2 课:SD3
4.1 时间安排(90 分钟)
| 时间 |
环节 |
内容 |
| 0–5 |
开场 |
从 UNet 到 Transformer |
| 5–25 |
MMDiT |
token 流、联合 attention |
| 25–45 |
Flow |
插值、速度、loss、Euler |
| 45–60 |
文本/VAE |
T5、16ch VAE |
| 60–75 |
对比 |
SDXL vs SD3 |
| 75–85 |
面试 |
90 秒 A11 |
| 85–90 |
小结 |
作业 |
4.2 板书布局
左侧:文本/图像 token → 联合 attention
中间:x_t=(1-t)x0+tε, v=ε-x0
右侧:T5 + 16ch VAE
底部:SDXL → SD3 演进
4.3 关键提问
- MMDiT 和 cross-attn 的区别?
- Flow 是 Diffusion 吗?
- 为什么能少步?
- 为什么加 T5?
- 16ch VAE 的代价?
4.4 常见卡点
| 卡点 |
处理 |
| 说 SD3 还用 UNet |
强调 MMDiT |
| 把 Flow 当 sampler |
讲训练目标/路径 |
| 说 MMDiT 只是更大 |
讲联合/双向 |
| 认为 Flow 一定 1 步 |
讲 1–8 步 |
5. 第 3 课:三路线对比
5.1 时间安排(90 分钟)
| 时间 |
环节 |
内容 |
| 0–5 |
开场 |
三条路线 |
| 5–25 |
LDM |
SD 数据流 |
| 25–45 |
unCLIP |
prior + decoder + 超分 |
| 45–60 |
GAN |
对抗、一步、模式坍塌 |
| 60–75 |
对比/选型 |
表格 + 场景 |
| 75–85 |
面试 |
90 秒 A7/D6 |
| 85–90 |
小结 |
作业 |
5.2 板书布局
左侧:SD(VAE→UNet→VAE)
中间:DALL·E 2(text→prior→image emb→decoder)
右侧:GAN(z→G→x;D)
底部:选型表(开放/控制/速度/质量)
5.3 关键提问
- DALL·E 2 为什么需要 prior?
- SD 为什么不需要?
- 两者共同点?
- GAN 还有什么价值?
- 怎么选?
5.4 常见卡点
| 卡点 |
处理 |
| 说 DALL·E 2 是 LDM |
画 unCLIP |
| 忽略 prior |
讲模态 gap |
| 说 GAN 过时 |
讲实时/特定域 |
| 只比开源/闭源 |
比条件路径/控制 |
6. 教学节奏控制
基础弱
- 先画三路线,再讲细节;
- SDXL 只讲四项;
- SD3 只讲 MMDiT/Flow/T5;
- 对比用表格。
基础好
- 加问 micro-conditioning 的消融;
- 加问 Flow 的 logit-normal 采样;
- 加问 DALL·E 2 的超分;
- 加问 GAN 混合方案。
时间不够
优先级:
- SDXL 四项;
- SD3 MMDiT/Flow;
- LDM vs unCLIP;
- GAN 只讲结论。
7. 课堂禁忌
- ❌ 不要训练 SDXL/SD3;
- ❌ 不要复现 DALL·E 2;
- ❌ 不要跑 GAN;
- ❌ 不要只背参数;
- ❌ 不要忽略“为什么改”。
8. 课前检查清单
- [ ] SDXL 四项表;
- [ ] MMDiT 图;
- [ ] Flow 公式;
- [ ] LDM/unCLIP/GAN 三路线图;
- [ ] 90 秒答案;
- [ ] 选型表。
9. 相关材料