跳转至

第 5 章讲师手册

用途:把第 5 章 3 节课讲顺,控制节奏,知道哪里停、哪里追问。
原则:讲演进动机、架构差异和选型,不做代码复现。


1. 授课对象与前置

对象:

  • 已学完 SD1.x 架构;
  • 知道 UNet/Cross-Attn/CFG;
  • 准备面试,需要讲清 SDXL/SD3/对比。

前置:

  • 第 3–4 章;
  • 会画 SD 数据流;
  • 知道 CLIP/Cross-Attn。

不需要:

  • 训练过 SDXL/SD3;
  • 复现 DALL·E 2;
  • 跑过 GAN。

2. 三节课总览

课次 主题 核心产出 对应材料
第 1 课 SDXL 四项改动 + base/refiner 5.1
第 2 课 SD3 MMDiT + Flow + T5/VAE 5.2
第 3 课 三路线对比 LDM/unCLIP/GAN + 选型 5.3

3. 第 1 课:SDXL

3.1 时间安排(90 分钟)

时间 环节 内容
0–5 开场 为什么需要 SDXL
5–25 文本/UNet 双编码器、更大 UNet
25–45 条件 micro-conditioning
45–60 两阶段 base + refiner
60–75 对比 SD1.5 vs SDXL
75–85 面试 90 秒 A10
85–90 小结 作业

3.2 板书布局

左侧:双文本编码器
中间:micro-conditioning(原尺寸/裁剪/目标)
右侧:base → refiner → decode
底部:四项改动表

3.3 关键提问

  • SDXL 只是更大吗?
  • micro-conditioning 解决什么?
  • refiner 必须吗?
  • SDXL 解决 77 token 了吗?

3.4 常见卡点

卡点 处理
只说“更大” 列四项
忽略 micro-conditioning 讲裁剪偏差
认为 refiner 必须 讲可选/代价
说解决 77 token 强调没有

4. 第 2 课:SD3

4.1 时间安排(90 分钟)

时间 环节 内容
0–5 开场 从 UNet 到 Transformer
5–25 MMDiT token 流、联合 attention
25–45 Flow 插值、速度、loss、Euler
45–60 文本/VAE T5、16ch VAE
60–75 对比 SDXL vs SD3
75–85 面试 90 秒 A11
85–90 小结 作业

4.2 板书布局

左侧:文本/图像 token → 联合 attention
中间:x_t=(1-t)x0+tε, v=ε-x0
右侧:T5 + 16ch VAE
底部:SDXL → SD3 演进

4.3 关键提问

  • MMDiT 和 cross-attn 的区别?
  • Flow 是 Diffusion 吗?
  • 为什么能少步?
  • 为什么加 T5?
  • 16ch VAE 的代价?

4.4 常见卡点

卡点 处理
说 SD3 还用 UNet 强调 MMDiT
把 Flow 当 sampler 讲训练目标/路径
说 MMDiT 只是更大 讲联合/双向
认为 Flow 一定 1 步 讲 1–8 步

5. 第 3 课:三路线对比

5.1 时间安排(90 分钟)

时间 环节 内容
0–5 开场 三条路线
5–25 LDM SD 数据流
25–45 unCLIP prior + decoder + 超分
45–60 GAN 对抗、一步、模式坍塌
60–75 对比/选型 表格 + 场景
75–85 面试 90 秒 A7/D6
85–90 小结 作业

5.2 板书布局

左侧:SD(VAE→UNet→VAE)
中间:DALL·E 2(text→prior→image emb→decoder)
右侧:GAN(z→G→x;D)
底部:选型表(开放/控制/速度/质量)

5.3 关键提问

  • DALL·E 2 为什么需要 prior?
  • SD 为什么不需要?
  • 两者共同点?
  • GAN 还有什么价值?
  • 怎么选?

5.4 常见卡点

卡点 处理
说 DALL·E 2 是 LDM 画 unCLIP
忽略 prior 讲模态 gap
说 GAN 过时 讲实时/特定域
只比开源/闭源 比条件路径/控制

6. 教学节奏控制

基础弱

  • 先画三路线,再讲细节;
  • SDXL 只讲四项;
  • SD3 只讲 MMDiT/Flow/T5;
  • 对比用表格。

基础好

  • 加问 micro-conditioning 的消融;
  • 加问 Flow 的 logit-normal 采样;
  • 加问 DALL·E 2 的超分;
  • 加问 GAN 混合方案。

时间不够

优先级:

  1. SDXL 四项;
  2. SD3 MMDiT/Flow;
  3. LDM vs unCLIP;
  4. GAN 只讲结论。

7. 课堂禁忌

  • ❌ 不要训练 SDXL/SD3;
  • ❌ 不要复现 DALL·E 2;
  • ❌ 不要跑 GAN;
  • ❌ 不要只背参数;
  • ❌ 不要忽略“为什么改”。

8. 课前检查清单

  • [ ] SDXL 四项表;
  • [ ] MMDiT 图;
  • [ ] Flow 公式;
  • [ ] LDM/unCLIP/GAN 三路线图;
  • [ ] 90 秒答案;
  • [ ] 选型表。

9. 相关材料