跳转至

第 5 章材料设计理由

这份文档回答:为什么第 5 章选这些内容?学完能做什么?不学/不做会缺什么?


1. 本章定位

第 5 章不是“复现 SDXL/SD3”的课,而是:

把模型演进讲成设计动机:改了什么、解决什么、代价是什么。

三条主线:

  • SDXL:更大 + 更强文本 + micro-conditioning + refiner;
  • SD3:MMDiT + Rectified Flow + T5 + 16ch VAE;
  • 三路线:LDM vs unCLIP vs GAN。

2. 材料地图

材料 为什么选 学完能做什么 不做什么
5.1 SDXL A10 核心 说四项改动,解释 micro-conditioning 不训练 SDXL
5.2 SD3 A11 核心 写 Flow loss,画 MMDiT 不训练 SD3
5.3 三路线 A7/D6 核心 画 LDM/unCLIP/GAN,做选型 不复现 DALL·E 2
05 面试题库 知识→表达 90 秒回答 4 题 不覆盖所有题
06 练习 纸面检查 写 Flow loss、做对比 不做编程题
07 讲师手册 可授课 3 节课节奏/板书 不是学生必读
08 设计理由 解释取舍 判断增删/加深 不是知识点讲义

3. 每份材料的详细理由

3.1 为什么先讲 SDXL(5.1)

选择理由:

  • A10 是模型演进高频题;
  • SDXL 的四项改动很结构化,适合面试;
  • micro-conditioning 是区分“真懂”和“只知更大”的点。

学到什么:

  • 双文本编码器;
  • 更大 UNet;
  • micro-conditioning;
  • base + refiner;
  • 1024/多宽高比。

能处理什么:

  • A10;
  • “SDXL 只是更大吗”;
  • “micro-conditioning 解决什么”;
  • “refiner 必须吗”。

为什么不做:

  • 不训练 SDXL;
  • 不跑 refiner 对比;
  • 不展开训练工程。

3.2 为什么讲 SD3(5.2)

选择理由:

  • A11 是当前模型演进的核心;
  • MMDiT/Flow 是面试区分点;
  • T5/16ch VAE 容易被忽略。

学到什么:

  • MMDiT 与 cross-attn 的区别;
  • Rectified Flow 的插值/损失/采样;
  • 三文本编码器;
  • 16ch VAE;
  • SD3.5。

能处理什么:

  • A11;
  • “Flow 是不是 Diffusion”;
  • “为什么加 T5”;
  • “为什么 16ch VAE”。

为什么不做:

  • 不训练 SD3;
  • 不跑 Flow 采样;
  • 不展开 scaling law。

3.3 为什么讲三路线(5.3)

选择理由:

  • A7/D6 是系统对比题;
  • 很多人把 DALL·E 2 当成 LDM;
  • 选型能力是岗位刚需。

学到什么:

  • LDM;
  • unCLIP(prior + decoder + 超分);
  • GAN;
  • 条件注入/开放程度/可控性;
  • 选型。

能处理什么:

  • A7/D6;
  • “DALL·E 2 为什么需要 prior”;
  • “SD 为什么不需要”;
  • “GAN 还有什么价值”。

为什么不做:

  • 不复现 DALL·E 2;
  • 不跑 GAN;
  • 不做大规模评测。

4. 为什么没有代码

  1. 面试考的是演进动机和对比;
  2. 训练/复现成本高;
  3. 跑通不等于理解;
  4. 本章产出是架构图、Flow 公式、选型表。

需要代码时,作为可选实验,不进入主线。


5. 学什么 → 能处理什么

学完 能处理的问题 能做的动作
5.1 A10、SDXL 改动 列四项、画 base/refiner
5.2 A11、SD3 写 Flow loss、画 MMDiT
5.3 A7/D6、选型 画三路线、做决策
05 面试追问 90 秒回答
06 自我检查 手算、推导、对比

6. 本章不覆盖什么

  • 不覆盖 SDXL/SD3 的训练工程;
  • 不覆盖 DALL·E 2 的完整细节;
  • 不覆盖 GAN 的训练技巧;
  • 不覆盖最新模型(Flux 等)的全面综述。

7. 你可以怎么改

  • 加深 Flow Matching 数学;
  • 增加 SD3.5/Flux 对比;
  • 增加 DALL·E 3 的讨论;
  • 增加 GAN 混合方案;
  • 增加代码阅读题(可选)。

8. 怎么判断学会了

L1 能复述

能讲 3 分钟“SD 怎么演进到 SD3”。

L2 能画/写

能画 MMDiT/LDM/unCLIP,写 Flow loss。

L3 能比较

能比较 SDXL/SD3、SD/DALL·E 2、GAN/Diffusion。

L4 能应对追问

能回答“为什么改”“为什么加 T5”“为什么需要 prior”。

本章目标是 L2–L3,面试冲刺是 L4。


9. 最后一句话

第 5 章的价值,是让你把“模型演进”讲成设计选择,而不是参数表。