跳转至

课程总览:Diffusion / AIGC 面试课堂

一句话:把 26 道高频面试题,拆成 8 章、26 节课、3 个综合练习,形成一条“能推导、能解释、能评测、能表达”的学习路径。


1. 这门课解决什么问题

很多人的复习方式是“背题”:能说出 DDPM 有前向和反向,但被追问“为什么后验是高斯”“为什么预测噪声”“DDIM 为什么能跳步”就卡住。

这门课不按题背,而按能力链组织:

生成模型直觉
   ↓
DDPM 数学推导
   ↓
采样 / 加速 / 引导
   ↓
Latent Diffusion 与 SD 架构
   ↓
条件控制与个性化
   ↓
模型演进与系统对比
   ↓
评测、失败模式、面试表达
   ↓
面试表达与综合练习

学完后,你应能:

  • 在白板上推导 DDPM 的前向、后验、ELBO 和采样;
  • 解释 DDIM、DPM-Solver、LCM、Rectified Flow 的关系;
  • 画清 SD / SDXL / SD3 的架构演进;
  • 讲清 CLIP、ControlNet、IP-Adapter、LoRA 的原理与取舍;
  • 设计 FID/CLIPScore/人工评估的评测方案;
  • 用 90 秒回答任意高频题,并接住两层追问;
  • 拿出一套可白板推导的 DDPM 笔记 + 可讲清的条件控制方案。

2. 适合谁

  • 准备算法岗、AIGC 岗、多模态生成岗面试的同学;
  • 做过 SD 应用,但理论不成体系的工程师;
  • 会调包,但被问“为什么”容易卡住的同学;
  • 想从 GAN/CV 传统方向转到生成式模型的同学;
  • 需要一套课程/分享材料的技术负责人。

先修要求:

  • Python + PyTorch 基础;
  • 概率论(高斯、条件概率、KL);
  • 线性代数(矩阵乘法、特征值直觉);
  • 深度学习基础(CNN、Transformer、损失函数)。

不要求你已经会 Diffusion;第 1 章从零开始。


3. 课程设计原则

  1. 问题驱动:每节课从一个面试问题或工程问题开始,不堆知识点。
  2. 三层递进:公式 → 架构 → 工程,先懂“为什么”,再学“怎么用”。
  3. 输出倒逼:每节课都有练习/验收,每章都有产出。
  4. 可检查:每个练习都有交付物和验收标准,不靠“看过”代替掌握。
  5. 面试导向:每节课都标注对应面试题,最后做 90 秒回答和模拟面试。
  6. 诚实呈现:方案/练习报告要写失败与局限,面试官更看重思考过程。

4. 课程结构:8 章 26 节

章 节 主题 核心产出 对应面试题
第 0 章 0.1 课程导学与自测 能力雷达、学习路径 全课程导览
第 1 章 1.1 生成模型全景与扩散直觉 生成模型对比表 D6、A2、A5(引入)
第 1 章 1.2 前向过程、重参数化与噪声 schedule SNR 手算表、推导 D5、D10、A3
第 1 章 1.3 反向过程、ELBO 与 DDPM 损失 一页纸推导、纸面练习 D5、D9
第 1 章 1.4 非高斯噪声、Cold Diffusion、D3PM、Flow Matching 变体谱系图 D2、D3(引入)
第 2 章 2.1 DDPM 采样与 DDIM 公式、特例表、反演说明 D1、D4
第 2 章 2.2 SDE/ODE 与高阶采样器 采样器选型表 D1、D3
第 2 章 2.3 蒸馏与少步生成 加速方案选型表 D3
第 2 章 2.4 Classifier Guidance 与 CFG CFG 推导、\(w\) 调参 D8
第 3 章 3.1 AE/VAE/VQ-VAE 与图像 tokenizer 三者对比、损失公式 A2、A3
第 3 章 3.2 LDM 与 SD 核心优化 SD 数据流图 A5
第 3 章 3.3 Self-Attention 与 Cross-Attention attention 公式、形状与作用 A8、A16
第 3 章 3.4 SD 训练全流程与 Offset Noise 两阶段流程、Offset Noise 解释 A6、D7、D10
第 4 章 4.1 CLIP 全解:架构、训练、损失、特征 CLIP loss、零样本实验 A1、A15
第 4 章 4.2 ControlNet 结构图、条件控制实验 A13
第 4 章 4.3 IP-Adapter 解耦 cross-attn 图、组合实验 A14
第 4 章 4.4 LoRA / DreamBooth / TI / Hypernetwork 方法对比、最小 LoRA A12
第 5 章 5.1 SDXL base + refiner 对比 A10
第 5 章 5.2 SD3 / MMDiT / Rectified Flow flow loss、架构对比 A11
第 5 章 5.3 SD vs DALL·E 2 vs GAN 三路线对比、选型表 A7、D6
第 6 章 6.1 图像生成评估指标 评测方案、指标边界 A4
第 6 章 6.2 GAN 模式坍塌与失败模式 诊断表、改进方案 A9
第 6 章 6.3 26 题串讲与模拟面试 90 秒答案、模拟评分 全部
第 7 章 7.1 练习 A:DDPM 纸面推导与采样对比 一页纸 + 讲解 D5、D9、D1、D4、D3
第 7 章 7.2 练习 B:SD 条件控制方案设计 架构图 + 取舍分析 A12、A13、A14
第 7 章 7.3 练习 C:评测方案与面试答辩 评测表 + 答辩 A4、A6、A7、A11

5. 每节课怎么上(60–90 分钟)

环节 时间 做什么
回忆/自测 5 min 用 3 个问题检查上节课
概念讲解 20–25 min 讲“为什么”,板书公式/架构
白板/手算 20 min 手推公式或做数值例子
面试问答 15 min 90 秒回答 + 2 层追问
小结/作业 5–10 min 复述、布置产出、验收标准

课前:读对应题库题 + 预习关键词。
课中:必须动手写/画,不只看。
课后:提交一个可检查的产出(一页纸、图、300 字、录音)。


6. 三条学习路径

路径 周期 内容 适合
速通 2 周 12 节核心课,跳过综合练习 面试在即、时间紧
标准 6 周 26 节 + 综合练习 A/B 大多数求职者
深入 8 周 26 节 + 综合练习 A/B/C + 模拟面试 冲高薪/研究岗

详细周计划见 学习路径与周计划。


7. 评估方式

模块 权重 说明
日常自测 20% 每节课 3 个问题 + 90 秒复述
章节作业 30% 每章 1 个产出,按验收标准检查
综合练习 30% 练习 A/B/C,按 rubric 评分
模拟面试 20% 理论 + 白板 + 方案答辩

通过线:70/100;优秀:85/100。详细见 评估方案。


8. 章节入口


9. 配套资料


10. 扩展篇:2023–2026

主课覆盖 26 题;扩展篇补 DiT、Flow、视频、3D、RLHF、组合评估、离散扩散等前沿。


11. 当前状态

  • ✅ 课程章节与 26 节课设计
  • ✅ 题库归档
  • ✅ 学习路径、题目映射、评估方案
  • ✅ 第 1–7 章完整教学材料
  • ✅ 全课程 26 节课材料包
  • ✅ 扩展篇:知识缺口审计 + 2023–2026 论文地图
  • ⏳ 扩展题库/英文版(可选)

先保证“教什么、学什么、怎么验收”清晰,再逐章填内容。这样课程不会变成知识点堆砌,而是一条可执行的学习路径。