课程总览:Diffusion / AIGC 面试课堂¶
一句话:把 26 道高频面试题,拆成 8 章、26 节课、3 个综合练习,形成一条“能推导、能解释、能评测、能表达”的学习路径。
1. 这门课解决什么问题¶
很多人的复习方式是“背题”:能说出 DDPM 有前向和反向,但被追问“为什么后验是高斯”“为什么预测噪声”“DDIM 为什么能跳步”就卡住。
这门课不按题背,而按能力链组织:
生成模型直觉
↓
DDPM 数学推导
↓
采样 / 加速 / 引导
↓
Latent Diffusion 与 SD 架构
↓
条件控制与个性化
↓
模型演进与系统对比
↓
评测、失败模式、面试表达
↓
面试表达与综合练习
学完后,你应能:
- 在白板上推导 DDPM 的前向、后验、ELBO 和采样;
- 解释 DDIM、DPM-Solver、LCM、Rectified Flow 的关系;
- 画清 SD / SDXL / SD3 的架构演进;
- 讲清 CLIP、ControlNet、IP-Adapter、LoRA 的原理与取舍;
- 设计 FID/CLIPScore/人工评估的评测方案;
- 用 90 秒回答任意高频题,并接住两层追问;
- 拿出一套可白板推导的 DDPM 笔记 + 可讲清的条件控制方案。
2. 适合谁¶
- 准备算法岗、AIGC 岗、多模态生成岗面试的同学;
- 做过 SD 应用,但理论不成体系的工程师;
- 会调包,但被问“为什么”容易卡住的同学;
- 想从 GAN/CV 传统方向转到生成式模型的同学;
- 需要一套课程/分享材料的技术负责人。
先修要求:
- Python + PyTorch 基础;
- 概率论(高斯、条件概率、KL);
- 线性代数(矩阵乘法、特征值直觉);
- 深度学习基础(CNN、Transformer、损失函数)。
不要求你已经会 Diffusion;第 1 章从零开始。
3. 课程设计原则¶
- 问题驱动:每节课从一个面试问题或工程问题开始,不堆知识点。
- 三层递进:公式 → 架构 → 工程,先懂“为什么”,再学“怎么用”。
- 输出倒逼:每节课都有练习/验收,每章都有产出。
- 可检查:每个练习都有交付物和验收标准,不靠“看过”代替掌握。
- 面试导向:每节课都标注对应面试题,最后做 90 秒回答和模拟面试。
- 诚实呈现:方案/练习报告要写失败与局限,面试官更看重思考过程。
4. 课程结构:8 章 26 节¶
| 章 | 节 | 主题 | 核心产出 | 对应面试题 |
|---|---|---|---|---|
| 第 0 章 | 0.1 | 课程导学与自测 | 能力雷达、学习路径 | 全课程导览 |
| 第 1 章 | 1.1 | 生成模型全景与扩散直觉 | 生成模型对比表 | D6、A2、A5(引入) |
| 第 1 章 | 1.2 | 前向过程、重参数化与噪声 schedule | SNR 手算表、推导 | D5、D10、A3 |
| 第 1 章 | 1.3 | 反向过程、ELBO 与 DDPM 损失 | 一页纸推导、纸面练习 | D5、D9 |
| 第 1 章 | 1.4 | 非高斯噪声、Cold Diffusion、D3PM、Flow Matching | 变体谱系图 | D2、D3(引入) |
| 第 2 章 | 2.1 | DDPM 采样与 DDIM | 公式、特例表、反演说明 | D1、D4 |
| 第 2 章 | 2.2 | SDE/ODE 与高阶采样器 | 采样器选型表 | D1、D3 |
| 第 2 章 | 2.3 | 蒸馏与少步生成 | 加速方案选型表 | D3 |
| 第 2 章 | 2.4 | Classifier Guidance 与 CFG | CFG 推导、\(w\) 调参 | D8 |
| 第 3 章 | 3.1 | AE/VAE/VQ-VAE 与图像 tokenizer | 三者对比、损失公式 | A2、A3 |
| 第 3 章 | 3.2 | LDM 与 SD 核心优化 | SD 数据流图 | A5 |
| 第 3 章 | 3.3 | Self-Attention 与 Cross-Attention | attention 公式、形状与作用 | A8、A16 |
| 第 3 章 | 3.4 | SD 训练全流程与 Offset Noise | 两阶段流程、Offset Noise 解释 | A6、D7、D10 |
| 第 4 章 | 4.1 | CLIP 全解:架构、训练、损失、特征 | CLIP loss、零样本实验 | A1、A15 |
| 第 4 章 | 4.2 | ControlNet | 结构图、条件控制实验 | A13 |
| 第 4 章 | 4.3 | IP-Adapter | 解耦 cross-attn 图、组合实验 | A14 |
| 第 4 章 | 4.4 | LoRA / DreamBooth / TI / Hypernetwork | 方法对比、最小 LoRA | A12 |
| 第 5 章 | 5.1 | SDXL | base + refiner 对比 | A10 |
| 第 5 章 | 5.2 | SD3 / MMDiT / Rectified Flow | flow loss、架构对比 | A11 |
| 第 5 章 | 5.3 | SD vs DALL·E 2 vs GAN | 三路线对比、选型表 | A7、D6 |
| 第 6 章 | 6.1 | 图像生成评估指标 | 评测方案、指标边界 | A4 |
| 第 6 章 | 6.2 | GAN 模式坍塌与失败模式 | 诊断表、改进方案 | A9 |
| 第 6 章 | 6.3 | 26 题串讲与模拟面试 | 90 秒答案、模拟评分 | 全部 |
| 第 7 章 | 7.1 | 练习 A:DDPM 纸面推导与采样对比 | 一页纸 + 讲解 | D5、D9、D1、D4、D3 |
| 第 7 章 | 7.2 | 练习 B:SD 条件控制方案设计 | 架构图 + 取舍分析 | A12、A13、A14 |
| 第 7 章 | 7.3 | 练习 C:评测方案与面试答辩 | 评测表 + 答辩 | A4、A6、A7、A11 |
5. 每节课怎么上(60–90 分钟)¶
| 环节 | 时间 | 做什么 |
|---|---|---|
| 回忆/自测 | 5 min | 用 3 个问题检查上节课 |
| 概念讲解 | 20–25 min | 讲“为什么”,板书公式/架构 |
| 白板/手算 | 20 min | 手推公式或做数值例子 |
| 面试问答 | 15 min | 90 秒回答 + 2 层追问 |
| 小结/作业 | 5–10 min | 复述、布置产出、验收标准 |
课前:读对应题库题 + 预习关键词。
课中:必须动手写/画,不只看。
课后:提交一个可检查的产出(一页纸、图、300 字、录音)。
6. 三条学习路径¶
| 路径 | 周期 | 内容 | 适合 |
|---|---|---|---|
| 速通 | 2 周 | 12 节核心课,跳过综合练习 | 面试在即、时间紧 |
| 标准 | 6 周 | 26 节 + 综合练习 A/B | 大多数求职者 |
| 深入 | 8 周 | 26 节 + 综合练习 A/B/C + 模拟面试 | 冲高薪/研究岗 |
详细周计划见 学习路径与周计划。
7. 评估方式¶
| 模块 | 权重 | 说明 |
|---|---|---|
| 日常自测 | 20% | 每节课 3 个问题 + 90 秒复述 |
| 章节作业 | 30% | 每章 1 个产出,按验收标准检查 |
| 综合练习 | 30% | 练习 A/B/C,按 rubric 评分 |
| 模拟面试 | 20% | 理论 + 白板 + 方案答辩 |
通过线:70/100;优秀:85/100。详细见 评估方案。
8. 章节入口¶
- 第 0 章 导学
- 第 1 章 扩散模型基础
- 第 2 章 采样、加速与引导
- 第 3 章 Latent Diffusion 与 Stable Diffusion
- 第 4 章 条件控制与个性化
- 第 5 章 模型演进与系统对比
- 第 6 章 评估、失败模式与面试实战
- 第 7 章 综合练习与面试答辩
9. 配套资料¶
- 第 1 章完整教学材料
- 第 2 章完整教学材料
- 第 3 章完整教学材料
- 第 4 章完整教学材料
- 第 5 章完整教学材料
- 第 6 章完整教学材料
- 第 7 章完整教学材料
- 26 题题目—课时映射
- 公式速查
- 评估方案与模拟面试 rubric
- 完整题库(题目/答案/分析)
- 课时教案模板:见仓库根目录
templates/lesson-template.md
10. 扩展篇:2023–2026¶
主课覆盖 26 题;扩展篇补 DiT、Flow、视频、3D、RLHF、组合评估、离散扩散等前沿。
11. 当前状态¶
- ✅ 课程章节与 26 节课设计
- ✅ 题库归档
- ✅ 学习路径、题目映射、评估方案
- ✅ 第 1–7 章完整教学材料
- ✅ 全课程 26 节课材料包
- ✅ 扩展篇:知识缺口审计 + 2023–2026 论文地图
- ⏳ 扩展题库/英文版(可选)
先保证“教什么、学什么、怎么验收”清晰,再逐章填内容。这样课程不会变成知识点堆砌,而是一条可执行的学习路径。