学习路径与周计划¶
三种节奏:2 周速通、6 周标准、8 周深入。
每节课 60–90 分钟;综合练习时间另计。先选路径,再把时间写进日历。
1. 先做一次自测¶
在开始前,用 10 分钟给以下五项打分(1–5):
| 能力 | 1 分 | 5 分 |
|---|---|---|
| 概率推导 | 不熟悉高斯/KL | 能独立推 ELBO |
| PyTorch | 能跑示例 | 能写训练/采样循环 |
| 生成模型 | 只知道 GAN | 能比较 GAN/VAE/Flow/Diffusion |
| SD 使用 | 只会输入 prompt | 会 LoRA/ControlNet/评测 |
| 表达 | 容易卡壳 | 能白板讲 10 分钟 |
- 总分 ≤ 10:走 8 周深入;
- 11–17:走 6 周标准;
- ≥ 18 且面试在即:走 2 周速通,再补综合练习。
2. 2 周速通(12 节核心课)¶
目标:把最高频的题讲顺,能应对一面/二面基础题。
时间:每天 2–3 小时,周末做一次模拟。
| 天 | 内容 | 产出 |
|---|---|---|
| Day 1 | 1.2 前向/噪声 schedule;1.3 后验/ELBO | 一页纸推导 |
| Day 2 | 2.1 DDPM/DDIM;2.2 高阶采样器 | 采样公式 + 对比表 |
| Day 3 | 2.4 CFG;3.1 VAE/VQ-VAE | CFG 公式 + 三者对比 |
| Day 4 | 3.2 LDM/SD;3.3 Attention | SD 数据流图 |
| Day 5 | 4.1 CLIP;5.1 SDXL | CLIP loss + SDXL 改动 |
| Day 6 | 5.2 SD3;6.3 26 题串讲 | flow loss + 90 秒答案 |
| Day 7 | 复习 + 模拟面试 | 评分表 |
取舍:跳过综合练习、D2 非高斯细节、A9 GAN 坍塌细节;面试前再补。
3. 6 周标准(26 节 + 综合练习 A/B)¶
目标:能面试 + 有可展示的推导与方案。
时间:每周 6–8 小时(4–5 节课 + 综合练习)。
| 周 | 课时 | 重点 | 练习/产出 |
|---|---|---|---|
| W1 | 0.1、1.1、1.2、1.3、1.4 | 扩散基础、DDPM 推导 | 一页纸推导 + SNR 曲线 |
| W2 | 2.1、2.2、2.3、2.4 | 采样、加速、CFG | 采样对比;练习 A 启动 |
| W3 | 3.1、3.2、3.3、3.4 | VAE、LDM、Attention、SD 训练 | SD 架构图 + 训练 recipe |
| W4 | 4.1、4.2、4.3、4.4 | CLIP、ControlNet、IP-Adapter、LoRA | 条件控制方案;练习 B 启动 |
| W5 | 5.1、5.2、5.3、6.1 | SDXL、SD3、系统对比、评估 | 演进图 + 评测方案 |
| W6 | 6.2、6.3、7.1、7.2、7.3 | GAN 坍塌、模拟面试、练习收尾 | 练习报告 + 10 分钟答辩 |
综合练习节奏:
- 练习 A:W2 启动,W4 完成;
- 练习 B:W4 启动,W6 完成;
- 练习 C:W6 收尾。
4. 8 周深入(26 节 + 综合练习 A/B/C + 模拟面试)¶
目标:冲高薪/研究岗,表达与方案完整。
时间:每周 8–10 小时。
| 周 | 内容 | 里程碑 |
|---|---|---|
| W1 | 0.1、1.1、1.2、1.3 | 基础自测 + 前向推导 |
| W2 | 1.4、2.1、2.2、2.3 | 变体 + 采样器 |
| W3 | 2.4、3.1、3.2、3.3 | CFG + SD 架构 |
| W4 | 3.4、4.1、4.2、4.3 | SD 训练 + CLIP + 控制 |
| W5 | 4.4、5.1、5.2、5.3 | 个性化 + 模型演进 |
| W6 | 6.1、6.2、6.3 | 评测 + 失败模式 + 模拟面试 |
| W7 | 综合练习 A/B | 推导/方案初稿 |
| W8 | 练习 C + 答辩 | 10 分钟答辩 |
5. 每节课的固定节奏¶
课前(15–30 分钟)¶
- 读题库中对应题目,写下 3 个关键词;
- 预习本节公式/架构,标出不懂的点;
- 准备一个问题带到课堂。
课中(60–90 分钟)¶
| 环节 | 时间 | 动作 |
|---|---|---|
| 回忆 | 5 min | 回答上节课 3 个问题 |
| 讲解 | 25 min | 听“为什么”,记推导主线 |
| 动手 | 20 min | 白板推导/手算/画图 |
| 面试 | 15 min | 90 秒回答 + 追问 |
| 小结 | 5 min | 复述 + 作业 |
课后(30–60 分钟)¶
- 不看笔记复述 3 分钟;
- 完成一个可检查产出;
- 把新的易错点加入错题本;
- 第二天用 5 分钟回忆。
6. 每周复盘模板¶
## 第 X 周复盘
- 本周课时:
- 能讲清的题:
- 仍然卡住的题:
- 完成的产出:
- 最大收获:
- 下周要补的 3 件事:
7. 时间不够怎么办¶
优先级从高到低:
- DDPM 推导(1.3);
- DDIM/采样(2.1);
- CFG(2.4);
- SD 架构(3.2、3.3);
- CLIP(4.1);
- SDXL/SD3(5.1、5.2);
- 评测(6.1)。
如果只剩 3 天:只学 1.3、2.1、2.4、3.2、4.1、6.3,并做一次模拟面试。
8. 工具与环境¶
python -m venv .venv
source .venv/bin/activate
pip install torch torchvision
pip install diffusers transformers accelerate datasets
pip install matplotlib numpy jupyter
可选:
clean-fid/torchmetrics:FID;open_clip_torch:OpenCLIP;- ComfyUI / A1111:可视化实验;
bitsandbytes:低显存微调。
全课程不需要写代码;以上环境为可选实验准备。