跳转至

学习路径与周计划

三种节奏:2 周速通、6 周标准、8 周深入。
每节课 60–90 分钟;综合练习时间另计。先选路径,再把时间写进日历。


1. 先做一次自测

在开始前,用 10 分钟给以下五项打分(1–5):

能力 1 分 5 分
概率推导 不熟悉高斯/KL 能独立推 ELBO
PyTorch 能跑示例 能写训练/采样循环
生成模型 只知道 GAN 能比较 GAN/VAE/Flow/Diffusion
SD 使用 只会输入 prompt 会 LoRA/ControlNet/评测
表达 容易卡壳 能白板讲 10 分钟
  • 总分 ≤ 10:走 8 周深入;
  • 11–17:走 6 周标准;
  • ≥ 18 且面试在即:走 2 周速通,再补综合练习。

2. 2 周速通(12 节核心课)

目标:把最高频的题讲顺,能应对一面/二面基础题。
时间:每天 2–3 小时,周末做一次模拟。

天 内容 产出
Day 1 1.2 前向/噪声 schedule;1.3 后验/ELBO 一页纸推导
Day 2 2.1 DDPM/DDIM;2.2 高阶采样器 采样公式 + 对比表
Day 3 2.4 CFG;3.1 VAE/VQ-VAE CFG 公式 + 三者对比
Day 4 3.2 LDM/SD;3.3 Attention SD 数据流图
Day 5 4.1 CLIP;5.1 SDXL CLIP loss + SDXL 改动
Day 6 5.2 SD3;6.3 26 题串讲 flow loss + 90 秒答案
Day 7 复习 + 模拟面试 评分表

取舍:跳过综合练习、D2 非高斯细节、A9 GAN 坍塌细节;面试前再补。


3. 6 周标准(26 节 + 综合练习 A/B)

目标:能面试 + 有可展示的推导与方案。
时间:每周 6–8 小时(4–5 节课 + 综合练习)。

周 课时 重点 练习/产出
W1 0.1、1.1、1.2、1.3、1.4 扩散基础、DDPM 推导 一页纸推导 + SNR 曲线
W2 2.1、2.2、2.3、2.4 采样、加速、CFG 采样对比;练习 A 启动
W3 3.1、3.2、3.3、3.4 VAE、LDM、Attention、SD 训练 SD 架构图 + 训练 recipe
W4 4.1、4.2、4.3、4.4 CLIP、ControlNet、IP-Adapter、LoRA 条件控制方案;练习 B 启动
W5 5.1、5.2、5.3、6.1 SDXL、SD3、系统对比、评估 演进图 + 评测方案
W6 6.2、6.3、7.1、7.2、7.3 GAN 坍塌、模拟面试、练习收尾 练习报告 + 10 分钟答辩

综合练习节奏:

  • 练习 A:W2 启动,W4 完成;
  • 练习 B:W4 启动,W6 完成;
  • 练习 C:W6 收尾。

4. 8 周深入(26 节 + 综合练习 A/B/C + 模拟面试)

目标:冲高薪/研究岗,表达与方案完整。
时间:每周 8–10 小时。

周 内容 里程碑
W1 0.1、1.1、1.2、1.3 基础自测 + 前向推导
W2 1.4、2.1、2.2、2.3 变体 + 采样器
W3 2.4、3.1、3.2、3.3 CFG + SD 架构
W4 3.4、4.1、4.2、4.3 SD 训练 + CLIP + 控制
W5 4.4、5.1、5.2、5.3 个性化 + 模型演进
W6 6.1、6.2、6.3 评测 + 失败模式 + 模拟面试
W7 综合练习 A/B 推导/方案初稿
W8 练习 C + 答辩 10 分钟答辩

5. 每节课的固定节奏

课前(15–30 分钟)

  1. 读题库中对应题目,写下 3 个关键词;
  2. 预习本节公式/架构,标出不懂的点;
  3. 准备一个问题带到课堂。

课中(60–90 分钟)

环节 时间 动作
回忆 5 min 回答上节课 3 个问题
讲解 25 min 听“为什么”,记推导主线
动手 20 min 白板推导/手算/画图
面试 15 min 90 秒回答 + 追问
小结 5 min 复述 + 作业

课后(30–60 分钟)

  1. 不看笔记复述 3 分钟;
  2. 完成一个可检查产出;
  3. 把新的易错点加入错题本;
  4. 第二天用 5 分钟回忆。

6. 每周复盘模板

## 第 X 周复盘

- 本周课时:
- 能讲清的题:
- 仍然卡住的题:
- 完成的产出:
- 最大收获:
- 下周要补的 3 件事:

7. 时间不够怎么办

优先级从高到低:

  1. DDPM 推导(1.3);
  2. DDIM/采样(2.1);
  3. CFG(2.4);
  4. SD 架构(3.2、3.3);
  5. CLIP(4.1);
  6. SDXL/SD3(5.1、5.2);
  7. 评测(6.1)。

如果只剩 3 天:只学 1.3、2.1、2.4、3.2、4.1、6.3,并做一次模拟面试。


8. 工具与环境

python -m venv .venv
source .venv/bin/activate
pip install torch torchvision
pip install diffusers transformers accelerate datasets
pip install matplotlib numpy jupyter

可选:

  • clean-fid / torchmetrics:FID;
  • open_clip_torch:OpenCLIP;
  • ComfyUI / A1111:可视化实验;
  • bitsandbytes:低显存微调。

全课程不需要写代码;以上环境为可选实验准备。


9. 相关页面