第 6 章练习与答案¶
目标:用纸笔检查评估/诊断理解,不写代码。
建议:先做,再看答案;错题回到对应讲义。题量:概念 8 + 推导 4 + 判断 5 + 面试复述 4。
一、概念题(8 题)¶
- 图像生成评估的四个维度是什么?
- FID 衡量什么?它的三个局限是什么?
- IS 和 KID 的区别是什么?
- CLIPScore 衡量什么?为什么不能当唯一指标?
- Precision/Recall 分别衡量什么?
- 模式坍塌和模式丢弃的区别是什么?
- truncation 为什么不是模式坍塌的根治?
- Diffusion 有哪些失败模式?
二、推导题(4 题)¶
- 写出 FID 公式。
- 写出 CLIPScore 公式。
- 写出 GAN 的 minimax 目标。
- 用一句话解释 WGAN 为什么能缓解坍塌。
三、判断/分析题(5 题)¶
- 模型 A 的 FID 是 10,模型 B 是 20,能否直接说 A 更好?为什么?
- 某模型 Precision=0.9,Recall=0.3,最可能的问题是什么?
- CLIPScore 从 0.30 提升到 0.35,能否说明图像质量提升?
- FID 很低但人工觉得不好,可能有哪些原因?
- 为什么不同论文的 FID 不能直接比较?
四、面试复述题(4 题)¶
- 用 90 秒回答 A4。
- 用 90 秒回答 A9。
- 用 90 秒回答“FID 低就代表模型好吗”。
- 用 90 秒回答“如何诊断模式坍塌”。
答案与解析¶
一、概念题答案¶
1. 四个维度¶
保真度、多样性、图文对齐、人类偏好。
2. FID¶
衡量真实/生成特征分布的高斯距离;越低越好。
局限:
- 不衡量文本对齐;
- 对样本量/预处理敏感;
- 依赖 Inception 特征,可能掩盖模式缺失。
3. IS 和 KID¶
- IS:Inception 分类的置信度/多样性,越高越好,不衡量对齐;
- KID:MMD,无偏,适合小样本,越低越好。
4. CLIPScore¶
衡量图文语义相似度;不惩罚伪影、可被刷、弱组合推理。
5. Precision/Recall¶
- Precision:生成样本落在真实分布附近的比例(保真度);
- Recall:真实分布被覆盖的比例(多样性)。
6. 坍塌 vs 丢弃¶
- 坍塌:生成器塌到少数模式;
- 丢弃:部分模式没学到,但不是完全塌。
7. truncation¶
它降低 latent 方差,提升保真度但降低多样性;不能恢复丢失的模式。
8. Diffusion 失败模式¶
模式缺失/偏见、记忆、过饱和、对齐失败、少步多样性下降、数据偏差。
二、推导题答案¶
9. FID¶
\[
\mathrm{FID}
=\|\mu_r-\mu_g\|^2
+\mathrm{Tr}\left(
\Sigma_r+\Sigma_g-2(\Sigma_r\Sigma_g)^{1/2}
\right).
\]
10. CLIPScore¶
\[
\mathrm{CLIPScore}(I,T)
=\cos(f_I(I),f_T(T)).
\]
11. GAN minimax¶
\[
\min_G\max_D\;
\mathbb E_{x\sim p_{\mathrm{data}}}[\log D(x)]
+\mathbb E_{z\sim p_z}[\log(1-D(G(z)))].
\]
12. WGAN 为什么缓解¶
Wasserstein 距离在分布不重叠时仍有梯度,给生成器更平滑的信号。
三、判断/分析题答案¶
13. FID 10 vs 20¶
不能直接说 A 更好。还要看:
- 样本量/预处理是否一致;
- 文本对齐;
- 多样性/失败案例;
- 人眼质量。
14. Precision 0.9 / Recall 0.3¶
高保真、低覆盖:可能漏模式/多样性不足。
15. CLIPScore 提升¶
不能说明图像质量提升;CLIPScore 只衡量图文相似度,不惩罚伪影,也可能被 prompt 刷分。
16. FID 低但人工不好¶
可能:
- 文本不对齐;
- 模式缺失;
- 细节/伪影;
- 审美/偏好差异;
- 指标实现/样本问题。
17. 不同论文 FID 不可直接比¶
实现(resize/归一化/Inception 权重)、样本量、数据集不同。
四、面试复述题自评¶
18. A4¶
- 是否分四类?
- 是否写 FID/CLIPScore?
- 是否说局限?
19. A9¶
- 是否定义坍塌?
- 是否说 5 类方法?
- 是否提诊断?
20. FID 低就好吗¶
- 是否说“不”?
- 是否给 3 个反例?
- 是否提多指标?
21. 诊断坍塌¶
- 是否用 Precision/Recall?
- 是否看聚类/条件分布?
- 是否避免只看 FID?
五、错题归因¶
| 错题 | 原因 | 回到 |
|---|---|---|
| 2、9、13、16、17 | FID 理解 | 6.1 |
| 4、10、15 | CLIPScore | 6.1 |
| 6、7、14、19、21 | 坍塌/诊断 | 6.2 |
| 5、11、12 | 指标/GAN | 6.1/6.2 |
六、下一步¶
- 指标错:做“场景—指标—局限”表;
- 诊断错:做“症状—原因—方法”表;
- 表达卡:用 05/6.3 录音;
- 做一次 15 分钟模拟面试。