跳转至

第 6 章练习与答案

目标:用纸笔检查评估/诊断理解,不写代码。
建议:先做,再看答案;错题回到对应讲义。

题量:概念 8 + 推导 4 + 判断 5 + 面试复述 4。


一、概念题(8 题)

  1. 图像生成评估的四个维度是什么?
  2. FID 衡量什么?它的三个局限是什么?
  3. IS 和 KID 的区别是什么?
  4. CLIPScore 衡量什么?为什么不能当唯一指标?
  5. Precision/Recall 分别衡量什么?
  6. 模式坍塌和模式丢弃的区别是什么?
  7. truncation 为什么不是模式坍塌的根治?
  8. Diffusion 有哪些失败模式?

二、推导题(4 题)

  1. 写出 FID 公式。
  2. 写出 CLIPScore 公式。
  3. 写出 GAN 的 minimax 目标。
  4. 用一句话解释 WGAN 为什么能缓解坍塌。

三、判断/分析题(5 题)

  1. 模型 A 的 FID 是 10,模型 B 是 20,能否直接说 A 更好?为什么?
  2. 某模型 Precision=0.9,Recall=0.3,最可能的问题是什么?
  3. CLIPScore 从 0.30 提升到 0.35,能否说明图像质量提升?
  4. FID 很低但人工觉得不好,可能有哪些原因?
  5. 为什么不同论文的 FID 不能直接比较?

四、面试复述题(4 题)

  1. 用 90 秒回答 A4。
  2. 用 90 秒回答 A9。
  3. 用 90 秒回答“FID 低就代表模型好吗”。
  4. 用 90 秒回答“如何诊断模式坍塌”。

答案与解析

一、概念题答案

1. 四个维度

保真度、多样性、图文对齐、人类偏好。

2. FID

衡量真实/生成特征分布的高斯距离;越低越好。

局限:

  • 不衡量文本对齐;
  • 对样本量/预处理敏感;
  • 依赖 Inception 特征,可能掩盖模式缺失。

3. IS 和 KID

  • IS:Inception 分类的置信度/多样性,越高越好,不衡量对齐;
  • KID:MMD,无偏,适合小样本,越低越好。

4. CLIPScore

衡量图文语义相似度;不惩罚伪影、可被刷、弱组合推理。

5. Precision/Recall

  • Precision:生成样本落在真实分布附近的比例(保真度);
  • Recall:真实分布被覆盖的比例(多样性)。

6. 坍塌 vs 丢弃

  • 坍塌:生成器塌到少数模式;
  • 丢弃:部分模式没学到,但不是完全塌。

7. truncation

它降低 latent 方差,提升保真度但降低多样性;不能恢复丢失的模式。

8. Diffusion 失败模式

模式缺失/偏见、记忆、过饱和、对齐失败、少步多样性下降、数据偏差。


二、推导题答案

9. FID

\[ \mathrm{FID} =\|\mu_r-\mu_g\|^2 +\mathrm{Tr}\left( \Sigma_r+\Sigma_g-2(\Sigma_r\Sigma_g)^{1/2} \right). \]

10. CLIPScore

\[ \mathrm{CLIPScore}(I,T) =\cos(f_I(I),f_T(T)). \]

11. GAN minimax

\[ \min_G\max_D\; \mathbb E_{x\sim p_{\mathrm{data}}}[\log D(x)] +\mathbb E_{z\sim p_z}[\log(1-D(G(z)))]. \]

12. WGAN 为什么缓解

Wasserstein 距离在分布不重叠时仍有梯度,给生成器更平滑的信号。


三、判断/分析题答案

13. FID 10 vs 20

不能直接说 A 更好。还要看:

  • 样本量/预处理是否一致;
  • 文本对齐;
  • 多样性/失败案例;
  • 人眼质量。

14. Precision 0.9 / Recall 0.3

高保真、低覆盖:可能漏模式/多样性不足。

15. CLIPScore 提升

不能说明图像质量提升;CLIPScore 只衡量图文相似度,不惩罚伪影,也可能被 prompt 刷分。

16. FID 低但人工不好

可能:

  • 文本不对齐;
  • 模式缺失;
  • 细节/伪影;
  • 审美/偏好差异;
  • 指标实现/样本问题。

17. 不同论文 FID 不可直接比

实现(resize/归一化/Inception 权重)、样本量、数据集不同。


四、面试复述题自评

18. A4

  • 是否分四类?
  • 是否写 FID/CLIPScore?
  • 是否说局限?

19. A9

  • 是否定义坍塌?
  • 是否说 5 类方法?
  • 是否提诊断?

20. FID 低就好吗

  • 是否说“不”?
  • 是否给 3 个反例?
  • 是否提多指标?

21. 诊断坍塌

  • 是否用 Precision/Recall?
  • 是否看聚类/条件分布?
  • 是否避免只看 FID?

五、错题归因

错题 原因 回到
2、9、13、16、17 FID 理解 6.1
4、10、15 CLIPScore 6.1
6、7、14、19、21 坍塌/诊断 6.2
5、11、12 指标/GAN 6.1/6.2

六、下一步

  • 指标错:做“场景—指标—局限”表;
  • 诊断错:做“症状—原因—方法”表;
  • 表达卡:用 05/6.3 录音;
  • 做一次 15 分钟模拟面试。