跳转至

第 6 章面试题库:90 秒答案与追问

用途:把评估、失败模式、综合面试压缩成可练习的答案。
标记:S = 必须熟练;A = 高频;B = 加分。


1. 本章 2 道核心题

题号 题目 重要度 主材料
A4 图像生成评估指标 S 6.1
A9 GAN 模式坍塌 A 6.2

2. A4:图像生成评估指标(S)

90 秒版

“可以分四类:保真度用 FID、Precision;多样性用 Recall、IS;图文对齐用 CLIPScore、GenEval;人类偏好用 HPSv2/ImageReward 或人工评分。FID 比较真实/生成特征的均值和协方差,越低越好,但它不衡量文本对齐,对样本量和预处理敏感。CLIPScore 衡量图文相似度,但可被刷、弱于组合推理。实际评估要固定 prompt/seed,自动指标 + 人工 + 任务指标一起看,不能只看 FID。”

追问 1:FID 的假设?

特征服从高斯;Inception 特征代表感知;样本量足够。

追问 2:FID 低但生成不好,为什么?

FID 不衡量文本对齐;可能图真实但不符合 prompt,或模式缺失。

追问 3:CLIPScore 能当唯一指标吗?

不能;它不惩罚伪影,且可被 prompt 刷分。

追问 4:如何评估组合能力?

GenEval/T2I-CompBench,覆盖对象/计数/颜色/空间。


3. A9:GAN 模式坍塌(A)

90 秒版

“模式坍塌是生成器只覆盖少数模式。改善分几层:损失上用 WGAN-GP、hinge、R1、spectral norm 稳定判别器;多样性上用 minibatch discrimination、PacGAN、unrolled GAN、diversity loss;训练上用 EMA、TTUR、replay buffer、progressive growing;数据上更均衡;推理时 truncation 只是保真度/多样性权衡,不是根治。诊断要看 Precision/Recall,不能只看 FID。”

追问 1:WGAN 为什么能缓解?

Wasserstein 距离在分布不重叠时仍有梯度。

追问 2:truncation 是解决方案吗?

不是;它降低多样性换保真度。

追问 3:Diffusion 会坍塌吗?

不一定以 GAN 方式,但会有模式缺失/偏见/记忆。


4. 综合追问:10 个

Q1:FID 和 KID 的区别?

FID 用高斯 Frechet 距离;KID 用 MMD,无偏,适合小样本。

Q2:IS 为什么不可靠?

它用 Inception 分类,不能衡量文本对齐,容易被刷。

Q3:Precision/Recall 怎么用?

Precision 看保真度,Recall 看覆盖;Precision 高/Recall 低说明漏模式。

Q4:人工评估怎么设计?

固定 prompt/评分标准,多人盲评,报告一致性。

Q5:奖励模型有什么问题?

有偏好偏差,可能被刷,不能替代人工。

Q6:模式坍塌和模式丢弃的区别?

坍塌是塌到少数模式;丢弃是部分模式没学到。

Q7:R1 正则为什么有效?

惩罚判别器梯度,限制其过强,稳定训练。

Q8:PacGAN 是什么?

判别器看多个样本的联合分布,惩罚模式集中。

Q9:Diffusion 的失败模式有哪些?

模式缺失/偏见/记忆/过饱和/对齐失败/少步多样性下降。

Q10:如果 FID 和 CLIPScore 冲突怎么办?

报告多个维度,结合人工/任务指标,不能单指标下结论。


5. 追问树:A4

评估
├── 保真度:FID/Precision
├── 多样性:Recall/IS
├── 对齐:CLIPScore/GenEval
├── 人类:HPSv2/人工
└── 陷阱:FID 不对齐、CLIPScore 可刷

6. 15 分钟模拟面试

时间 内容
0–2 自我介绍
2–6 A4
6–10 A9
10–13 综合追问
13–15 反馈

7. 练习方法

  1. 90 秒录音;
  2. 追问两层;
  3. 错题回到 6.1/6.2;
  4. 用 6.3 做全真模拟。

8. 相关材料