6.1 图像生成评估指标¶
所属章节：第 6 章 评估、失败模式与面试实战
课时：90 分钟
前置：生成模型基础、CLIP
对应面试题：A4
一句话目标：学完能解释 FID/CLIPScore/Precision-Recall 等指标，知道它们衡量什么、局限是什么，并能设计评测方案。
1. 学习目标¶
学完本节，你应该能够：
- 解释 图像生成评估的四个维度：保真度、多样性、对齐、人类偏好；
- 写出 FID 公式，解释其假设；
- 说出 FID 的 3 个局限；
- 解释 IS/KID/CLIPScore/Precision-Recall 的适用场景；
- 设计 “自动指标 + 人工 + 任务指标”的评测方案；
- 用 90 秒回答 A4。
2. 为什么评估很难¶
生成模型没有唯一正确答案：
- 同一 prompt 可以有很多合理图像；
- 像素级指标不反映语义；
- 人类偏好昂贵且主观；
- 单一指标容易被刷。
所以评估要回答四个问题：
| 维度 | 问题 | 代表指标 |
|---|---|---|
| 保真度 | 像真实图像吗？ | FID、Precision |
| 多样性 | 覆盖多少模式？ | Recall、IS |
| 对齐 | 符合 prompt 吗？ | CLIPScore、GenEval |
| 人类偏好 | 人觉得好吗？ | HPSv2、ImageReward、人工 |
3. FID¶
3.1 定义¶
FID 用 Inception-v3 特征，比较真实/生成特征分布的高斯距离：
\[
\mathrm{FID}
=\|\mu_r-\mu_g\|^2
+\mathrm{Tr}\left(
\Sigma_r+\Sigma_g-2(\Sigma_r\Sigma_g)^{1/2}
\right).
\]
- \(\mu_r,\Sigma_r\)：真实图特征均值和协方差；
- \(\mu_g,\Sigma_g\)：生成图特征；
- 越低越好。
3.2 假设¶
- 特征服从高斯；
- Inception 特征能代表感知质量；
- 样本量足够。
3.3 局限¶
- 不衡量文本对齐：图好看但不符合 prompt，FID 可能仍低；
- 对样本量/预处理敏感：不同实现不可直接比较；
- 依赖 Inception 特征：对某些域不适用；
- 可能掩盖模式缺失：均值/协方差接近，但少数模式缺失。
4. IS / KID¶
4.1 IS¶
Inception Score：
- 用 Inception 分类器；
- 希望生成图“类别置信度高”且“类别多样”；
- 越高越好；
- 不衡量文本对齐，容易被刷。
4.2 KID¶
Kernel Inception Distance：
- 用 MMD 比较特征分布；
- 无偏估计，适合小样本；
- 越低越好。
5. CLIPScore¶
\[
\mathrm{CLIPScore}(I,T)
=\cos(f_I(I),f_T(T))
\]
（有的实现会缩放）。
- 衡量图文语义对齐；
- 不需要参考图；
- 可被 prompt 刷分；
- 不惩罚图像质量/伪影；
- 弱于计数/空间/否定。
6. Precision / Recall¶
- Precision：生成样本有多少落在真实分布附近（保真度）；
- Recall：真实分布有多少被生成覆盖（多样性/覆盖率）。
用途：
- 诊断 GAN 模式坍塌；
- 诊断 Diffusion 漏模式；
- 比单一 FID 更能看出“像但不多样”。
7. 感知/重建指标¶
| 指标 | 用途 | 方向 |
|---|---|---|
| LPIPS | 感知相似度 | 越低越好 |
| PSNR | 像素误差 | 越高越好 |
| SSIM | 结构相似度 | 越高越好 |
| OCR accuracy | 文字渲染 | 越高越好 |
注意：
- PSNR/SSIM 对感知质量不敏感；
- 编辑/重建任务才适合参考图指标；
- 文生图没有唯一参考图，不能用 PSNR。
8. 人类偏好与组合评测¶
- 人工评分：最可靠但昂贵；
- HPSv2：人类偏好奖励模型；
- ImageReward：偏好奖励；
- PickScore：偏好模型；
- GenEval：对象/计数/颜色/位置等组合能力；
- T2I-CompBench：细粒度组合评测；
- VQAScore：用 VQA 模型评估对齐。
注意：
- 奖励模型有偏差，可能被刷；
- 人工评估要固定 prompt/评分标准；
- 组合评测更接近真实需求。
9. 指标冲突¶
常见冲突：
- FID 低，但 CLIPScore 低：图真实但不对齐；
- CLIPScore 高，但 FID 高：对齐但图像质量差；
- FID 正常，Recall 低：模式缺失；
- 人工觉得好，FID 一般：指标与感知不一致。
结论：
不要用单一指标下结论；要报告多个维度 + 失败案例。
10. 评测方案设计¶
- 固定 prompt 集：覆盖对象/属性/计数/空间/文字；
- 固定 seed/分辨率/采样器；
- 自动指标：FID、CLIPScore、Precision/Recall；
- 任务指标：身份、姿态、OCR；
- 人工评分：质量/对齐/美感；
- 消融：换模型/数据/训练策略；
- 报告：均值、方差、失败案例。
11. 90 秒回答：图像生成评估指标¶
面试官问：图像生成的评估指标有哪些？
参考回答：
“可以分四类：保真度用 FID、Precision；多样性用 Recall、IS；图文对齐用 CLIPScore、GenEval；人类偏好用 HPSv2/ImageReward 或人工评分。FID 比较真实/生成特征的均值和协方差，越低越好，但它不衡量文本对齐，对样本量和预处理敏感。CLIPScore 衡量图文相似度，但可被刷、弱于组合推理。实际评估要固定 prompt/seed，自动指标 + 人工 + 任务指标一起看，不能只看 FID。”
12. 常见误区¶
- FID 低就一定好：不衡量对齐，可能掩盖模式缺失。
- CLIPScore 高就质量好：不惩罚伪影。
- 用 PSNR 评文生图：没有唯一参考图。
- 不同实现的 FID 直接比：预处理/样本量不同。
- 只看均值，不看方差/失败案例。
13. 课堂练习¶
答案见 06 章节练习与答案。
- 给 5 个场景选指标。
- 解释 FID 公式和 3 个局限。
- 设计一个 100 prompt 的评测集。
- 解释 FID 低但 CLIPScore 低说明什么。
- 用 90 秒回答 A4。
14. 自测清单¶
- [ ] 能解释四个评估维度；
- [ ] 能写 FID 公式；
- [ ] 能说 FID 3 个局限；
- [ ] 能解释 CLIPScore/Precision-Recall；
- [ ] 能设计评测方案；
- [ ] 能 90 秒回答 A4。
15. 本节材料为什么这样设计¶
- 先四维度再指标：避免背名字。
- FID 公式 + 局限：A4 核心。
- 指标冲突：面试常追问“FID 低但不好”。
- 评测方案：把知识变成可执行步骤。
- 不写代码：本节是评估设计。
详细设计理由见 08 材料设计理由。