跳转至

7.2 综合练习 B:SD 条件控制方案设计

所属章节:第 7 章 综合练习与面试答辩
课时:90 分钟工作坊
前置:第 3–4 章
对应面试题:A12、A13、A14、A10
一句话目标:不训练、不写代码,设计一个“人物一致 + 姿态可控 + 风格一致”的 SD 方案,并能讲清取舍。


1. 练习场景

给定一张人物参考图 + 一张姿态图,生成同一人物在指定姿态下的新场景图,保持服装和风格一致。

要求:

  • 身份一致;
  • 姿态准确;
  • 风格/服装一致;
  • 文本可控(场景/光线);
  • 有评测与失败分析。

2. 工具匹配

需求 工具 作用
身份/风格 IP-Adapter 参考图语义
姿态 ControlNet OpenPose 空间结构
主体强化 LoRA / DreamBooth 身份一致性
文本控制 CFG / negative prompt 场景/风格
质量 SDXL/SD3 底座 分辨率/细节

原则:

不要把所有工具都堆上;先确定哪个因素是瓶颈。


3. 方案架构图

参考图 ──CLIP Image Encoder──> IP-Adapter ─┐
                                            ├─ 条件注入 → SD 采样 → 输出
姿态图 ──OpenPose────────────> ControlNet ─┘
文本 prompt ──CLIP/T5────────> Cross-Attn ─┘

需要标注:

  • 每个模块输入/输出;
  • 条件注入位置;
  • scale/CFG 初值;
  • 失败时先调哪个。

4. 参数初始建议

参数 初始 调整方向
ControlNet scale 0.7–1.0 姿态不准↑,太僵硬↓
IP-Adapter scale 0.5–0.8 不像↑,复制参考图↓
CFG 5–7(SDXL) 跟随弱↑,过饱和↓
步数 25–30 质量/时延
LoRA weight 0.6–0.9 身份/风格强度

这些是起点,不是标准答案;要说明“为什么”。


5. 失败模式

现象 可能原因 处理
姿态不准 ControlNet 太弱/预处理错 提高 scale/检查关键点
人物不像 IP-Adapter 太弱/LoRA 不足 提高 scale/加 LoRA
复制参考图 IP-Adapter 太强 降 scale/加文本
画面僵硬 ControlNet 太强 降 scale/换条件
文本不跟随 CFG 太低/条件冲突 调 CFG/改 prompt
风格漂移 参考图/文本冲突 明确优先级

6. 5 分钟讲解结构

  1. 需求与约束(30 秒);
  2. 方案图(1 分钟);
  3. 工具选择理由(1.5 分钟);
  4. 参数与失败模式(1.5 分钟);
  5. 评测与下一步(30 秒)。

7. 评分 Rubric(100 分)

维度 分值 标准
需求拆解 20 因素清晰、优先级明确
方案匹配 25 工具与问题匹配,不堆砌
取舍理由 25 能解释为什么/代价
失败分析 20 有现象—原因—处理
表达 10 5 分钟清晰

通过线:70;优秀:85。


8. 常见问题

  • 所有工具都上,没有优先级;
  • 说不清 scale 的作用;
  • 只讲“用了什么”,不讲“为什么”;
  • 没有失败案例;
  • 把方案设计成代码实现。

9. 交付物

  • 一页架构图;
  • 工具选型表;
  • 参数初始表;
  • 3 个失败案例;
  • 5 分钟讲解。

10. 下一节

7.3 评测方案与面试答辩