7.2 综合练习 B:SD 条件控制方案设计¶
所属章节:第 7 章 综合练习与面试答辩
课时:90 分钟工作坊
前置:第 3–4 章
对应面试题:A12、A13、A14、A10
一句话目标:不训练、不写代码,设计一个“人物一致 + 姿态可控 + 风格一致”的 SD 方案,并能讲清取舍。
1. 练习场景¶
给定一张人物参考图 + 一张姿态图,生成同一人物在指定姿态下的新场景图,保持服装和风格一致。
要求:
- 身份一致;
- 姿态准确;
- 风格/服装一致;
- 文本可控(场景/光线);
- 有评测与失败分析。
2. 工具匹配¶
| 需求 | 工具 | 作用 |
|---|---|---|
| 身份/风格 | IP-Adapter | 参考图语义 |
| 姿态 | ControlNet OpenPose | 空间结构 |
| 主体强化 | LoRA / DreamBooth | 身份一致性 |
| 文本控制 | CFG / negative prompt | 场景/风格 |
| 质量 | SDXL/SD3 底座 | 分辨率/细节 |
原则:
不要把所有工具都堆上;先确定哪个因素是瓶颈。
3. 方案架构图¶
参考图 ──CLIP Image Encoder──> IP-Adapter ─┐
├─ 条件注入 → SD 采样 → 输出
姿态图 ──OpenPose────────────> ControlNet ─┘
文本 prompt ──CLIP/T5────────> Cross-Attn ─┘
需要标注:
- 每个模块输入/输出;
- 条件注入位置;
- scale/CFG 初值;
- 失败时先调哪个。
4. 参数初始建议¶
| 参数 | 初始 | 调整方向 |
|---|---|---|
| ControlNet scale | 0.7–1.0 | 姿态不准↑,太僵硬↓ |
| IP-Adapter scale | 0.5–0.8 | 不像↑,复制参考图↓ |
| CFG | 5–7(SDXL) | 跟随弱↑,过饱和↓ |
| 步数 | 25–30 | 质量/时延 |
| LoRA weight | 0.6–0.9 | 身份/风格强度 |
这些是起点,不是标准答案;要说明“为什么”。
5. 失败模式¶
| 现象 | 可能原因 | 处理 |
|---|---|---|
| 姿态不准 | ControlNet 太弱/预处理错 | 提高 scale/检查关键点 |
| 人物不像 | IP-Adapter 太弱/LoRA 不足 | 提高 scale/加 LoRA |
| 复制参考图 | IP-Adapter 太强 | 降 scale/加文本 |
| 画面僵硬 | ControlNet 太强 | 降 scale/换条件 |
| 文本不跟随 | CFG 太低/条件冲突 | 调 CFG/改 prompt |
| 风格漂移 | 参考图/文本冲突 | 明确优先级 |
6. 5 分钟讲解结构¶
- 需求与约束(30 秒);
- 方案图(1 分钟);
- 工具选择理由(1.5 分钟);
- 参数与失败模式(1.5 分钟);
- 评测与下一步(30 秒)。
7. 评分 Rubric(100 分)¶
| 维度 | 分值 | 标准 |
|---|---|---|
| 需求拆解 | 20 | 因素清晰、优先级明确 |
| 方案匹配 | 25 | 工具与问题匹配,不堆砌 |
| 取舍理由 | 25 | 能解释为什么/代价 |
| 失败分析 | 20 | 有现象—原因—处理 |
| 表达 | 10 | 5 分钟清晰 |
通过线:70;优秀:85。
8. 常见问题¶
- 所有工具都上,没有优先级;
- 说不清 scale 的作用;
- 只讲“用了什么”,不讲“为什么”;
- 没有失败案例;
- 把方案设计成代码实现。
9. 交付物¶
- 一页架构图;
- 工具选型表;
- 参数初始表;
- 3 个失败案例;
- 5 分钟讲解。