后训练与对齐工程最佳实践
黄金法则
- 先基线后优化；
- 一次只改一个变量；
- 指标与故事同版本号；
- 安全与回滚默认开启。
实践清单
设计阶段
- 写清成功指标与否决项；
- 明确硬件/延迟/成本预算；
- 识别数据敏感级别与授权范围。
实验阶段
- 固定软件版本与随机种子；
- 记录预热与同步方式；
- 保存失败案例而不只是成功截图。
上线阶段
- 灰度比例与观察窗口；
- 监控告警阈值；
- 一键回滚演练。
反模式
| 反模式 | 后果 | 替代 |
|---|---|---|
| 无对照调参 | 无法归因 | A/B 或前后对照 |
| 只报最好一次 | 过拟合运气 | 报分布 |
| 文档事后补 | 知识流失 | 实验即文档 |
| 忽略长尾 | 线上事故 | 专设长尾集 |
与本课支柱对齐
| 支柱 | 实践节奏 |
|---|---|
| SFT | 每周至少一次对照实验或复盘 |
| 偏好数据 | 每周至少一次对照实验或复 盘 |
| RM/PRM | 每周至少一次对照实验或复盘 |
| RLHF | 每周至少一次对照实验或复盘 |
| DPO/ORPO | 每周至少一次对照实验或复盘 |
| 安全评估 | 每周至少一次对照实验或复盘 |
评审问题清单（给同学/同事）
- 结论依赖哪些未验证假设？
- 指标是否会被「刷分」？
- 最坏情况下用户损失是什么？
- 回滚需要多久？谁有权限？
小结
最佳实践的价值在于降低组织重复踩坑的成本。把它变成团队模板，而不是个人英雄主义。
延伸练习与检查表
- 把本页清单复制到团队 Wiki，按周打勾。
- 选一个开源仓库，映射到本文模块表。
- 写 5 条「如果失败会怎样」的演练题并实际跑一次。
- 将指标口径写成 ADR（架构决策记录）短文。
- 与相邻课程（推理/安全/部署）做一次联合对照实验。