10.1 从使用目的到伤害路径：数据项目先证明值得做
绩效模型总把北部站点评成低分。追溯后才发现，那里的旧通信器经常漏报任务完成事件。模型并非发现了“低绩效”，而是把基础设施差异翻译成了资源分配建议。
数据伦理不是模型完成后的附加检查。项目立项时就要问：问题是否值得自动化、数据为何存在、谁获得收益、谁承担错误。
本课目标
- 把抽象“伦理风险”改写成具体伤害路径；
- 审查数据来源、预期用途和场景变化；
- 区分代表性、测量质量与历史不公；
- 为高影响用途设置必要性、比例性和退出条件。
1. 先定义决策，而不是先找数据
同一预测在不同用途下风险完全不同。“队伍未来可能缺勤”可以用于主动提供支持，也可以用于取消晋升资格。
立项说明至少包含：
谁依据输出做什么决定
模型是建议、排序、门槛还是自动执行
受到决定影响的人和群体
错误阳性、错误阴性及不使用系统的后果
预期收益如何测量、由谁获得
现有非模型方案和人工流程
禁止用途与停止条件如果无法说清输出将改变什么，就无法选择合适指标，也无法判断数据收集是否必要。
例如同样预测“未来一周缺勤风险高”，支持用途可以触发自愿的排班沟通，惩罚用途却可能减少晋升机会。前者关注是否帮助了有需求者，后者必须先证明标签和决定依据有效；模型 AUC 相同，不代表两种用途可以共用批准。
2. 用伤害路径代替风险清单
可把风险写成因果链：
旧设备漏报
→ 北部区域完成记录偏少
→ 模型低估绩效
→ 审核员相信统一分数
→ 北部区域资源与晋升机会减少
→ 漏报和低表现进一步加剧每条路径标注：受影响者、严重性、发生可能性、可逆性、持续时间和现有控制。然后在链条上设置控制点，例如修复采集、显示数据完整度、禁止自动扣减资源、提供复核与申诉。
风险矩阵只能帮助排序，不能把难以量化的尊严、权利或群体伤害变成一个“可接受分数”。
3. 数据来源决定允许怎样解释
对每个数据源记录：
- 谁、为什么、在何种关系中收集；
- 当事人可能合理预期的用途；
- 采集覆盖、设备差异与退出方式；
- 字段、时间范围和保留规则；
- 授权、合同、许可与地域要求；
- 是否经过筛选、审核、标注或算法处理。
“公开可访问”不等于适合任意再利用。伦理审查与法律合规有关但不等同：满足最低法律要求，也可能因用途偏离、权力不对称或伤害过大而不应实施。
4. 同意不是万能通行证
有效选择要求信息可理解、选择真实、拒绝成本不过高，并能处理撤回。雇佣、教育、医疗等强权力关系中，一纸同意可能并不代表自由选择。
还要遵守目的约束和数据最小化：
- 这个字段对已定义用途是否必要；
- 能否用更粗粒度或更短保留期完成任务；
- 是否在未重新评审时扩展到新用途；
- 模型输出能否反推出原本未收集的敏感信息。
删除显式姓名不能自动解决伦理与隐私风险；准标识符、稀有组合、轨迹和外部数据仍可能使个人或小群体被识别。
5. 代表性不是“比例一样”
一个群体占比与目标总体一致，测量仍可能不公平：
- 旧设备造成更高缺失率；
- 同一标签由不同机构按不同标准产生；
- 只有受到检查的人才有“违规”记录；
- 历史决策决定谁有机会获得正标签；
- 部署后人群和行为因系统而变化。
因此同时检查覆盖、测量误差、标签生成和决策历史。增加少数群体行数不能修复一个系统性错误标签。
给定一个可核对的例子：两站点都完成 100 项任务，可靠对账源记录各成功 90 项。新设备上传全部 100 条结果；旧设备漏掉 30 条成功记录，只上传 60 条成功和 10 条失败。按已上传记录计算，成功率分别为 90% 与约 85.7%；把缺报直接当失败则降到 60%。真正需要先修的是采集与分母，并不是给低分地区调一个好看的阈值。
6. 利益相关者不是只做访谈对象
工程团队、领域专家、操作人员、受影响者和申诉处理人员看到的失败不同。参与应发生在问题定义、指标选择、试点和事故复盘，而不是发布前找人认可既定方案。
需要记录分歧：谁认为哪类伤害不可接受、哪些声音没有被纳入、最终决定由谁承担。参与不代表把责任转嫁给受影响者。
7. Go / No-Go 评审
在开发前和用途变更时回答：
[ ] 用途、决策和受影响者已明确
[ ] 不建系统的替代方案已比较
[ ] 数据来源与合理预期相符
[ ] 关键伤害路径已有控制和负责人
[ ] 高严重性失效有人工阻断与恢复办法
[ ] 能向受影响者解释、纠正并提供救济
[ ] 监控不到关键伤害时，已缩小或取消用途“无法测量风险”不是零风险；它可能是暂停自动化的理由。
可操作的暂停条件应指向证据与后续动作。例如一旦完成记录无法与可靠来源对账，就停止用分数削减资源，保留支持性人工复核；恢复前须确认补报、受影响决定范围和重新评估结果。这里的门槛是示例项目规则。不同用途应重新论证，不能当成通用法律标准。NIST AI RMF 1.0 将使用场景、受影响者和全生命周期风险纳入管理。
常见误区
- 模型只提供建议，所以风险小：自动排序和默认建议会强烈塑造人工决定。
- 公开数据可以自由组合：组合后的用途、可识别性和影响可能完全改变。
- 样本比例均衡就公平：测量和标签机制仍可能系统不同。
- 伦理由合规团队最后审批：问题定义和数据选择时已产生路径依赖。
练习
- 为绩效模型写出两种用途，并比较各自错误成本。
- 画出“旧设备漏报到维护减少”的伤害路径，设置三个控制点。
- 为一个公开数据源填写来源、预期用途和再利用差距。
- 设计一个明确的 no-go 条件，而不是只给风险打分。
小结
负责任的数据项目从“是否应该做、为谁做”开始。用途、数据来源和伤害路径明确后，技术评估才有对象；否则高准确率只是对一个含糊甚至有害目标的精确优化。
下一课进入公平性测量：群体差异需要分解成决策语义、基准率、错误类型和不确定性，不能用单一准确率或任意阈值裁决。