10.3 人工监督、申诉与事故响应：责任不能停在“模型建议”

系统把北境标为低绩效后，审核员连续数月照单批准资源削减。界面上虽有“人工确认”按钮，却没有显示数据缺口，也没有权限推翻排序。形式上人在回路中，实际只是替模型盖章。

负责任部署要求清楚分配决定权、证据、复核、救济和事故处置，而不是把责任推给一个不可追问的分数。

本课目标

• 区分有效人工监督与 rubber-stamping；
• 设计可理解的理由、复核和申诉路径；
• 监控决策影响、反馈循环与自动化偏差；
• 为伦理/公平事故建立暂停、恢复和问责机制。

1. 决策权要写进系统设计

对每个输出明确：

• 模型能自动做什么、明确禁止做什么；
• 谁能覆盖模型，依据和权限是什么；
• 哪些高风险或低置信场景必须升级；
• 决定、输入版本、理由和人工动作如何留痕；
• 错误由哪个业务负责人负责修复和救济。

“模型只是建议”不构成控制。如果建议默认选中、审核时间不足、覆盖会被惩罚，系统仍接近自动决定。

2. 有效人工监督的条件

审核员需要：

• 足够时间与领域能力；
• 看见关键证据、数据质量和适用范围；
• 理解分数不是事实、区间不是保证；
• 有真实权限要求补充信息、推迟或推翻；
• 获得覆盖决定后的反馈；
• 不以“接受模型比例”作为唯一绩效指标。

同时监控自动化偏差：不同班次和工作量下的模型接受率、覆盖理由、覆盖后结果和审核时长。极高一致率可能代表模型好，也可能代表监督失效，需要调查。

3. 解释要服务于行动

受影响者需要的通常不是特征重要性图，而是：

发生了什么决定
使用了哪些关键事实和时间范围
哪些信息可能不完整或不适用
怎样更正事实或补充材料
由谁、在多久内复核
复核期间是否暂停不利后果
最终如何申诉或获得救济

局部解释方法可能不稳定，也不一定忠实于复杂模型。不得把相关特征包装成因果理由，例如“住在某地区导致高风险”。对于安全或反欺诈场景，透明度要与被规避风险平衡，但不能因此取消可质疑性。

4. 申诉不是客服工单

有效申诉需要：

• 可发现、可访问且不要求专业知识；
• 不因提出异议而受到报复或额外损失；
• 由有权限且相对独立的人复核；
• 能访问原始事实、模型版本和决定日志；
• 有明确时限、临时措施和升级路径；
• 修正当前个案后，还要回溯同类受影响者。

统计监控发现不了每个个体错误。申诉数据本身是重要风险信号，但只统计主动申诉会低估无法访问渠道的人。

5. 反馈循环改变数据生成

模型影响巡逻、资源、检查和机会后，下一轮标签不再独立：

高风险预测
→ 更多检查
→ 更多被记录事件
→ 新训练数据中的高风险标签增加
→ 更高风险预测

控制方法包括保留随机或规则基线样本、记录干预暴露、区分“未发生”与“未观察”、进行因果评估，以及避免只用模型触发后才产生的标签训练下一版。

上线指标不能只看预测分布，还要看资源分配、实际结果、覆盖率、申诉、撤销和群体长期影响。

6. 分阶段发布与停止开关

从离线回放到生产可依次采用：

1. shadow mode：只生成输出，不改变决定；
2. 辅助模式：审核员可见，但关键决定不可自动执行；
3. 限定试点：限制地区、人群、额度和时间；
4. 扩大部署：达到预设收益与风险门槛后推进。

每阶段设置退出条件，例如数据完整率下降、某群体错误上界超标、申诉积压、用途漂移或无法解释的结果变化。kill switch 必须经过演练，并规定停用后的人工 fallback。

7. 伦理事故响应

事故不只包括服务宕机，也包括系统性错误决定、未授权用途、群体伤害和申诉失效。

检测与分级
立即限制/暂停决定
保护证据与版本
识别受影响范围
通知负责人和必要相关方
纠正决定并提供救济
修复数据、模型或流程
验证后分阶段恢复
发布复盘与预防措施

复盘要追问为什么控制没有提前发现，而不是归咎单个操作员。高严重性事件应有独立审查和明确的重新上线批准者。

8. 交付记录

用途、禁止用途和负责人
目标总体与失效范围
数据/模型/阈值版本
总体与分组评估及不确定性
人工权限、升级与 fallback
理由通知和申诉流程
反馈循环监控
事故等级、停止条件与演练日期
变更审批与退役计划

模型卡或影响评估可以承载这些信息，但文档存在不等于控制生效；需要用演练、审计日志和实际救济结果验证。

常见误区

• 有人点击确认就是 human-in-the-loop：没有信息、时间和权限就不是有效监督。
• 提供 SHAP 图就是解释：受影响者更需要事实、理由和纠正路径。
• 申诉很少说明系统可靠：渠道不可达也会让申诉很少。
• 下线模型就结束事故：历史错误决定和受影响者仍需纠正。

练习

1. 审查一个“人工确认”流程，列出导致照单批准的界面和激励因素。
2. 为资源削减决定写一份可操作的理由通知。
3. 设计一个反馈循环监控，其中包含不受模型触发的观测样本。
4. 为群体错误率骤升编写暂停、范围识别和救济演练。

小结

责任来自可执行的权力与恢复路径：谁能阻止模型、谁能更正事实、谁负责修复伤害。公平评估只有进入发布门槛、申诉和事故响应，才不会停在报告里。

下一章进入数据治理：把负责人、定义、质量、访问和变更机制扩展到整个数据组织。