第十二卷：数据处理与数据科学

这一卷从数据生命周期、清洗和分析进入推断、特征、分布式处理、治理与隐私。图表负责展示证据，不能替采样框、时间边界和误差承担责任。

先修知识

• 会读写 Python，并了解 SQL 的查询、连接和聚合，可参考第一卷：编程之基与第五卷：数据库与数据系统。
• 统计与回归章节需要基础概率、代数和矩阵知识，可按需查阅第十卷：数学基础。

覆盖内容

第 1–4 章处理数据从产生到分析的过程；第 5–8 章讨论推断、回归、特征和因果问题；第 9 章进入分布式处理；第 10–14 章处理伦理、治理、血缘、组织协作与隐私。

第 1 章

• 1.1 数据产品、事件语义与契约：数据从产生时就要可解释
• 1.2 摄取、存储与保留：把数据管道做成可重放的系统

第 2 章

• 2.1 数据剖析、类型与缺失机制：先解释空值，再决定怎样补
• 2.2 异常、重复与实体一致性：识别可疑记录而不是自动删除
• 2.3 可复现清洗与质量门禁：每次改动都能解释和回滚

第 3 章

• 3.1 EDA 与分布诊断：先理解一行数据，再解释一张图
• 3.2 关系、分组与可视化诚实性：图中相关不等于机制

第 4 章

• 4.1 分析粒度、连接基数与指标分母：SQL 先防止算重
• 4.2 窗口函数与时间序列 SQL：排序、Frame 与缺失日期
• 4.3 CTE、Grouping Sets 与查询验证：把分析 SQL 当作程序

第 5 章

• 5.1 估计量、置信区间与 p 值：结论依赖怎样获得样本
• 5.2 检验选择、功效与多重比较：分析计划先于结果

第 6 章

• 6.1 OLS、系数与设计矩阵：线性模型究竟在估计什么
• 6.2 残差、异方差与影响点：诊断针对哪一种失效
• 6.3 正则化、交叉验证与预测区间：模型选择不能偷看答案

第 7 章

• 7.1 时间点正确性与特征泄漏：预测时看不到的信息不能入模
• 7.2 数值、类别与时间编码：转换参数属于模型
• 7.3 特征选择与生产一致性：从候选列到可监控接口

第 8 章

• 8.1 抽样框、入样概率与权重：样本能代表谁
• 8.2 随机实验、ITT 与干扰：分配处理不等于接受处理
• 8.3 DAG 与观察性识别：控制变量也可能制造偏差

第 9 章

• 9.1 从单机越界到分区计算：先缩小工作集，再增加机器
• 9.2 分区、Shuffle 与数据倾斜：读懂分布式批处理计划
• 9.3 事件时间、Watermark 与端到端语义：流处理怎样面对迟到与重放

第 10 章

• 10.1 从使用目的到伤害路径：数据项目先证明值得做
• 10.2 公平性指标与分组评估：先问哪种错误伤害谁
• 10.3 人工监督、申诉与事故响应：责任不能停在“模型建议”

第 11 章

• 11.1 治理职责与决策权：每条规则都要有人解释、执行和例外审批
• 11.2 数据质量 SLO 与事件响应：检查失败后系统应该怎样做

第 12 章

• 12.1 数据资产、术语与元数据目录：让搜索结果能够被正确使用
• 12.2 运行时血缘与影响分析：从一条错误指标追到具体版本

第 13 章

• 13.1 Data Mesh 的适用条件：分散责任之前先确认组织问题
• 13.2 数据产品、平台铺路与联邦治理：自治必须能够互操作

第 14 章

• 14.1 隐私工程与数据地图：先减少不必要的处理
• 14.2 Pseudonymisation、匿名化与链接攻击：删除姓名远远不够
• 14.3 差分隐私、敏感度与预算：噪声只是机制的一部分
• 14.4 访问、保留与合规运行：权限终会过期，副本必须能找到

学完能做什么

• 说明一行数据代表什么，检查缺失、重复、连接基数与指标分母。
• 根据抽样方式、时间边界和验证设计解释统计或预测结论的适用范围。
• 为数据管道建立重放、质量检查与血缘，并明确访问、保留和异常处置的责任。

怎样使用这份目录

带一份规模可控、来源明确的数据，从第 1–4 章走一遍。准备做推断或预测时，再进入第 5–8 章；准备把分析长期运行起来时，补上后半卷的处理与治理。每次出图前先确认分母和数据范围，配色再漂亮，也救不了被算了两遍的订单。