跳到内容

8.2 随机变量、期望与方差:平均值之外还有分布

两个接口平均延迟都为 100 ms,一个稳定在 90–110 ms,另一个多数 20 ms、偶尔 5 秒。均值相同不代表用户体验或容量风险相同;必须看随机变量的完整分布。

随机变量是函数

随机变量 X 把样本结果映射为数值:

text
X:Ω→ℝ

抛两次硬币,X 可定义为正面次数:

text
HH→2, HT→1, TH→1, TT→0

随机的是样本结果;X 是确定映射。

PMF、PDF 与 CDF

离散随机变量的概率质量函数:

text
p_X(x)=P(X=x)

连续随机变量用密度 f_X(x),单点概率通常为 0,区间概率由积分给出。

累积分布函数适用于两者:

text
F_X(x)=P(X≤x)

CDF 单调不减、右连续,并从 0 趋近 1。分位数可由 CDF 定义,但离散分布或平坦区间可能使分位数不唯一,需要采用约定。

几个基础分布

Bernoulli

一次成功/失败:

text
X∈{0,1}, P(X=1)=p
E[X]=p
Var(X)=p(1-p)

Binomial

n 次独立、同成功率 Bernoulli 试验的成功次数:

text
P(X=k)=C(n,k)p^k(1-p)^(n-k)
E[X]=np
Var(X)=np(1-p)

若每次成功率不同或试验相关,就不是普通 Binomial 模型。

Geometric

独立重复试验中第一次成功所需次数。记号有“次数从 1 开始”或“失败数从 0 开始”两种约定,期望相差 1,使用前要声明。

Poisson

常用于固定区间内稀疏事件计数,参数 λ

text
P(X=k)=e^{-λ}λ^k/k!
E[X]=Var(X)=λ

它依赖独立增量和稳定速率等模型。真实请求常有潮汐、突发和自激,不应只因“是计数”就套 Poisson。

期望的线性性

离散情形:

text
E[X]=Σ_x xP(X=x)

最重要的性质:

text
E[aX+bY+c]=aE[X]+bE[Y]+c

不要求 X、Y 独立。

用指示变量计数很方便。随机排列 n 个元素,令 I_i 表示第 i 个元素仍在原位:

text
E[I_i]=1/n

固定点总数 X=ΣI_i

text
E[X]=ΣE[I_i]=n·1/n=1

无需计算各指示变量之间的依赖。

方差度量波动

text
Var(X)=E[(X-E[X])²]
      =E[X²]-E[X]²

标准差:

text
σ_X=√Var(X)

线性变换:

text
Var(aX+b)=a²Var(X)

两个变量之和:

text
Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y)

独立变量协方差为 0,于是方差相加;反方向一般不成立,零协方差不保证独立。

相关系数归一化线性关联,但相关为 0 也可能存在强非线性关系。

尾部和分位数

P99 延迟是使约 99% 观测不超过该值的分位数估计。它不等于“最慢 1% 的平均值”,也不说明 99% 每时每刻都满足。

平均值对极端值敏感;中位数更稳健;高分位展示尾部,但需要足够样本,且聚合方式会影响结果。

不能把各机器 P99 简单平均得到全局 P99。正确方法通常是合并可加的分布摘要或原始直方图,再计算总体分位数;摘要精度和桶边界也要说明。

Markov 与 Chebyshev 不等式

对非负随机变量 Xa>0

text
P(X≥a)≤E[X]/a

这是 Markov 不等式,只用均值给尾部上界,通常较松。

若方差有限:

text
P(|X-μ|≥kσ)≤1/k²

这是 Chebyshev 不等式,不要求正态分布。更多分布假设或独立性可以得到更紧的 Chernoff/Hoeffding 界。

上界不等于预测实际尾概率;它提供在有限信息下保证不会超过的范围。

随机算法的成本

期望运行时间:

text
E[T]

不等于每次都在该时间内完成。还应看尾概率、最坏情况和随机性来源。

随机化快速排序在适当随机模型下期望 Θ(n log n),最坏仍为 Θ(n²)。随机打乱若有偏或可被攻击者预测,期望分析的假设可能失效。

完成检查

  1. 写出两次抛硬币正面数的 PMF 与 CDF;
  2. 用指示变量求随机选 5 人中某类成员的期望数;
  3. 构造同均值、不同方差的两个离散分布;
  4. 解释为什么全局 P99 不能由实例 P99 平均得到;
  5. 用 Markov 或 Chebyshev 给一个尾概率上界,并说明它为什么可能很松。

参考资料

Built with VitePress | Software Systems Atlas