前置知识: 概率论与数理统计

估计量的评选标准

8 minIntermediate2026/6/14

无偏性、有效性、一致性（相合性）的定义与判定。

1. 无偏性

1.1 定义

设 θ^\hat{\theta} 是参数 θ\theta 的估计量，若对一切 θ∈Θ\theta \in \Theta，有

E(θ^)=θE(\hat{\theta}) = \theta

则称 θ^\hat{\theta} 是 θ\theta 的无偏估计量（或无偏估计）。

若 E(θ^)≠θE(\hat{\theta}) \neq \theta，则称 θ^\hat{\theta} 是 θ\theta 的有偏估计，E(θ^)−θE(\hat{\theta}) - \theta 称为偏差。

1.2 渐近无偏性

若 lim⁡n→∞E(θ^n)=θ\lim_{n \to \infty} E(\hat{\theta}_n) = \theta，则称 θ^n\hat{\theta}_n 是 θ\theta 的渐近无偏估计。

1.3 常见估计的无偏性

样本均值：E(Xˉ)=μE(\bar{X}) = \mu，Xˉ\bar{X} 是 μ\mu 的无偏估计。

样本方差：E(S2)=σ2E(S^2) = \sigma^2，S2S^2 是 σ2\sigma^2 的无偏估计。

二阶中心矩：E(B2)=E(1n∑(Xi−Xˉ)2)=n−1nσ2E(B_2) = E\left(\dfrac{1}{n}\sum(X_i - \bar{X})^2\right) = \dfrac{n-1}{n}\sigma^2，B2B_2 不是 σ2\sigma^2 的无偏估计，但渐近无偏。

1.4 无偏性的意义

无偏性意味着估计量在大量重复使用时，平均来说没有系统偏差。

1.5 无偏性不唯一

同一个参数可以有无穷多个无偏估计。例如，Xˉ\bar{X} 是 μ\mu 的无偏估计，X1X_1 也是 μ\mu 的无偏估计。

2. 有效性

2.1 定义

设 θ^1\hat{\theta}_1 和 θ^2\hat{\theta}_2 都是 θ\theta 的无偏估计，若对一切 θ∈Θ\theta \in \Theta，有

D(θ^1)≤D(θ^2)D(\hat{\theta}_1) \leq D(\hat{\theta}_2)

且至少存在一个 θ\theta 使不等号严格成立，则称 θ^1\hat{\theta}_1 比 θ^2\hat{\theta}_2 有效。

2.2 最小方差无偏估计（MVUE）

若 θ^∗\hat{\theta}^* 是 θ\theta 的无偏估计，且对 θ\theta 的任何无偏估计 θ^\hat{\theta}，都有

D(θ^∗)≤D(θ^)D(\hat{\theta}^*) \leq D(\hat{\theta})

则称 θ^∗\hat{\theta}^* 为 θ\theta 的最小方差无偏估计（MVUE）。

2.3 克拉默-拉奥下界（C-R 下界）

设总体 XX 的密度函数为 f(x;θ)f(x; \theta)，满足一定正则条件，则 θ\theta 的任何无偏估计 θ^\hat{\theta} 的方差满足

D(θ^)≥1nI(θ)D(\hat{\theta}) \geq \frac{1}{nI(\theta)}

其中

I(θ)=E[(∂ln⁡f(X;θ)∂θ)2]=−E[∂2ln⁡f(X;θ)∂θ2]I(\theta) = E\left[\left(\frac{\partial \ln f(X; \theta)}{\partial \theta}\right)^2\right] = -E\left[\frac{\partial^2 \ln f(X; \theta)}{\partial \theta^2}\right]

称为 Fisher 信息量。

若某个无偏估计的方差达到 C-R 下界，则它一定是 MVUE。

2.4 示例

例题：设 X1,⋯ ,Xn∼N(μ,σ2)X_1, \cdots, X_n \sim N(\mu, \sigma^2)，比较 Xˉ\bar{X} 和 X1X_1 作为 μ\mu 的估计的有效性。

解：两者都是 μ\mu 的无偏估计。

D(Xˉ)=σ2n,D(X1)=σ2D(\bar{X}) = \frac{\sigma^2}{n}, \quad D(X_1) = \sigma^2

当 n>1n > 1 时，D(Xˉ)<D(X1)D(\bar{X}) < D(X_1)，故 Xˉ\bar{X} 比 X1X_1 有效。

3. 一致性（相合性）

3.1 定义

设 θ^n\hat{\theta}_n 是参数 θ\theta 的估计量，若对任意 ε>0\varepsilon > 0，

lim⁡n→∞P(∣θ^n−θ∣<ε)=1\lim_{n \to \infty} P(|\hat{\theta}_n - \theta| < \varepsilon) = 1

即 θ^n→Pθ\hat{\theta}_n \xrightarrow{P} \theta，则称 θ^n\hat{\theta}_n 是 θ\theta 的一致估计（或相合估计）。

3.2 一致性的判定

定理：若 θ^n\hat{\theta}_n 是 θ\theta 的渐近无偏估计，且 lim⁡n→∞D(θ^n)=0\lim_{n \to \infty} D(\hat{\theta}_n) = 0，则 θ^n\hat{\theta}_n 是 θ\theta 的一致估计。

证明：由切比雪夫不等式，P(∣θ^n−E(θ^n)∣≥ε)≤D(θ^n)ε2→0P(|\hat{\theta}_n - E(\hat{\theta}_n)| \geq \varepsilon) \leq \dfrac{D(\hat{\theta}_n)}{\varepsilon^2} \to 0。

再由 E(θ^n)→θE(\hat{\theta}_n) \to \theta，可得 θ^n→Pθ\hat{\theta}_n \xrightarrow{P} \theta。

3.3 常见估计的一致性

  • Xˉ\bar{X} 是 μ\mu 的一致估计（由大数定律）
  • S2S^2 是 σ2\sigma^2 的一致估计
  • AkA_k 是 μk\mu_k 的一致估计

3.4 一致性的意义

一致性是最基本的要求：当样本量增大时，估计量应越来越接近真实参数。如果一个估计量不是一致的，则增大样本量也不能改善估计精度。

4. 三个标准的关系

4.1 优先级

  1. 一致性是最基本的要求（大样本性质）
  2. 无偏性是中等要求（消除系统偏差）
  3. 有效性是更高要求（在无偏估计中选最优）

4.2 三个标准的比较

标准性质样本量要求
无偏性期望等于真值有限样本
有效性方差最小有限样本
一致性依概率收敛大样本

4.3 均方误差

MSE(θ^)=E(θ^−θ)2=D(θ^)+[E(θ^)−θ]2=D(θ^)+偏差2\text{MSE}(\hat{\theta}) = E(\hat{\theta} - \theta)^2 = D(\hat{\theta}) + [E(\hat{\theta}) - \theta]^2 = D(\hat{\theta}) + \text{偏差}^2

MSE 综合考虑了偏差和方差，是评价估计量的更全面指标。有时一个有偏估计的 MSE 可能比无偏估计更小（偏差-方差权衡）。