估计量的评选标准

1. 无偏性

1.1 定义

设 $\hat{\theta }$ 是参数 $\theta$ 的估计量，若对一切 $\theta \in \Theta$，有

$E(\hat{\theta })=\theta$

则称 $\hat{\theta }$ 是 $\theta$ 的无偏估计量（或无偏估计）。

若 $E(\hat{\theta })\ne \theta$，则称 $\hat{\theta }$ 是 $\theta$ 的有偏估计，$E(\hat{\theta })-\theta$ 称为偏差。

1.2 渐近无偏性

若 ${\lim }_{n\to \infty }E({\hat{\theta }}_n)=\theta$，则称 ${\hat{\theta }}_n$ 是 $\theta$ 的渐近无偏估计。

1.3 常见估计的无偏性

样本均值：$E(\bar{X})=\mu$，$\bar{X}$ 是 $\mu$ 的无偏估计。

样本方差：$E(S^2)={\sigma }^2$，$S^2$ 是 ${\sigma }^2$ 的无偏估计。

二阶中心矩：$E(B_2)=E\left(\frac{1}{n}\sum (X_i-\bar{X}{)}^2\right)=\frac{n-1}{n}{\sigma }^2$，$B_2$ 不是 ${\sigma }^2$ 的无偏估计，但渐近无偏。

1.4 无偏性的意义

无偏性意味着估计量在大量重复使用时，平均来说没有系统偏差。

1.5 无偏性不唯一

同一个参数可以有无穷多个无偏估计。例如，$\bar{X}$ 是 $\mu$ 的无偏估计，$X_1$ 也是 $\mu$ 的无偏估计。

2. 有效性

2.1 定义

设 ${\hat{\theta }}_1$ 和 ${\hat{\theta }}_2$ 都是 $\theta$ 的无偏估计，若对一切 $\theta \in \Theta$，有

$D({\hat{\theta }}_1)\le D({\hat{\theta }}_2)$

且至少存在一个 $\theta$ 使不等号严格成立，则称 ${\hat{\theta }}_1$ 比 ${\hat{\theta }}_2$ 有效。

2.2 最小方差无偏估计（MVUE）

若 ${\hat{\theta }}^{\ast }$ 是 $\theta$ 的无偏估计，且对 $\theta$ 的任何无偏估计 $\hat{\theta }$，都有

$D({\hat{\theta }}^{\ast })\le D(\hat{\theta })$

则称 ${\hat{\theta }}^{\ast }$ 为 $\theta$ 的最小方差无偏估计（MVUE）。

2.3 克拉默-拉奥下界（C-R 下界）

设总体 $X$ 的密度函数为 $f(x;\theta )$，满足一定正则条件，则 $\theta$ 的任何无偏估计 $\hat{\theta }$ 的方差满足

$D(\hat{\theta })\ge \frac{1}{nI(\theta )}$

其中

$I(\theta )=E\left[{\left(\frac{\partial \ln f(X;\theta )}{\partial \theta }\right)}^2\right]=-E\left[\frac{{\partial }^2\ln f(X;\theta )}{\partial {\theta }^2}\right]$

称为 Fisher 信息量。

若某个无偏估计的方差达到 C-R 下界，则它一定是 MVUE。

2.4 示例

例题：设 $X_1,\cdots ,X_n\sim N(\mu ,{\sigma }^2)$，比较 $\bar{X}$ 和 $X_1$ 作为 $\mu$ 的估计的有效性。

解：两者都是 $\mu$ 的无偏估计。

$D(\bar{X})=\frac{{\sigma }^2}{n},D(X_1)={\sigma }^2$

当 $n>1$ 时，$D(\bar{X})<D(X_1)$，故 $\bar{X}$ 比 $X_1$ 有效。

3. 一致性（相合性）

3.1 定义

设 ${\hat{\theta }}_n$ 是参数 $\theta$ 的估计量，若对任意 $\epsilon >0$，

${\lim }_{n\to \infty }P(|{\hat{\theta }}_n-\theta |<\epsilon )=1$

即 ${\hat{\theta }}_n\stackrel{P}{\to }\theta$，则称 ${\hat{\theta }}_n$ 是 $\theta$ 的一致估计（或相合估计）。

3.2 一致性的判定

定理：若 ${\hat{\theta }}_n$ 是 $\theta$ 的渐近无偏估计，且 ${\lim }_{n\to \infty }D({\hat{\theta }}_n)=0$，则 ${\hat{\theta }}_n$ 是 $\theta$ 的一致估计。

证明：由切比雪夫不等式，$P(|{\hat{\theta }}_n-E({\hat{\theta }}_n)|\ge \epsilon )\le \frac{D({\hat{\theta }}_n)}{{\epsilon }^2}\to 0$。

再由 $E({\hat{\theta }}_n)\to \theta$，可得 ${\hat{\theta }}_n\stackrel{P}{\to }\theta$。

3.3 常见估计的一致性

• $\bar{X}$ 是 $\mu$ 的一致估计（由大数定律）
• $S^2$ 是 ${\sigma }^2$ 的一致估计
• $A_k$ 是 ${\mu }_k$ 的一致估计

3.4 一致性的意义

一致性是最基本的要求：当样本量增大时，估计量应越来越接近真实参数。如果一个估计量不是一致的，则增大样本量也不能改善估计精度。

4. 三个标准的关系

4.1 优先级

1. 一致性是最基本的要求（大样本性质）
2. 无偏性是中等要求（消除系统偏差）
3. 有效性是更高要求（在无偏估计中选最优）

4.2 三个标准的比较

4.3 均方误差

$\text{MSE}(\hat{\theta })=E(\hat{\theta }-\theta {)}^2=D(\hat{\theta })+[E(\hat{\theta })-\theta {]}^2=D(\hat{\theta })+{\text{偏差}}^2$

MSE 综合考虑了偏差和方差，是评价估计量的更全面指标。有时一个有偏估计的 MSE 可能比无偏估计更小（偏差-方差权衡）。