前置知识: 概率论与数理统计

点估计

9 minIntermediate2026/6/14

矩估计法、极大似然估计法的原理与计算、点估计的评价标准。

1. 点估计的概念

1.1 定义

设总体 XX 的分布函数 F(x;θ)F(x; \theta) 中含有未知参数 θ\theta（可以是向量），X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n 为样本，构造统计量 θ^=θ^(X1,X2,⋯ ,Xn)\hat{\theta} = \hat{\theta}(X_1, X_2, \cdots, X_n) 来估计 θ\theta，称 θ^\hat{\theta} 为 θ\theta 的点估计量（或估计量）。

将样本观测值代入后得到的值 θ^(x1,x2,⋯ ,xn)\hat{\theta}(x_1, x_2, \cdots, x_n) 称为估计值。

1.2 点估计的基本问题

  1. 如何构造估计量？（方法问题）
  2. 如何评价估计量的好坏？（准则问题）

2. 矩估计法

2.1 基本思想

由大数定律，样本矩依概率收敛于总体矩。因此，用样本矩代替总体矩来估计未知参数。

2.2 矩估计的步骤

设总体 XX 有 kk 个未知参数 θ1,θ2,⋯ ,θk\theta_1, \theta_2, \cdots, \theta_k：

  1. 求出总体 XX 的前 kk 阶原点矩 μ1,μ2,⋯ ,μk\mu_1, \mu_2, \cdots, \mu_k（用 θ1,⋯ ,θk\theta_1, \cdots, \theta_k 表示）
  2. 令样本矩等于总体矩：

Aj=μj(θ1,θ2,⋯ ,θk),j=1,2,⋯ ,kA_j = \mu_j(\theta_1, \theta_2, \cdots, \theta_k), \quad j = 1, 2, \cdots, k

  1. 解方程组得到 θ^1,θ^2,⋯ ,θ^k\hat{\theta}_1, \hat{\theta}_2, \cdots, \hat{\theta}_k

2.3 矩估计的示例

例题1：设 X∼U(a,b)X \sim U(a, b)，a,ba, b 未知，求 a,ba, b 的矩估计。

解：

μ1=E(X)=a+b2,μ2=E(X2)=a2+ab+b23\mu_1 = E(X) = \frac{a + b}{2}, \quad \mu_2 = E(X^2) = \frac{a^2 + ab + b^2}{3}

A1=Xˉ,A2=1n∑i=1nXi2A_1 = \bar{X}, \quad A_2 = \frac{1}{n}\sum_{i=1}^n X_i^2

由 μ1=A1\mu_1 = A_1 和 μ2=A2\mu_2 = A_2：

a+b2=Xˉ,(b−a)212=1n∑Xi2−Xˉ2=n−1nS2\frac{a + b}{2} = \bar{X}, \quad \frac{(b-a)^2}{12} = \frac{1}{n}\sum X_i^2 - \bar{X}^2 = \frac{n-1}{n}S^2

解得：

a^=Xˉ−3⋅n−1nS2,b^=Xˉ+3⋅n−1nS2\hat{a} = \bar{X} - \sqrt{3 \cdot \frac{n-1}{n}S^2}, \quad \hat{b} = \bar{X} + \sqrt{3 \cdot \frac{n-1}{n}S^2}

例题2：设 X∼B(N,p)X \sim B(N, p)，NN 已知，pp 未知，求 pp 的矩估计。

解：E(X)=Np=XˉE(X) = Np = \bar{X}，故 p^=XˉN\hat{p} = \dfrac{\bar{X}}{N}。

3. 极大似然估计法

3.1 基本思想

选择使样本观测值出现概率最大的参数值作为估计值。

3.2 似然函数

设总体 XX 的密度函数（或分布律）为 f(x;θ)f(x; \theta)，θ∈Θ\theta \in \Theta，则样本 X1,⋯ ,XnX_1, \cdots, X_n 的似然函数为

L(θ)=L(x1,x2,⋯ ,xn;θ)=∏i=1nf(xi;θ)L(\theta) = L(x_1, x_2, \cdots, x_n; \theta) = \prod_{i=1}^n f(x_i; \theta)

3.3 极大似然估计

若存在 θ^=θ^(x1,⋯ ,xn)\hat{\theta} = \hat{\theta}(x_1, \cdots, x_n) 使得

L(θ^)=max⁡θ∈ΘL(θ)L(\hat{\theta}) = \max_{\theta \in \Theta} L(\theta)

则称 θ^\hat{\theta} 为 θ\theta 的极大似然估计（MLE）。

3.4 对数似然函数

由于 ln⁡L\ln L 是 LL 的单调递增函数，ln⁡L\ln L 和 LL 在同一点取最大值，故通常对对数似然函数求极值：

ln⁡L(θ)=∑i=1nln⁡f(xi;θ)\ln L(\theta) = \sum_{i=1}^n \ln f(x_i; \theta)

3.5 求极大似然估计的步骤

  1. 写出似然函数 L(θ)L(\theta)
  2. 取对数 ln⁡L(θ)\ln L(\theta)
  3. 对 θ\theta 求偏导，令其为零（似然方程）
  4. 解似然方程得 θ^\hat{\theta}

3.6 极大似然估计的示例

例题3：设 X∼N(μ,σ2)X \sim N(\mu, \sigma^2)，μ,σ2\mu, \sigma^2 均未知，求 μ\mu 和 σ2\sigma^2 的 MLE。

解：

L(μ,σ2)=∏i=1n12πσe−(xi−μ)22σ2=(2π)−n/2(σ2)−n/2e−12σ2∑(xi−μ)2L(\mu, \sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x_i - \mu)^2}{2\sigma^2}} = (2\pi)^{-n/2} (\sigma^2)^{-n/2} e^{-\frac{1}{2\sigma^2}\sum(x_i - \mu)^2}

ln⁡L=−n2ln⁡(2π)−n2ln⁡σ2−12σ2∑(xi−μ)2\ln L = -\frac{n}{2}\ln(2\pi) - \frac{n}{2}\ln\sigma^2 - \frac{1}{2\sigma^2}\sum(x_i - \mu)^2

∂ln⁡L∂μ=1σ2∑(xi−μ)=0  ⟹  μ^=xˉ\frac{\partial \ln L}{\partial \mu} = \frac{1}{\sigma^2}\sum(x_i - \mu) = 0 \implies \hat{\mu} = \bar{x}

∂ln⁡L∂σ2=−n2σ2+12σ4∑(xi−μ)2=0  ⟹  σ^2=1n∑(xi−xˉ)2\frac{\partial \ln L}{\partial \sigma^2} = -\frac{n}{2\sigma^2} + \frac{1}{2\sigma^4}\sum(x_i - \mu)^2 = 0 \implies \hat{\sigma}^2 = \frac{1}{n}\sum(x_i - \bar{x})^2

注意：σ^2=n−1nS2\hat{\sigma}^2 = \dfrac{n-1}{n}S^2，不是无偏的。

例题4：设 X∼U(0,θ)X \sim U(0, \theta)，θ\theta 未知，求 θ\theta 的 MLE。

解：

L(θ)={1θn,0<xi<θ,i=1,⋯ ,n0,其他L(\theta) = \begin{cases} \dfrac{1}{\theta^n}, & 0 < x_i < \theta, i = 1, \cdots, n \\ 0, & \text{其他} \end{cases}

L(θ)L(\theta) 在 θ>x(n)\theta > x_{(n)} 时为 1θn\dfrac{1}{\theta^n}，是 θ\theta 的递减函数，故 θ\theta 越小 LL 越大。

但 θ\theta 必须 ≥x(n)\geq x_{(n)}，故 θ^=x(n)=max⁡(x1,⋯ ,xn)\hat{\theta} = x_{(n)} = \max(x_1, \cdots, x_n)。

3.7 极大似然估计的性质

  1. 不变性：若 θ^\hat{\theta} 是 θ\theta 的 MLE，gg 是连续函数，则 g(θ^)g(\hat{\theta}) 是 g(θ)g(\theta) 的 MLE

  2. 渐近正态性：在一定正则条件下，θ^\hat{\theta} 渐近服从 N(θ,1nI(θ))N\left(\theta, \dfrac{1}{nI(\theta)}\right)，其中 I(θ)I(\theta) 为 Fisher 信息量

  3. 相合性：在一定条件下，θ^\hat{\theta} 是 θ\theta 的相合估计