大数定律

1. 大数定律的直观理解

大数定律表明：大量独立重复试验中，事件发生的频率稳定于其概率，随机变量的算术平均稳定于其期望。

这是概率论的理论基础，也是统计推断的依据。

2. 切比雪夫大数定律

2.1 定理

设 $X_1,X_2,\cdots$ 为相互独立的随机变量序列，若 $E(X_i)={\mu }_i$，$D(X_i)={\sigma }_i^2$ 都存在，且方差一致有界，即存在 $C>0$ 使得 ${\sigma }_i^2\le C$（$i=1,2,\cdots$），则对任意 $\epsilon >0$，

${\lim }_{n\to \infty }P\left(\left|\frac{1}{n}{\sum }_{i=1}^n{X}_i-\frac{1}{n}{\sum }_{i=1}^n{\mu }_i\right|<\epsilon \right)=1$

2.2 证明

设 ${\bar{X}}_n=\frac{1}{n}{\sum }_{i=1}^n{X}_i$，则

$E({\bar{X}}_n)=\frac{1}{n}{\sum }_{i=1}^n{\mu }_i,D({\bar{X}}_n)=\frac{1}{n^2}{\sum }_{i=1}^n{\sigma }_i^2\le \frac{C}{n}$

由切比雪夫不等式：

$P(|{\bar{X}}_n-E({\bar{X}}_n)|\ge \epsilon )\le \frac{D({\bar{X}}_n)}{{\epsilon }^2}\le \frac{C}{n{\epsilon }^2}\to 0(n\to \infty )$

2.3 特殊情形

若 $X_1,X_2,\cdots$ 独立同分布，$E(X_i)=\mu$，$D(X_i)={\sigma }^2$，则

${\lim }_{n\to \infty }P\left(\left|\frac{1}{n}{\sum }_{i=1}^n{X}_i-\mu \right|<\epsilon \right)=1$

即 ${\bar{X}}_n\stackrel{P}{\to }\mu$。

3. 伯努利大数定律

3.1 定理

设 $n_A$ 为 $n$ 次独立试验中事件 $A$ 发生的次数，$p$ 为每次试验中 $A$ 发生的概率，则对任意 $\epsilon >0$，

${\lim }_{n\to \infty }P\left(\left|\frac{n_A}{n}-p\right|<\epsilon \right)=1$

3.2 证明

设 $X_i$ 为第 $i$ 次试验中 $A$ 是否发生的指示变量，则 $n_A={\sum }_{i=1}^n{X}_i$，$X_i\sim B(1,p)$。

由切比雪夫大数定律（独立同分布情形）即得。

3.3 意义

伯努利大数定律表明：频率稳定于概率。这是用频率估计概率的理论依据。

4. 辛钦大数定律

4.1 定理

设 $X_1,X_2,\cdots$ 为独立同分布的随机变量序列，若 $E(X_i)=\mu$ 存在，则对任意 $\epsilon >0$，

${\lim }_{n\to \infty }P\left(\left|\frac{1}{n}{\sum }_{i=1}^n{X}_i-\mu \right|<\epsilon \right)=1$

4.2 与切比雪夫大数定律的区别

• 切比雪夫大数定律要求方差存在且一致有界
• 辛钦大数定律只要求期望存在，不要求方差存在
• 辛钦大数定律要求独立同分布

4.3 辛钦大数定律的证明思路

利用特征函数的方法：设 $X_i$ 的特征函数为 $\phi (t)$，则 ${\bar{X}}_n$ 的特征函数为

${\phi }_{{\bar{X}}_n}(t)={\left[\phi \left(\frac{t}{n}\right)\right]}^n$

由于 $\phi (t)=1+i\mu t+o(t)$（$t\to 0$），故

${\phi }_{{\bar{X}}_n}(t)={\left[1+\frac{i\mu t}{n}+o\left(\frac{1}{n}\right)\right]}^n\to e^{i\mu t}$

而 $e^{i\mu t}$ 是常数 $\mu$ 的特征函数，由特征函数的连续性定理，${\bar{X}}_n\stackrel{P}{\to }\mu$。

5. 收敛性的概念

5.1 依概率收敛

设 $X_1,X_2,\cdots$ 为随机变量序列，$X$ 为随机变量，若对任意 $\epsilon >0$，

${\lim }_{n\to \infty }P(|X_n-X|<\epsilon )=1$

则称 $X_n$ 依概率收敛于 $X$，记作 $X_n\stackrel{P}{\to }X$。

5.2 几乎必然收敛

若 $P\left({\lim }_{n\to \infty }{X}_n=X\right)=1$，则称 $X_n$ 几乎必然收敛于 $X$，记作 $X_n\stackrel{a.s.}{\to }X$。

5.3 收敛的关系

几乎必然收敛 $\Rightarrow$ 依概率收敛，反之不成立。

大数定律中的收敛是依概率收敛（弱大数定律）或几乎必然收敛（强大数定律）。

6. 大数定律的应用

6.1 蒙特卡洛方法

设 $E(g(X))=I$，由辛钦大数定律：

$\frac{1}{n}{\sum }_{i=1}^{n}g(X_i)\stackrel{P}{\to }I$

其中 $X_1,X_2,\cdots$ 独立同分布。这就是蒙特卡洛积分的原理。

6.2 经验分布函数

设 $F_n(x)=\frac{1}{n}{\sum }_{i=1}^{n}I(X_i\le x)$ 为经验分布函数，由伯努利大数定律：

$F_n(x)\stackrel{P}{\to }F(x)$

6.3 统计推断的基础

大数定律保证了样本均值是总体均值的一致估计，这是参数估计的理论基础。