贝叶斯公式

1. 全概率公式

1.1 样本空间的分割

设 $\Omega$ 为样本空间，$B_1, B_2, \cdots, B_n$ 为一组事件，若满足：

1. $B_i B_j = \varnothing$（$i \neq j$），即两两互斥
2. $\bigcup_{i=1}^{n} B_i = \Omega$
3. $P(B_i) > 0$（$i = 1, 2, \cdots, n$）

则称 $B_1, B_2, \cdots, B_n$ 为样本空间 $\Omega$ 的一个分割（或完备事件组）。

1.2 全概率公式

设 $B_1, B_2, \cdots, B_n$ 为样本空间 $\Omega$ 的一个分割，则对任意事件 $A$，有

$P(A) = \sum_{i=1}^{n} P(B_i) P(A \mid B_i)$

证明：

$A = A\Omega = A\left(\bigcup_{i=1}^{n} B_i\right) = \bigcup_{i=1}^{n} AB_i$

由于 $B_1, B_2, \cdots, B_n$ 两两互斥，故 $AB_1, AB_2, \cdots, AB_n$ 也两两互斥，由概率的有限可加性：

$P(A) = \sum_{i=1}^{n} P(AB_i) = \sum_{i=1}^{n} P(B_i) P(A \mid B_i)$

1.3 全概率公式的直观理解

全概率公式的核心思想是化整为零：将复杂事件 $A$ 的概率分解为在各种”原因” $B_i$ 下条件概率的加权平均，权重即为各”原因”的概率 $P(B_i)$。

1.4 全概率公式的应用

例题：某工厂有甲、乙、丙三条生产线生产同一种产品，产量分别占总产量的 25%、35%、40%，且各条生产线的次品率分别为 5%、4%、2%。现从总产品中任取一件，求取到次品的概率。

解：设 $A$ 为”取到次品”，$B_1, B_2, B_3$ 分别为”取到甲、乙、丙生产线的产品”，则

$P(A) = P(B_1)P(A \mid B_1) + P(B_2)P(A \mid B_2) + P(B_3)P(A \mid B_3)$

$= 0.25 \times 0.05 + 0.35 \times 0.04 + 0.40 \times 0.02 = 0.0125 + 0.014 + 0.008 = 0.0345$

2. 贝叶斯公式

2.1 贝叶斯公式的表述

设 $B_1, B_2, \cdots, B_n$ 为样本空间 $\Omega$ 的一个分割，$A$ 为任意事件且 $P(A) > 0$，则

$P(B_k \mid A) = \frac{P(B_k) P(A \mid B_k)}{\sum_{i=1}^{n} P(B_i) P(A \mid B_i)}, \quad k = 1, 2, \cdots, n$

证明：由条件概率定义和乘法公式：

$P(B_k \mid A) = \frac{P(B_k A)}{P(A)} = \frac{P(B_k) P(A \mid B_k)}{P(A)}$

分母用全概率公式展开即得。

2.2 贝叶斯公式的直观理解

贝叶斯公式体现了由果溯因的思想：

• $P(B_k)$：先验概率——在观察到结果 $A$ 之前，原因 $B_k$ 的概率
• $P(A \mid B_k)$：似然函数——在原因 $B_k$ 下，结果 $A$ 出现的概率
• $P(B_k \mid A)$：后验概率——观察到结果 $A$ 之后，原因 $B_k$ 的概率

贝叶斯公式描述了从先验概率到后验概率的更新过程：

$\text{后验概率} = \frac{\text{先验概率} \times \text{似然函数}}{\text{全概率（归一化常数）}}$

2.3 两个事件的贝叶斯公式

当 $n = 2$ 时，$B$ 和 $\bar{B}$ 构成 $\Omega$ 的分割：

$P(B \mid A) = \frac{P(B) P(A \mid B)}{P(B) P(A \mid B) + P(\bar{B}) P(A \mid \bar{B})}$

3. 贝叶斯公式的典型应用

3.1 医学检验问题

问题：某种疾病的患病率为 0.1%，现有一种检测方法，其灵敏度为 99%（即患者中 99% 检测为阳性），特异度为 95%（即非患者中 95% 检测为阴性）。现某人检测为阳性，求其确实患病的概率。

解：设 $D$ 为”患病”，$\bar{D}$ 为”未患病”，$+$ 为”检测阳性”。

已知：$P(D) = 0.001$，$P(+ \mid D) = 0.99$，$P(- \mid \bar{D}) = 0.95$

$P(D \mid +) = \frac{P(D) P(+ \mid D)}{P(D) P(+ \mid D) + P(\bar{D}) P(+ \mid \bar{D})}$

$= \frac{0.001 \times 0.99}{0.001 \times 0.99 + 0.999 \times 0.05} = \frac{0.00099}{0.00099 + 0.04995} = \frac{0.00099}{0.05094} \approx 0.0194$

虽然检测方法的灵敏度和特异度都很高，但由于患病率极低，阳性结果中真正患病的概率仅约 1.94%。

3.2 信号检测问题

问题：在通信系统中，发送端以概率 0.6 发送信号 0，以概率 0.4 发送信号 1。由于信道噪声，发送 0 时接收为 1 的概率为 0.2，发送 1 时接收为 0 的概率为 0.1。若接收端收到信号 1，求发送端确实发送了 1 的概率。

解：设 $S_0, S_1$ 分别表示发送 0 和 1，$R_0, R_1$ 分别表示接收 0 和 1。

$P(S_1 \mid R_1) = \frac{P(S_1) P(R_1 \mid S_1)}{P(S_0) P(R_1 \mid S_0) + P(S_1) P(R_1 \mid S_1)}$

$= \frac{0.4 \times 0.9}{0.6 \times 0.2 + 0.4 \times 0.9} = \frac{0.36}{0.12 + 0.36} = \frac{0.36}{0.48} = 0.75$

3.3 产品来源追溯

问题：某商店从甲、乙两厂采购同种商品，甲厂占 60%，乙厂占 40%。甲厂次品率为 2%，乙厂次品率为 1%。现发现一件次品，求该次品来自甲厂的概率。

解：

$P(\text{甲} \mid \text{次品}) = \frac{0.6 \times 0.02}{0.6 \times 0.02 + 0.4 \times 0.01} = \frac{0.012}{0.012 + 0.004} = \frac{0.012}{0.016} = 0.75$

4. 贝叶斯公式的推广

4.1 序贯贝叶斯更新

若连续获得多个观察结果 $A_1, A_2, \cdots, A_m$，则后验概率可以序贯更新：

$P(B_k \mid A_1 A_2 \cdots A_m) = \frac{P(B_k) P(A_1 A_2 \cdots A_m \mid B_k)}{\sum_{i=1}^{n} P(B_i) P(A_1 A_2 \cdots A_m \mid B_i)}$

若 $A_1, A_2, \cdots, A_m$ 在给定 $B_k$ 的条件下条件独立，则

$P(A_1 A_2 \cdots A_m \mid B_k) = \prod_{j=1}^{m} P(A_j \mid B_k)$

4.2 贝叶斯公式与决策论

贝叶斯公式是贝叶斯决策论的基础。在统计决策中，选择使后验期望损失最小的行动。

4.3 贝叶斯学派与频率学派

• 频率学派：概率是长期频率的极限，参数是固定但未知的常数
• 贝叶斯学派：概率是主观信念的度量，参数是随机变量，有先验分布

贝叶斯公式是贝叶斯统计推断的核心工具，它将先验信息与样本信息结合，得到后验分布。