贝叶斯公式

1. 全概率公式

1.1 样本空间的分割

设 $\Omega$ 为样本空间，$B_1,B_2,\cdots ,B_n$ 为一组事件，若满足：

1. $B_i{B}_j=\varnothing$（$i\ne j$），即两两互斥
2. ${\bigcup }_{i=1}^n{B}_i=\Omega$
3. $P(B_i)>0$（$i=1,2,\cdots ,n$）

则称 $B_1,B_2,\cdots ,B_n$ 为样本空间 $\Omega$ 的一个分割（或完备事件组）。

1.2 全概率公式

设 $B_1,B_2,\cdots ,B_n$ 为样本空间 $\Omega$ 的一个分割，则对任意事件 $A$，有

$P(A)={\sum }_{i=1}^{n}P(B_i)P(A\mid B_i)$

证明：

$A=A\Omega =A\left({\bigcup }_{i=1}^n{B}_i\right)={\bigcup }_{i=1}^{n}A{B}_i$

由于 $B_1,B_2,\cdots ,B_n$ 两两互斥，故 $A{B}_1,A{B}_2,\cdots ,A{B}_n$ 也两两互斥，由概率的有限可加性：

$P(A)={\sum }_{i=1}^{n}P(A{B}_i)={\sum }_{i=1}^{n}P(B_i)P(A\mid B_i)$

1.3 全概率公式的直观理解

全概率公式的核心思想是化整为零：将复杂事件 $A$ 的概率分解为在各种”原因” $B_i$ 下条件概率的加权平均，权重即为各”原因”的概率 $P(B_i)$。

1.4 全概率公式的应用

例题：某工厂有甲、乙、丙三条生产线生产同一种产品，产量分别占总产量的 25%、35%、40%，且各条生产线的次品率分别为 5%、4%、2%。现从总产品中任取一件，求取到次品的概率。

解：设 $A$ 为”取到次品”，$B_1,B_2,B_3$ 分别为”取到甲、乙、丙生产线的产品”，则

$P(A)=P(B_1)P(A\mid B_1)+P(B_2)P(A\mid B_2)+P(B_3)P(A\mid B_3)$

$=0.25\times 0.05+0.35\times 0.04+0.40\times 0.02=0.0125+0.014+0.008=0.0345$

2. 贝叶斯公式

2.1 贝叶斯公式的表述

设 $B_1,B_2,\cdots ,B_n$ 为样本空间 $\Omega$ 的一个分割，$A$ 为任意事件且 $P(A)>0$，则

$P(B_k\mid A)=\frac{P(B_k)P(A\mid B_k)}{{\sum }_{i=1}^{n}P(B_i)P(A\mid B_i)},k=1,2,\cdots ,n$

证明：由条件概率定义和乘法公式：

$P(B_k\mid A)=\frac{P(B_{k}A)}{P(A)}=\frac{P(B_k)P(A\mid B_k)}{P(A)}$

分母用全概率公式展开即得。

2.2 贝叶斯公式的直观理解

贝叶斯公式体现了由果溯因的思想：

• $P(B_k)$：先验概率——在观察到结果 $A$ 之前，原因 $B_k$ 的概率
• $P(A\mid B_k)$：似然函数——在原因 $B_k$ 下，结果 $A$ 出现的概率
• $P(B_k\mid A)$：后验概率——观察到结果 $A$ 之后，原因 $B_k$ 的概率

贝叶斯公式描述了从先验概率到后验概率的更新过程：

$\text{后验概率}=\frac{\text{先验概率}\times \text{似然函数}}{\text{全概率（归一化常数）}}$

2.3 两个事件的贝叶斯公式

当 $n=2$ 时，$B$ 和 $\bar{B}$ 构成 $\Omega$ 的分割：

$P(B\mid A)=\frac{P(B)P(A\mid B)}{P(B)P(A\mid B)+P(\bar{B})P(A\mid \bar{B})}$

3. 贝叶斯公式的典型应用

3.1 医学检验问题

问题：某种疾病的患病率为 0.1%，现有一种检测方法，其灵敏度为 99%（即患者中 99% 检测为阳性），特异度为 95%（即非患者中 95% 检测为阴性）。现某人检测为阳性，求其确实患病的概率。

解：设 $D$ 为”患病”，$\bar{D}$ 为”未患病”，$+$ 为”检测阳性”。

已知：$P(D)=0.001$，$P(+\mid D)=0.99$，$P(-\mid \bar{D})=0.95$

$P(D\mid +)=\frac{P(D)P(+\mid D)}{P(D)P(+\mid D)+P(\bar{D})P(+\mid \bar{D})}$

$=\frac{0.001\times 0.99}{0.001\times 0.99+0.999\times 0.05}=\frac{0.00099}{0.00099+0.04995}=\frac{0.00099}{0.05094}\approx 0.0194$

虽然检测方法的灵敏度和特异度都很高，但由于患病率极低，阳性结果中真正患病的概率仅约 1.94%。

3.2 信号检测问题

问题：在通信系统中，发送端以概率 0.6 发送信号 0，以概率 0.4 发送信号 1。由于信道噪声，发送 0 时接收为 1 的概率为 0.2，发送 1 时接收为 0 的概率为 0.1。若接收端收到信号 1，求发送端确实发送了 1 的概率。

解：设 $S_0,S_1$ 分别表示发送 0 和 1，$R_0,R_1$ 分别表示接收 0 和 1。

$P(S_1\mid R_1)=\frac{P(S_1)P(R_1\mid S_1)}{P(S_0)P(R_1\mid S_0)+P(S_1)P(R_1\mid S_1)}$

$=\frac{0.4\times 0.9}{0.6\times 0.2+0.4\times 0.9}=\frac{0.36}{0.12+0.36}=\frac{0.36}{0.48}=0.75$

3.3 产品来源追溯

问题：某商店从甲、乙两厂采购同种商品，甲厂占 60%，乙厂占 40%。甲厂次品率为 2%，乙厂次品率为 1%。现发现一件次品，求该次品来自甲厂的概率。

解：

$P(\text{甲}\mid \text{次品})=\frac{0.6\times 0.02}{0.6\times 0.02+0.4\times 0.01}=\frac{0.012}{0.012+0.004}=\frac{0.012}{0.016}=0.75$

4. 贝叶斯公式的推广

4.1 序贯贝叶斯更新

若连续获得多个观察结果 $A_1,A_2,\cdots ,A_m$，则后验概率可以序贯更新：

$P(B_k\mid A_1{A}_2\cdots A_m)=\frac{P(B_k)P(A_1{A}_2\cdots A_m\mid B_k)}{{\sum }_{i=1}^{n}P(B_i)P(A_1{A}_2\cdots A_m\mid B_i)}$

若 $A_1,A_2,\cdots ,A_m$ 在给定 $B_k$ 的条件下条件独立，则

$P(A_1{A}_2\cdots A_m\mid B_k)={\prod }_{j=1}^{m}P(A_j\mid B_k)$

4.2 贝叶斯公式与决策论

贝叶斯公式是贝叶斯决策论的基础。在统计决策中，选择使后验期望损失最小的行动。

4.3 贝叶斯学派与频率学派

• 频率学派：概率是长期频率的极限，参数是固定但未知的常数
• 贝叶斯学派：概率是主观信念的度量，参数是随机变量，有先验分布

贝叶斯公式是贝叶斯统计推断的核心工具，它将先验信息与样本信息结合，得到后验分布。