矩与协方差矩阵

1. 矩的概念

1.1 原点矩

设 $X$ 为随机变量，$k$ 为正整数，若 $E(X^k)$ 存在，则称

${\mu }_k=E(X^k)$

为 $X$ 的 $k$ 阶原点矩。

特别地，一阶原点矩 ${\mu }_1=E(X)$ 即为数学期望。

1.2 中心矩

设 $X$ 为随机变量，$k$ 为正整数，若 $E[X-E(X){]}^k$ 存在，则称

${\nu }_k=E[X-E(X){]}^k$

为 $X$ 的 $k$ 阶中心矩。

特别地：

• 一阶中心矩 ${\nu }_1=0$
• 二阶中心矩 ${\nu }_2=D(X)$（方差）

1.3 原点矩与中心矩的关系

由二项展开：

${\nu }_k=E[X-E(X){]}^k={\sum }_{j=0}^k(\genfrac{}{}{0ex}{}{k}{j})(-1{)}^{k-j}{\mu }_j{\mu }_1^{k-j}$

常用关系：

${\nu }_2={\mu }_2-{\mu }_1^2=E(X^2)-[E(X){]}^2=D(X)$

${\nu }_3={\mu }_3-3{\mu }_2{\mu }_1+2{\mu }_1^3$

${\nu }_4={\mu }_4-4{\mu }_3{\mu }_1+6{\mu }_2{\mu }_1^2-3{\mu }_1^4$

1.4 混合矩

设 $X,Y$ 为随机变量，$k,l$ 为非负整数，若 $E(X^k{Y}^l)$ 存在，则称

${\mu }_{k,l}=E(X^k{Y}^l)$

为 $X$ 与 $Y$ 的 $k+l$ 阶混合原点矩。

类似地，混合中心矩为

${\nu }_{k,l}=E[X-E(X){]}^k[Y-E(Y){]}^l$

特别地，${\nu }_{1,1}=\text{Cov}(X,Y)$。

2. 偏度与峰度

2.1 偏度

${\gamma }_1=\frac{{\nu }_3}{{\nu }_2^{3/2}}=\frac{E[X-E(X){]}^3}{[D(X){]}^{3/2}}$

偏度衡量分布的不对称性：

• ${\gamma }_1>0$：右偏（正偏），分布右侧尾部较长
• ${\gamma }_1<0$：左偏（负偏），分布左侧尾部较长
• ${\gamma }_1=0$：对称分布

正态分布的偏度为 0。

2.2 峰度

${\gamma }_2=\frac{{\nu }_4}{{\nu }_2^2}-3=\frac{E[X-E(X){]}^4}{[D(X){]}^2}-3$

峰度衡量分布的尖峰程度（相对于正态分布）：

• ${\gamma }_2>0$：尖峰分布（比正态分布更尖）
• ${\gamma }_2<0$：平坦分布（比正态分布更平）
• ${\gamma }_2=0$：与正态分布相同

正态分布的峰度为 0（因为 $\frac{{\nu }_4}{{\nu }_2^2}=3$）。

3. 协方差矩阵

3.1 定义

设 $n$ 维随机变量 $\mathbf{X}=(X_1,X_2,\cdots ,X_n{)}^T$，令

$c_{ij}=\text{Cov}(X_i,X_j)=E[X_i-E(X_i)][X_j-E(X_j)],i,j=1,2,\cdots ,n$

则矩阵

$\mathbf{C}=(c_{ij}{)}_{n\times n}=\left(\begin{array}{cccc}{c}_{11}& c_{12}& \cdots & c_{1n}\\ c_{21}& c_{22}& \cdots & c_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ c_{n1}& c_{n2}& \cdots & c_{nn}\end{array}\right)$

称为 $\mathbf{X}$ 的协方差矩阵。

3.2 协方差矩阵的表示

$\mathbf{C}=E[(\mathbf{X}-\mathbf{\mu })(\mathbf{X}-\mathbf{\mu }{)}^T]$

其中 $\mathbf{\mu }=E(\mathbf{X})=(E(X_1),E(X_2),\cdots ,E(X_n){)}^T$。

3.3 协方差矩阵的性质

1. 对称性：${\mathbf{C}}^T=\mathbf{C}$（因为 $c_{ij}=c_{ji}$）

2. 半正定性：对任意 $n$ 维向量 $\mathbf{a}$，

${\mathbf{a}}^T\mathbf{Ca}\ge 0$

证明：

${\mathbf{a}}^T\mathbf{Ca}={\mathbf{a}}^{T}E[(\mathbf{X}-\mathbf{\mu })(\mathbf{X}-\mathbf{\mu }{)}^T]\mathbf{a}=E[{\mathbf{a}}^T(\mathbf{X}-\mathbf{\mu })(\mathbf{X}-\mathbf{\mu }{)}^T\mathbf{a}]=E[({\mathbf{a}}^T(\mathbf{X}-\mathbf{\mu }){)}^2]\ge 0$

3. 对角线元素：$c_{ii}=D(X_i)$

4. 线性变换：若 $\mathbf{Y}=\mathbf{AX}+\mathbf{b}$，则

${\mathbf{C}}_Y=\mathbf{A}{\mathbf{C}}_X{\mathbf{A}}^T$

4. 相关矩阵

4.1 定义

$\mathbf{R}=({\rho }_{ij}{)}_{n\times n}$

其中 ${\rho }_{ij}=\frac{c_{ij}}{\sqrt{c_{ii}{c}_{jj}}}$ 为 $X_i$ 与 $X_j$ 的相关系数。

4.2 与协方差矩阵的关系

$\mathbf{R}={\mathbf{D}}^{-1/2}\mathbf{C}{\mathbf{D}}^{-1/2}$

其中 $\mathbf{D}=\text{diag}(c_{11},c_{22},\cdots ,c_{nn})$。

5. 多元正态分布

5.1 定义

设 $\mathbf{X}=(X_1,X_2,\cdots ,X_n{)}^T$ 服从 $n$ 维正态分布，$\mathbf{X}\sim N_n(\mathbf{\mu },\mathbf{\Sigma })$，其密度函数为

$f(\mathbf{x})=\frac{1}{(2\pi {)}^{n/2}|\mathbf{\Sigma }{|}^{1/2}}\exp \left\{-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right\}$

其中 $\mathbf{\mu }$ 为均值向量，$\mathbf{\Sigma }$ 为协方差矩阵（正定）。

5.2 多元正态分布的性质

1. 边缘分布：$\mathbf{X}$ 的任意子向量的边缘分布仍为正态分布

2. 线性变换：若 $\mathbf{Y}=\mathbf{AX}+\mathbf{b}$，则 $\mathbf{Y}\sim N(\mathbf{A}\mathbf{\mu }+\mathbf{b},\mathbf{A}\mathbf{\Sigma }{\mathbf{A}}^T)$

3. 独立与不相关等价：$X_i$ 与 $X_j$ 独立 $⟺$ $\text{Cov}(X_i,X_j)=0$

4. 条件分布：给定部分分量的条件下，其余分量的条件分布仍为正态分布

5.3 二元正态分布

$\mathbf{\mu }=\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\end{array}\right),\mathbf{\Sigma }=\left(\begin{array}{cc}{\sigma }_1^2& \rho {\sigma }_1{\sigma }_2\\ \rho {\sigma }_1{\sigma }_2& {\sigma }_2^2\end{array}\right)$

$|\mathbf{\Sigma }|={\sigma }_1^2{\sigma }_2^2(1-{\rho }^2)$