相关系数

1. 相关系数的定义

1.1 定义

设 $X$ 和 $Y$ 是两个随机变量，且 $D(X)>0$，$D(Y)>0$，则称

${\rho }_{XY}=\frac{\text{Cov}(X,Y)}{\sqrt{D(X)}\cdot \sqrt{D(Y)}}=\frac{E[X-E(X)][Y-E(Y)]}{\sqrt{D(X)}\cdot \sqrt{D(Y)}}$

为 $X$ 与 $Y$ 的相关系数（或皮尔逊相关系数）。

1.2 标准化变量的协方差

${\rho }_{XY}=\text{Cov}\left(X^{\ast },Y^{\ast }\right)$

其中 $X^{\ast }=\frac{X-E(X)}{\sqrt{D(X)}}$，$Y^{\ast }=\frac{Y-E(Y)}{\sqrt{D(Y)}}$ 为标准化变量。

相关系数就是标准化变量的协方差。

2. 相关系数的性质

2.1 基本性质

1. 有界性：$|{\rho }_{XY}|\le 1$

2. 对称性：${\rho }_{XY}={\rho }_{YX}$

3. 线性变换不变性：${\rho }_{aX+b,cY+d}=\text{sgn}(ac)\cdot {\rho }_{XY}$

   特别地，${\rho }_{aX,aY}={\rho }_{XY}$（$a>0$）

4. $|\rho |=1$ 的条件：$|{\rho }_{XY}|=1⟺$ 存在常数 $a,b$（$a\ne 0$），使得 $P(Y=aX+b)=1$

   • $\rho =1$：$a>0$（完全正相关）
   • $\rho =-1$：$a<0$（完全负相关）

5. $\rho =0$ 的条件：${\rho }_{XY}=0⟺\text{Cov}(X,Y)=0⟺E(XY)=E(X)E(Y)$

2.2 有界性的证明

由柯西-施瓦茨不等式：

$[E(XY){]}^2\le E(X^2)\cdot E(Y^2)$

令 $U=X-E(X)$，$V=Y-E(Y)$，则

$[\text{Cov}(X,Y){]}^2=[E(UV){]}^2\le E(U^2)\cdot E(V^2)=D(X)\cdot D(Y)$

${\rho }_{XY}^2=\frac{[\text{Cov}(X,Y){]}^2}{D(X)\cdot D(Y)}\le 1$

2.3 $|\rho |=1$ 的证明

$|{\rho }_{XY}|=1⟺[E(UV){]}^2=E(U^2)E(V^2)⟺$ 存在常数 $a$，使得 $P(V=aU)=1$

即 $P(Y-E(Y)=a[X-E(X)])=1$，亦即 $P(Y=aX+b)=1$，其中 $b=E(Y)-aE(X)$。

3. 相关系数的意义

3.1 线性相关程度

相关系数衡量的是两个随机变量之间的线性相关程度：

3.2 相关系数与因果关系

重要：相关不等于因果。$\rho \ne 0$ 只说明 $X$ 与 $Y$ 存在线性关系，不能说明因果关系。

3.3 相关系数的局限

1. 只衡量线性关系，不反映非线性关系
2. 对异常值敏感
3. $\rho =0$ 不意味着 $X$ 与 $Y$ 没有关系，只是没有线性关系

4. 相关系数与独立性

4.1 关系

• 独立 $\Rightarrow$ 不相关（$\rho =0$）
• 不相关 $\nRightarrow$ 独立
• 二维正态：不相关 $⟺$ 独立

4.2 不相关但不独立的例子

例1：设 $\Theta \sim U(0,2\pi )$，$X=\cos \Theta$，$Y=\sin \Theta$。

$E(X)=E(\cos \Theta )=0,E(Y)=E(\sin \Theta )=0$

$E(XY)=E(\cos \Theta \sin \Theta )=\frac{1}{2}E(\sin 2\Theta )=0$

$\text{Cov}(X,Y)=0,\rho =0$

但 $X^2+Y^2=1$，$X$ 与 $Y$ 显然不独立。

例2：设 $X\sim N(0,1)$，$Y=X^2$。

$E(XY)=E(X^3)=0=E(X)E(Y)=0$

$\rho =0$，但 $Y$ 完全由 $X$ 决定。

5. 相关系数的计算

5.1 计算步骤

1. 计算 $E(X)$，$E(Y)$
2. 计算 $E(XY)$
3. 计算 $\text{Cov}(X,Y)=E(XY)-E(X)E(Y)$
4. 计算 $D(X)$，$D(Y)$
5. 计算 ${\rho }_{XY}=\frac{\text{Cov}(X,Y)}{\sqrt{D(X)D(Y)}}$

5.2 示例

例题：设 $(X,Y)$ 的联合分布律为：

求 ${\rho }_{XY}$。

解：

$E(X)=\frac{1}{2}$，$E(Y)=\frac{1}{2}$

$E(XY)=0\times 0\times \frac{1}{4}+0\times 1\times \frac{1}{4}+1\times 0\times \frac{1}{4}+1\times 1\times \frac{1}{4}=\frac{1}{4}$

$\text{Cov}(X,Y)=\frac{1}{4}-\frac{1}{2}\times \frac{1}{2}=0$

${\rho }_{XY}=0$

$X$ 与 $Y$ 不相关。实际上可以验证 $X$ 与 $Y$ 独立。

6. 其他相关系数

6.1 秩相关系数（斯皮尔曼）

对数据的秩（排名）计算相关系数，适用于非线性单调关系。

6.2 肯德尔秩相关系数

基于一致对和不一致对的数量，适用于序数数据。

6.3 点双列相关

用于一个连续变量和一个二分类变量之间的相关。