内积与正交性

1. 内积

1.1 定义

设 $\mathbf{\alpha }=(a_1,a_2,\dots ,a_n{)}^T$，$\mathbf{\beta }=(b_1,b_2,\dots ,b_n{)}^T$ 是 ${\mathbb{R}}^n$ 中的向量，它们的内积（标准内积）定义为：

$(\mathbf{\alpha },\mathbf{\beta })={\mathbf{\alpha }}^T\mathbf{\beta }=a_1{b}_1+a_2{b}_2+\cdots +a_n{b}_n={\sum }_{i=1}^n{a}_i{b}_i$

1.2 内积的性质

1. 对称性：$(\mathbf{\alpha },\mathbf{\beta })=(\mathbf{\beta },\mathbf{\alpha })$
2. 线性性：$(k_1{\mathbf{\alpha }}_1+k_2{\mathbf{\alpha }}_2,\mathbf{\beta })=k_1({\mathbf{\alpha }}_1,\mathbf{\beta })+k_2({\mathbf{\alpha }}_2,\mathbf{\beta })$
3. 正定性：$(\mathbf{\alpha },\mathbf{\alpha })\ge 0$，等号成立当且仅当 $\mathbf{\alpha }=0$

1.3 一般内积

更一般地，设 $A$ 为 $n$ 阶正定矩阵，可以定义加权内积：

$(\mathbf{\alpha },\mathbf{\beta }{)}_A={\mathbf{\alpha }}^{T}A\mathbf{\beta }$

1.4 Cauchy-Schwarz 不等式

$|(\mathbf{\alpha },\mathbf{\beta })|\le \Vert \mathbf{\alpha }\Vert \cdot \Vert \mathbf{\beta }\Vert$

等号成立当且仅当 $\mathbf{\alpha }$ 与 $\mathbf{\beta }$ 线性相关。

2. 向量的长度与距离

2.1 长度（范数）

向量 $\mathbf{\alpha }$ 的长度（或范数）定义为：

$\Vert \mathbf{\alpha }\Vert =\sqrt{(\mathbf{\alpha },\mathbf{\alpha })}=\sqrt{a_1^2+a_2^2+\cdots +a_n^2}$

2.2 长度的性质

1. 非负性：$\Vert \mathbf{\alpha }\Vert \ge 0$，等号成立当且仅当 $\mathbf{\alpha }=0$
2. 齐次性：$\Vert k\mathbf{\alpha }\Vert =|k|\cdot \Vert \mathbf{\alpha }\Vert$
3. 三角不等式：$\Vert \mathbf{\alpha }+\mathbf{\beta }\Vert \le \Vert \mathbf{\alpha }\Vert +\Vert \mathbf{\beta }\Vert$

2.3 单位向量

长度为 $1$ 的向量称为单位向量。对非零向量 $\mathbf{\alpha }$，$\frac{\mathbf{\alpha }}{\Vert \mathbf{\alpha }\Vert }$ 是与 $\mathbf{\alpha }$ 同方向的单位向量，称为 $\mathbf{\alpha }$ 的单位化。

2.4 距离

两个向量 $\mathbf{\alpha }$ 和 $\mathbf{\beta }$ 之间的距离定义为：

$d(\mathbf{\alpha },\mathbf{\beta })=\Vert \mathbf{\alpha }-\mathbf{\beta }\Vert$

2.5 夹角

两个非零向量 $\mathbf{\alpha }$ 和 $\mathbf{\beta }$ 的夹角 $\theta$ 满足：

$\cos \theta =\frac{(\mathbf{\alpha },\mathbf{\beta })}{\Vert \mathbf{\alpha }\Vert \cdot \Vert \mathbf{\beta }\Vert }$

3. 正交向量

3.1 定义

若 $(\mathbf{\alpha },\mathbf{\beta })=0$，则称 $\mathbf{\alpha }$ 与 $\mathbf{\beta }$ 正交，记作 $\mathbf{\alpha }\perp \mathbf{\beta }$。

几何意义：两个向量正交意味着它们的夹角为 $90°$。

3.2 正交的性质

1. 零向量与任何向量正交
2. $\mathbf{\alpha }\perp \mathbf{\beta }⟺\Vert \mathbf{\alpha }+\mathbf{\beta }{\Vert }^2=\Vert \mathbf{\alpha }{\Vert }^2+\Vert \mathbf{\beta }{\Vert }^2$（勾股定理）
3. 若 $\mathbf{\alpha }\perp {\mathbf{\beta }}_1$ 且 $\mathbf{\alpha }\perp {\mathbf{\beta }}_2$，则 $\mathbf{\alpha }\perp (k_1{\mathbf{\beta }}_1+k_2{\mathbf{\beta }}_2)$

3.3 正交向量组

若向量组 ${\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,\dots ,{\mathbf{\alpha }}_s$ 中任意两个向量都正交（即 $({\mathbf{\alpha }}_i,{\mathbf{\alpha }}_j)=0$，$i\ne j$），则称为正交向量组。

3.4 正交向量组的重要性质

定理：不含零向量的正交向量组一定线性无关。

证明：设 $k_1{\mathbf{\alpha }}_1+k_2{\mathbf{\alpha }}_2+\cdots +k_s{\mathbf{\alpha }}_s=0$，两边与 ${\mathbf{\alpha }}_i$ 做内积：

$k_i({\mathbf{\alpha }}_i,{\mathbf{\alpha }}_i)=0$

因 ${\mathbf{\alpha }}_i\ne 0$，$({\mathbf{\alpha }}_i,{\mathbf{\alpha }}_i)>0$，故 $k_i=0$。

3.5 标准正交向量组

若正交向量组中每个向量都是单位向量，则称为标准正交向量组（或规范正交组），即：

$({\mathbf{\alpha }}_i,{\mathbf{\alpha }}_j)={\delta }_{ij}=\{\begin{array}{ll}1,& i=j\\ 0,& i\ne j\end{array}$

标准正交基：若 ${\mathbf{\alpha }}_1,\dots ,{\mathbf{\alpha }}_n$ 是 $n$ 维向量空间的标准正交基，则任意向量 $\mathbf{\beta }$ 的坐标为：

$x_i=(\mathbf{\beta },{\mathbf{\alpha }}_i)$

即 $\mathbf{\beta }={\sum }_{i=1}^n(\mathbf{\beta },{\mathbf{\alpha }}_i){\mathbf{\alpha }}_i$。

4. 正交补空间

4.1 定义

设 $W$ 是 ${\mathbb{R}}^n$ 的子空间，所有与 $W$ 中每个向量都正交的向量构成的集合称为 $W$ 的正交补，记作 $W^{\perp }$：

$W^{\perp }=\{\mathbf{\alpha }\in {\mathbb{R}}^n\mid (\mathbf{\alpha },\mathbf{\beta })=0,\forall \mathbf{\beta }\in W\}$

4.2 性质

1. $W^{\perp }$ 也是子空间
2. $W\cap W^{\perp }=\{0\}$
3. $\dim (W)+\dim (W^{\perp })=n$
4. $(W^{\perp }{)}^{\perp }=W$
5. ${\mathbb{R}}^n=W\oplus W^{\perp }$（正交直和分解）

4.3 与矩阵的关系

• $N(A)=(\text{Row}(A){)}^{\perp }$
• $N(A^T)=(\text{Col}(A){)}^{\perp }$

4.4 正交投影

向量 $\mathbf{\alpha }$ 在子空间 $W$ 上的正交投影 ${\text{proj}}_W\mathbf{\alpha }$ 满足：

$\mathbf{\alpha }={\text{proj}}_W\mathbf{\alpha }+{\mathbf{\alpha }}_{\perp }$

其中 ${\mathbf{\alpha }}_{\perp }\in W^{\perp }$。

若 $W$ 的一组标准正交基为 ${\mathbf{e}}_1,\dots ,{\mathbf{e}}_r$，则：

${\text{proj}}_W\mathbf{\alpha }={\sum }_{i=1}^r(\mathbf{\alpha },{\mathbf{e}}_i){\mathbf{e}}_i$