前置知识: 线性代数

内积与正交性

13 minIntermediate2026/6/14

内积的定义与性质，向量的长度与距离，正交向量与正交向量组，正交补空间。

1. 内积

1.1 定义

设 α=(a1,a2,…,an)T\boldsymbol{\alpha} = (a_1, a_2, \ldots, a_n)^T，β=(b1,b2,…,bn)T\boldsymbol{\beta} = (b_1, b_2, \ldots, b_n)^T 是 Rn\mathbb{R}^n 中的向量，它们的内积（标准内积）定义为：

(α,β)=αTβ=a1b1+a2b2+⋯+anbn=∑i=1naibi(\boldsymbol{\alpha}, \boldsymbol{\beta}) = \boldsymbol{\alpha}^T\boldsymbol{\beta} = a_1b_1 + a_2b_2 + \cdots + a_nb_n = \sum_{i=1}^{n} a_ib_i

1.2 内积的性质

  1. 对称性：(α,β)=(β,α)(\boldsymbol{\alpha}, \boldsymbol{\beta}) = (\boldsymbol{\beta}, \boldsymbol{\alpha})
  2. 线性性：(k1α1+k2α2,β)=k1(α1,β)+k2(α2,β)(k_1\boldsymbol{\alpha}_1 + k_2\boldsymbol{\alpha}_2, \boldsymbol{\beta}) = k_1(\boldsymbol{\alpha}_1, \boldsymbol{\beta}) + k_2(\boldsymbol{\alpha}_2, \boldsymbol{\beta})
  3. 正定性：(α,α)≥0(\boldsymbol{\alpha}, \boldsymbol{\alpha}) \geq 0，等号成立当且仅当 α=0\boldsymbol{\alpha} = \mathbf{0}

1.3 一般内积

更一般地，设 AA 为 nn 阶正定矩阵，可以定义加权内积：

(α,β)A=αTAβ(\boldsymbol{\alpha}, \boldsymbol{\beta})_A = \boldsymbol{\alpha}^T A \boldsymbol{\beta}

1.4 Cauchy-Schwarz 不等式

∣(α,β)∣≤∥α∥⋅∥β∥|(\boldsymbol{\alpha}, \boldsymbol{\beta})| \leq \|\boldsymbol{\alpha}\| \cdot \|\boldsymbol{\beta}\|

等号成立当且仅当 α\boldsymbol{\alpha} 与 β\boldsymbol{\beta} 线性相关。

2. 向量的长度与距离

2.1 长度（范数）

向量 α\boldsymbol{\alpha} 的长度（或范数）定义为：

∥α∥=(α,α)=a12+a22+⋯+an2\|\boldsymbol{\alpha}\| = \sqrt{(\boldsymbol{\alpha}, \boldsymbol{\alpha})} = \sqrt{a_1^2 + a_2^2 + \cdots + a_n^2}

2.2 长度的性质

  1. 非负性：∥α∥≥0\|\boldsymbol{\alpha}\| \geq 0，等号成立当且仅当 α=0\boldsymbol{\alpha} = \mathbf{0}
  2. 齐次性：∥kα∥=∣k∣⋅∥α∥\|k\boldsymbol{\alpha}\| = |k| \cdot \|\boldsymbol{\alpha}\|
  3. 三角不等式：∥α+β∥≤∥α∥+∥β∥\|\boldsymbol{\alpha} + \boldsymbol{\beta}\| \leq \|\boldsymbol{\alpha}\| + \|\boldsymbol{\beta}\|

2.3 单位向量

长度为 11 的向量称为单位向量。对非零向量 α\boldsymbol{\alpha}，α∥α∥\dfrac{\boldsymbol{\alpha}}{\|\boldsymbol{\alpha}\|} 是与 α\boldsymbol{\alpha} 同方向的单位向量，称为 α\boldsymbol{\alpha} 的单位化。

2.4 距离

两个向量 α\boldsymbol{\alpha} 和 β\boldsymbol{\beta} 之间的距离定义为：

d(α,β)=∥α−β∥d(\boldsymbol{\alpha}, \boldsymbol{\beta}) = \|\boldsymbol{\alpha} - \boldsymbol{\beta}\|

2.5 夹角

两个非零向量 α\boldsymbol{\alpha} 和 β\boldsymbol{\beta} 的夹角 θ\theta 满足：

cos⁡θ=(α,β)∥α∥⋅∥β∥\cos\theta = \frac{(\boldsymbol{\alpha}, \boldsymbol{\beta})}{\|\boldsymbol{\alpha}\| \cdot \|\boldsymbol{\beta}\|}

3. 正交向量

3.1 定义

若 (α,β)=0(\boldsymbol{\alpha}, \boldsymbol{\beta}) = 0，则称 α\boldsymbol{\alpha} 与 β\boldsymbol{\beta} 正交，记作 α⊥β\boldsymbol{\alpha} \perp \boldsymbol{\beta}。

几何意义：两个向量正交意味着它们的夹角为 90°90°。

3.2 正交的性质

  1. 零向量与任何向量正交
  2. α⊥β  ⟺  ∥α+β∥2=∥α∥2+∥β∥2\boldsymbol{\alpha} \perp \boldsymbol{\beta} \iff \|\boldsymbol{\alpha} + \boldsymbol{\beta}\|^2 = \|\boldsymbol{\alpha}\|^2 + \|\boldsymbol{\beta}\|^2（勾股定理）
  3. 若 α⊥β1\boldsymbol{\alpha} \perp \boldsymbol{\beta}_1 且 α⊥β2\boldsymbol{\alpha} \perp \boldsymbol{\beta}_2，则 α⊥(k1β1+k2β2)\boldsymbol{\alpha} \perp (k_1\boldsymbol{\beta}_1 + k_2\boldsymbol{\beta}_2)

3.3 正交向量组

若向量组 α1,α2,…,αs\boldsymbol{\alpha}_1, \boldsymbol{\alpha}_2, \ldots, \boldsymbol{\alpha}_s 中任意两个向量都正交（即 (αi,αj)=0(\boldsymbol{\alpha}_i, \boldsymbol{\alpha}_j) = 0，i≠ji \neq j），则称为正交向量组。

3.4 正交向量组的重要性质

定理：不含零向量的正交向量组一定线性无关。

证明：设 k1α1+k2α2+⋯+ksαs=0k_1\boldsymbol{\alpha}_1 + k_2\boldsymbol{\alpha}_2 + \cdots + k_s\boldsymbol{\alpha}_s = 0，两边与 αi\boldsymbol{\alpha}_i 做内积：

ki(αi,αi)=0k_i(\boldsymbol{\alpha}_i, \boldsymbol{\alpha}_i) = 0

因 αi≠0\boldsymbol{\alpha}_i \neq 0，(αi,αi)>0(\boldsymbol{\alpha}_i, \boldsymbol{\alpha}_i) > 0，故 ki=0k_i = 0。

3.5 标准正交向量组

若正交向量组中每个向量都是单位向量，则称为标准正交向量组（或规范正交组），即：

(αi,αj)=δij={1,i=j0,i≠j(\boldsymbol{\alpha}_i, \boldsymbol{\alpha}_j) = \delta_{ij} = \begin{cases} 1, & i = j \\ 0, & i \neq j \end{cases}

标准正交基：若 α1,…,αn\boldsymbol{\alpha}_1, \ldots, \boldsymbol{\alpha}_n 是 nn 维向量空间的标准正交基，则任意向量 β\boldsymbol{\beta} 的坐标为：

xi=(β,αi)x_i = (\boldsymbol{\beta}, \boldsymbol{\alpha}_i)

即 β=∑i=1n(β,αi)αi\boldsymbol{\beta} = \sum_{i=1}^{n} (\boldsymbol{\beta}, \boldsymbol{\alpha}_i)\boldsymbol{\alpha}_i。

4. 正交补空间

4.1 定义

设 WW 是 Rn\mathbb{R}^n 的子空间，所有与 WW 中每个向量都正交的向量构成的集合称为 WW 的正交补，记作 W⊥W^\perp：

W⊥={α∈Rn∣(α,β)=0,∀β∈W}W^\perp = \{\boldsymbol{\alpha} \in \mathbb{R}^n \mid (\boldsymbol{\alpha}, \boldsymbol{\beta}) = 0, \forall \boldsymbol{\beta} \in W\}

4.2 性质

  1. W⊥W^\perp 也是子空间
  2. W∩W⊥={0}W \cap W^\perp = \{\mathbf{0}\}
  3. dim⁡(W)+dim⁡(W⊥)=n\dim(W) + \dim(W^\perp) = n
  4. (W⊥)⊥=W(W^\perp)^\perp = W
  5. Rn=W⊕W⊥\mathbb{R}^n = W \oplus W^\perp（正交直和分解）

4.3 与矩阵的关系

  • N(A)=(Row(A))⊥N(A) = (\text{Row}(A))^\perp
  • N(AT)=(Col(A))⊥N(A^T) = (\text{Col}(A))^\perp

4.4 正交投影

向量 α\boldsymbol{\alpha} 在子空间 WW 上的正交投影 projWα\text{proj}_W \boldsymbol{\alpha} 满足：

α=projWα+α⊥\boldsymbol{\alpha} = \text{proj}_W \boldsymbol{\alpha} + \boldsymbol{\alpha}_\perp

其中 α⊥∈W⊥\boldsymbol{\alpha}_\perp \in W^\perp。

若 WW 的一组标准正交基为 e1,…,er\boldsymbol{e}_1, \ldots, \boldsymbol{e}_r，则：

projWα=∑i=1r(α,ei)ei\text{proj}_W \boldsymbol{\alpha} = \sum_{i=1}^{r} (\boldsymbol{\alpha}, \boldsymbol{e}_i)\boldsymbol{e}_i