神经网络基础

1. 感知机

1.1 单层感知机

感知机是最简单的神经网络，实现线性二分类：

$y=\sigma \left({\sum }_{j=1}^d{w}_j{x}_j+b\right)=\sigma ({\mathbf{w}}^T\mathbf{x}+b)$

其中 $\sigma$ 为阶跃函数：

$\sigma (z)=\{\begin{array}{ll}1& z\ge 0\\ 0& z<0\end{array}$

1.2 感知机局限性

单层感知机只能解决线性可分问题，无法解决XOR问题：

XOR问题:
  (0,0) → 0    (0,1) → 1
  (1,0) → 1    (1,1) → 0

无法用一条直线分隔两类

解决：多层感知机（MLP）引入隐藏层。

1.3 多层感知机（MLP）

$\mathbf{h}=\sigma ({\mathbf{W}}_1^T\mathbf{x}+{\mathbf{b}}_1)$ $\mathbf{o}={\mathbf{W}}_2^T\mathbf{h}+{\mathbf{b}}_2$

• 隐藏层引入非线性变换
• 通用近似定理：含一个隐藏层的MLP可以近似任意连续函数

2. 激活函数

2.1 常用激活函数

2.2 梯度消失与梯度爆炸

Sigmoid梯度消失：

${\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))\le 0.25$

多层累积后梯度指数衰减：

$\frac{\partial L}{\partial {\mathbf{W}}_1}\propto {\prod }_{l=1}^L{\sigma }^{\prime }(z_l)\cdot {\mathbf{W}}_l$

ReLU的优势：

${\text{ReLU}}^{\prime }(z)=\{\begin{array}{ll}1& z>0\\ 0& z\le 0\end{array}$

正区间梯度恒为1，有效缓解梯度消失。

2.3 Softmax

多分类输出层激活函数：

$\text{Softmax}(z_i)=\frac{e^{z_i}}{{\sum }_{j=1}^K{e}^{z_j}}$

数值稳定性：

$\text{Softmax}(z_i)=\frac{e^{z_i-\max (z)}}{{\sum }_{j=1}^K{e}^{z_j-\max (z)}}$

3. 前向传播

3.1 计算流程

输入层 (d维) → 隐藏层1 (h1维) → 隐藏层2 (h2维) → 输出层 (K维)

z1 = W1·x + b1
a1 = σ(z1)
z2 = W2·a1 + b2
a2 = σ(z2)
z3 = W3·a2 + b3
output = Softmax(z3)

3.2 维度分析

4. 损失函数

4.1 回归损失

均方误差（MSE）：

$L_{MSE}=\frac{1}{n}{\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2$

平均绝对误差（MAE）：

$L_{MAE}=\frac{1}{n}{\sum }_{i=1}^n|y_i-{\hat{y}}_i|$

Huber Loss：

$L_{\delta }=\{\begin{array}{ll}\frac{1}{2}(y-\hat{y}{)}^2& |y-\hat{y}|\le \delta \\ \delta |y-\hat{y}|-\frac{1}{2}{\delta }^2& |y-\hat{y}|>\delta \end{array}$

4.2 分类损失

交叉熵损失：

$L_{CE}=-{\sum }_{i=1}^n{\sum }_{k=1}^K{y}_{ik}\log {\hat{y}}_{ik}$

Focal Loss（解决类别不平衡）：

$L_{FL}=-{\alpha }_t(1-p_t{)}^{\gamma }\log p_t$

• $\gamma >0$ 减少易分类样本的损失权重
• ${\alpha }_t$ 平衡正负样本

5. 正则化技术

5.1 Dropout

训练时以概率 $p$ 随机将神经元输出置零：

$\tilde{\mathbf{h}}=\mathbf{m}\odot \mathbf{h},m_j\sim \text{Bernoulli}(1-p)$

推理时缩放：${\mathbf{h}}_{test}=(1-p)\cdot \mathbf{h}$

5.2 Batch Normalization

${\hat{x}}_j=\frac{x_j-{\mu }_B}{\sqrt{{\sigma }_B^2+ϵ}}$ $y_j={\gamma }_j{\hat{x}}_j+{\beta }_j$

• 训练时使用当前batch的均值和方差
• 推理时使用全局均值和方差
• 允许更大学习率，加速收敛

5.3 权重初始化