卷积神经网络

1. 卷积操作

1.1 二维卷积

输入 $\mathbf{X} \in \mathbb{R}^{H \times W}$，卷积核 $\mathbf{K} \in \mathbb{R}^{k_h \times k_w}$：

$(\mathbf{X} * \mathbf{K})[i,j] = \sum_{m=0}^{k_h-1}\sum_{n=0}^{k_w-1} \mathbf{X}[i+m, j+n] \cdot \mathbf{K}[m,n]$

1.2 输出尺寸计算

$H_{out} = \left\lfloor \frac{H_{in} + 2P - K}{S} \right\rfloor + 1$

1.3 卷积类型

深度可分离卷积参数量对比：

$\text{标准}: C_{in} \times C_{out} \times K^2$ $\text{分离}: C_{in} \times K^2 + C_{in} \times C_{out}$

参数减少比例：$\frac{1}{C_{out}} + \frac{1}{K^2}$

2. 池化操作

2.1 池化类型

2.2 池化作用

• 降维：减少特征图尺寸和计算量
• 平移不变性：小幅位移不影响输出
• 防止过拟合：减少参数数量

3. 经典架构

3.1 LeNet-5（1998）

Input(32×32×1) → Conv(5×5,6) → Pool(2×2) → Conv(5×5,16) → Pool(2×2)
→ FC(120) → FC(84) → FC(10)

• 首个成功的CNN架构
• 应用于手写数字识别

3.2 AlexNet（2012）

Input(227×227×3) → Conv(11×11,96,s=4) → Conv(5×5,256) → Conv(3×3,384)
→ Conv(3×3,384) → Conv(3×3,256) → Pool → FC(4096) → FC(4096) → FC(1000)

创新点：

• ReLU激活函数（替代Sigmoid）
• Dropout正则化
• GPU并行训练
• 数据增强
• Local Response Normalization

3.3 VGGNet（2014）

核心设计原则：全部使用3×3小卷积核

VGG-16:
Conv3-64 ×2 → Pool → Conv3-128 ×2 → Pool → Conv3-256 ×3 → Pool
→ Conv3-512 ×3 → Pool → Conv3-512 ×3 → Pool → FC-4096 → FC-4096 → FC-1000

3×3卷积核的优势：

• 两个3×3卷积 = 一个5×5感受野，参数更少
• 三个3×3卷积 = 一个7×7感受野
• 更多非线性变换

参数量：1.38亿（主要在全连接层）

3.4 ResNet（2015）

核心创新：残差连接（Skip Connection）

$\mathbf{y} = \mathcal{F}(\mathbf{x}) + \mathbf{x}$

网络只需学习残差 $\mathcal{F}(\mathbf{x}) = \mathbf{y} - \mathbf{x}$：

graph LR
    X["输入 x"] --> Conv["Conv - BN - ReLU - Conv - BN"]
    X -->|"恒等映射 skip connection"| Add["+"]
    Conv --> Add
    Add --> ReLU["ReLU"]
    ReLU --> Out["输出"]

为什么有效：

• 恒等映射容易学习：$\mathcal{F}(\mathbf{x}) = 0$
• 梯度可以直接回传：$\frac{\partial \mathbf{y}}{\partial \mathbf{x}} = \frac{\partial \mathcal{F}}{\partial \mathbf{x}} + 1$
• 解决深层网络退化问题

ResNet变体：

3.5 架构演进总结