卷积神经网络

1. 卷积操作

1.1 二维卷积

输入 $\mathbf{X}\in {\mathbb{R}}^{H\times W}$，卷积核 $\mathbf{K}\in {\mathbb{R}}^{k_h\times k_w}$：

$(\mathbf{X}\ast \mathbf{K})[i,j]={\sum }_{m=0}^{k_h-1}{\sum }_{n=0}^{k_w-1}\mathbf{X}[i+m,j+n]\cdot \mathbf{K}[m,n]$

1.2 输出尺寸计算

$H_{out}=\lfloor \frac{H_{in}+2P-K}{S}\rfloor +1$

1.3 卷积类型

深度可分离卷积参数量对比：

$\text{标准}:C_{in}\times C_{out}\times K^2$ $\text{分离}:C_{in}\times K^2+C_{in}\times C_{out}$

参数减少比例：$\frac{1}{C_{out}}+\frac{1}{K^2}$

2. 池化操作

2.1 池化类型

2.2 池化作用

• 降维：减少特征图尺寸和计算量
• 平移不变性：小幅位移不影响输出
• 防止过拟合：减少参数数量

3. 经典架构

3.1 LeNet-5（1998）

Input(32×32×1) → Conv(5×5,6) → Pool(2×2) → Conv(5×5,16) → Pool(2×2)
→ FC(120) → FC(84) → FC(10)

• 首个成功的CNN架构
• 应用于手写数字识别

3.2 AlexNet（2012）

Input(227×227×3) → Conv(11×11,96,s=4) → Conv(5×5,256) → Conv(3×3,384)
→ Conv(3×3,384) → Conv(3×3,256) → Pool → FC(4096) → FC(4096) → FC(1000)

创新点：

• ReLU激活函数（替代Sigmoid）
• Dropout正则化
• GPU并行训练
• 数据增强
• Local Response Normalization

3.3 VGGNet（2014）

核心设计原则：全部使用3×3小卷积核

VGG-16:
Conv3-64 ×2 → Pool → Conv3-128 ×2 → Pool → Conv3-256 ×3 → Pool
→ Conv3-512 ×3 → Pool → Conv3-512 ×3 → Pool → FC-4096 → FC-4096 → FC-1000

3×3卷积核的优势：

• 两个3×3卷积 = 一个5×5感受野，参数更少
• 三个3×3卷积 = 一个7×7感受野
• 更多非线性变换

参数量：1.38亿（主要在全连接层）

3.4 ResNet（2015）

核心创新：残差连接（Skip Connection）

$\mathbf{y}=\mathcal{F}(\mathbf{x})+\mathbf{x}$

网络只需学习残差 $\mathcal{F}(\mathbf{x})=\mathbf{y}-\mathbf{x}$：

为什么有效：

• 恒等映射容易学习：$\mathcal{F}(\mathbf{x})=0$
• 梯度可以直接回传：$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\frac{\partial \mathcal{F}}{\partial \mathbf{x}}+1$
• 解决深层网络退化问题

ResNet变体：

3.5 架构演进总结