循环神经网络

1. RNN基本原理

1.1 基本RNN

循环神经网络通过隐藏状态处理序列数据：

${\mathbf{h}}_t=\tanh ({\mathbf{W}}_{hh}{\mathbf{h}}_{t-1}+{\mathbf{W}}_{xh}{\mathbf{x}}_t+{\mathbf{b}}_h)$ ${\mathbf{o}}_t={\mathbf{W}}_{hy}{\mathbf{h}}_t+{\mathbf{b}}_y$

    h_{t-1} ──→ [RNN Cell] ──→ h_t ──→ [RNN Cell] ──→ h_{t+1}
                  ↑                         ↑
                x_t                       x_{t+1}

1.2 RNN变体

1.3 BPTT（沿时间反向传播）

$\frac{\partial L}{\partial {\mathbf{W}}_{hh}}={\sum }_{t=1}^T\frac{\partial L}{\partial {\mathbf{h}}_T}{\prod }_{k=t+1}^T\frac{\partial {\mathbf{h}}_k}{\partial {\mathbf{h}}_{k-1}}\cdot \frac{\partial {\mathbf{h}}_t}{\partial {\mathbf{W}}_{hh}}$

梯度问题：

${\prod }_{k=t+1}^T\frac{\partial {\mathbf{h}}_k}{\partial {\mathbf{h}}_{k-1}}={\prod }_{k=t+1}^T{\mathbf{W}}_{hh}^T\cdot \text{diag}({\sigma }^{\prime }({\mathbf{z}}_k))$

当 $\Vert {\mathbf{W}}_{hh}\Vert <1$ 时梯度消失，$>1$ 时梯度爆炸。

2. LSTM

2.1 门控机制

LSTM 通过三个门控制信息流动：

遗忘门：决定丢弃哪些信息

${\mathbf{f}}_t=\sigma ({\mathbf{W}}_f\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_f)$

输入门：决定更新哪些信息

${\mathbf{i}}_t=\sigma ({\mathbf{W}}_i\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_i)$

候选记忆：

${\tilde{\mathbf{c}}}_t=\tanh ({\mathbf{W}}_c\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_c)$

细胞状态更新：

${\mathbf{c}}_t={\mathbf{f}}_t\odot {\mathbf{c}}_{t-1}+{\mathbf{i}}_t\odot {\tilde{\mathbf{c}}}_t$

输出门：

${\mathbf{o}}_t=\sigma ({\mathbf{W}}_o\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_o)$ ${\mathbf{h}}_t={\mathbf{o}}_t\odot \tanh ({\mathbf{c}}_t)$

2.2 LSTM缓解梯度消失

${\mathbf{c}}_t={\mathbf{f}}_t\odot {\mathbf{c}}_{t-1}+{\mathbf{i}}_t\odot {\tilde{\mathbf{c}}}_t$

$\frac{\partial {\mathbf{c}}_t}{\partial {\mathbf{c}}_{t-1}}={\mathbf{f}}_t$

当 ${\mathbf{f}}_t\approx 1$ 时，梯度可以无损传递，有效缓解梯度消失。

2.3 LSTM变体

3. GRU

3.1 门控机制

GRU 是 LSTM 的简化版本，合并了遗忘门和输入门：

重置门：

${\mathbf{r}}_t=\sigma ({\mathbf{W}}_r\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t])$

更新门：

${\mathbf{z}}_t=\sigma ({\mathbf{W}}_z\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t])$

候选隐藏状态：

${\tilde{\mathbf{h}}}_t=\tanh ({\mathbf{W}}_h\cdot [{\mathbf{r}}_t\odot {\mathbf{h}}_{t-1},{\mathbf{x}}_t])$

隐藏状态更新：

${\mathbf{h}}_t=(1-{\mathbf{z}}_t)\odot {\mathbf{h}}_{t-1}+{\mathbf{z}}_t\odot {\tilde{\mathbf{h}}}_t$

3.2 LSTM vs GRU

4. 双向RNN与深层RNN

4.1 双向RNN

同时考虑前向和后向信息：

${\overrightarrow{\mathbf{h}}}_t={\text{RNN}}_{fw}({\mathbf{x}}_t,{\overrightarrow{\mathbf{h}}}_{t-1})$ ${\overleftarrow{\mathbf{h}}}_t={\text{RNN}}_{bw}({\mathbf{x}}_t,{\overleftarrow{\mathbf{h}}}_{t+1})$ ${\mathbf{h}}_t=[{\overrightarrow{\mathbf{h}}}_t;{\overleftarrow{\mathbf{h}}}_t]$

4.2 深层RNN

堆叠多层RNN：

x_t → [RNN Layer 1] → [RNN Layer 2] → [RNN Layer 3] → o_t

每层提取不同层次的序列特征。

5. 序列建模应用

5.1 Seq2Seq

编码器: x_1, x_2, ..., x_T → 上下文向量 c
解码器: c → y_1, y_2, ..., y_{T'}

5.2 注意力机制

$e_{t,i}=\text{score}({\mathbf{h}}_t^d,{\mathbf{h}}_i^e)$ ${\alpha }_{t,i}=\text{Softmax}(e_{t,i})$ ${\mathbf{c}}_t={\sum }_i{\alpha }_{t,i}{\mathbf{h}}_i^e$