强化学习基础

1. 马尔可夫决策过程（MDP）

1.1 MDP定义

MDP 是强化学习的数学框架，定义为五元组 $(S,A,P,R,\gamma )$：

| 要素 | 符号 | 说明 | | :------- | :----------------- | :----------------- | ------------ | | 状态空间 | $S$ | 所有可能状态的集合 | | 动作空间 | $A$ | 所有可能动作的集合 | | 转移概率 | $P(s^{\prime }|s,a)$ | 状态转移概率 | | 奖励函数 | $R(s,a,s^{\prime })$ | 即时奖励 | | 折扣因子 | $\gamma \in [0,1)$ | 未来奖励的衰减系数 |

马尔可夫性质：

$P(s_{t+1}|s_t,a_t,s_{t-1},a_{t-1},\dots )=P(s_{t+1}|s_t,a_t)$

未来只依赖当前状态和动作，与历史无关。

1.2 值函数

状态值函数 $V^{\pi }(s)$：从状态 $s$ 出发，遵循策略 $\pi$ 的期望回报：

$V^{\pi }(s)={\mathbb{E}}_{\pi }\left[{\sum }_{t=0}^{\infty }{\gamma }^t{r}_t|s_0=s\right]$

动作值函数 $Q^{\pi }(s,a)$：从状态 $s$ 执行动作 $a$ 后，遵循策略 $\pi$ 的期望回报：

$Q^{\pi }(s,a)={\mathbb{E}}_{\pi }\left[{\sum }_{t=0}^{\infty }{\gamma }^t{r}_t|s_0=s,a_0=a\right]$

1.3 Bellman方程

Bellman期望方程：

$V^{\pi }(s)={\sum }_a\pi (a|s){\sum }_{s^{\prime }}P(s^{\prime }|s,a)\left[R(s,a,s^{\prime })+\gamma V^{\pi }(s^{\prime })\right]$

$Q^{\pi }(s,a)={\sum }_{s^{\prime }}P(s^{\prime }|s,a)\left[R(s,a,s^{\prime })+\gamma {\sum }_{a^{\prime }}\pi (a^{\prime }|s^{\prime })Q^{\pi }(s^{\prime },a^{\prime })\right]$

Bellman最优方程：

$V^{\ast }(s)={\max }_a{\sum }_{s^{\prime }}P(s^{\prime }|s,a)\left[R(s,a,s^{\prime })+\gamma V^{\ast }(s^{\prime })\right]$

$Q^{\ast }(s,a)={\sum }_{s^{\prime }}P(s^{\prime }|s,a)\left[R(s,a,s^{\prime })+\gamma {\max }_{a^{\prime }}{Q}^{\ast }(s^{\prime },a^{\prime })\right]$

2. Q-Learning

2.1 算法原理

Q-Learning 是一种无模型的离策略算法，直接学习最优Q值函数：

$Q(s_t,a_t)\leftarrow Q(s_t,a_t)+\alpha \left[r_t+\gamma {\max }_{a^{\prime }}Q(s_{t+1},a^{\prime })-Q(s_t,a_t)\right]$

2.2 探索与利用

ε-贪心策略：

$a_t=\{\begin{array}{ll}\text{random action}& \text{with probability }ϵ\\ \arg {\max }_{a}Q(s_t,a)& \text{with probability }1-ϵ\end{array}$

• $ϵ$ 从1.0逐渐衰减到0.01
• 保证探索的同时逐步转向利用

2.3 Q-Learning算法流程

初始化 Q(s,a) = 0 (所有s,a)
对于每轮episode:
    初始化状态 s
    重复:
        用ε-贪心从Q选择动作 a
        执行a，观察 r, s'
        Q(s,a) ← Q(s,a) + α[r + γ max_a' Q(s',a') - Q(s,a)]
        s ← s'
    直到终止状态

3. DQN

3.1 深度Q网络

当状态空间过大或连续时，用神经网络近似Q函数：

$Q(s,a;\theta )\approx Q^{\ast }(s,a)$

3.2 关键技术

经验回放（Experience Replay）：

1. 将交互经验 (s, a, r, s') 存入回放缓冲区
2. 训练时从缓冲区随机采样小批量
3. 打破样本间的时间相关性

目标网络（Target Network）：

$L(\theta )=\mathbb{E}\left[{\left(r+\gamma {\max }_{a^{\prime }}Q(s^{\prime },a^{\prime };{\theta }^{-})-Q(s,a;\theta )\right)}^2\right]$

• $\theta$ 为在线网络参数（频繁更新）
• ${\theta }^{-}$ 为目标网络参数（定期从 $\theta$ 复制）
• 避免目标值与当前值过度耦合

3.3 DQN变体

Double DQN：

$y=r+\gamma Q\left(s^{\prime },\arg {\max }_{a^{\prime }}Q(s^{\prime },a^{\prime };\theta );{\theta }^{-}\right)$

Dueling DQN：

$Q(s,a;\theta )=V(s;{\theta }_V)+A(s,a;{\theta }_A)-\frac{1}{|A|}{\sum }_{a^{\prime }}A(s,a^{\prime };{\theta }_A)$

4. Policy Gradient

4.1 策略梯度定理

直接参数化策略 ${\pi }_{\theta }(a|s)$，通过梯度上升最大化期望回报：

${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[{\nabla }_{\theta }\log {\pi }_{\theta }(a|s)\cdot G_t\right]$

其中 $G_t={\sum }_{k=0}^{\infty }{\gamma }^k{r}_{t+k}$ 为累积回报。

4.2 REINFORCE算法

初始化策略参数 θ
对于每轮episode:
    用π_θ采样完整轨迹 (s_0, a_0, r_0, s_1, ...)
    对于每个时间步 t:
        计算回报 G_t = Σ γ^k r_{t+k}
        θ ← θ + α ∇_θ log π_θ(a_t|s_t) · G_t

方差缩减：

• 基线：$G_t-b(s_t)$ 代替 $G_t$，$b(s_t)$ 通常取 $V(s_t)$
• 优势函数：$A(s_t,a_t)=Q(s_t,a_t)-V(s_t)$

4.3 Actor-Critic

同时学习策略（Actor）和值函数（Critic）：

${\nabla }_{\theta }J(\theta )\approx {\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot A(s_t,a_t)$

优势估计：

$A(s_t,a_t)=r_t+\gamma V(s_{t+1})-V(s_t)$

GAE（Generalized Advantage Estimation）：

${\hat{A}}_t^{GAE}={\sum }_{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l}$

其中 ${\delta }_t=r_t+\gamma V(s_{t+1})-V(s_t)$。

4.4 PPO

Proximal Policy Optimization 是目前最常用的策略梯度算法：

裁剪目标：

$L^{CLIP}(\theta )=\mathbb{E}\left[\min \left(r_t(\theta ){\hat{A}}_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ){\hat{A}}_t\right)\right]$

其中 $r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{old}}(a_t|s_t)}$ 为重要性采样比。

• 限制策略更新幅度，避免过大更新导致性能崩溃
• 实现简单，训练稳定
• 是 RLHF 中训练 LLM 的核心算法