生成模型

1. 生成模型概述

生成模型学习数据的分布 $P(\mathbf{x})$，从而能够生成新的样本。

1.1 分类

2. GAN（生成对抗网络）

2.1 基本原理

GAN 由生成器和判别器对抗训练：

${\min }_G{\max }_{D}V(D,G)={\mathbb{E}}_{\mathbf{x}\sim p_{data}}[\log D(\mathbf{x})]+{\mathbb{E}}_{\mathbf{z}\sim p_z}[\log (1-D(G(\mathbf{z})))]$

2.2 训练过程

交替训练:
1. 固定G，训练D: 区分真假样本
   D_loss = -E[log D(x)] - E[log(1 - D(G(z)))]

2. 固定D，训练G: 生成更逼真的样本
   G_loss = -E[log D(G(z))]  (非饱和损失)

2.3 理论保证

最优判别器：

$D^{\ast }(\mathbf{x})=\frac{p_{data}(\mathbf{x})}{p_{data}(\mathbf{x})+p_g(\mathbf{x})}$

全局最优：当 $p_g=p_{data}$ 时，$D^{\ast }(\mathbf{x})=0.5$

2.4 GAN变体

WGAN：用Wasserstein距离替代JS散度：

$W(p_{data},p_g)={\sup }_{\Vert f{\Vert }_L\le 1}{\mathbb{E}}_{\mathbf{x}\sim p_{data}}[f(\mathbf{x})]-{\mathbb{E}}_{\mathbf{x}\sim p_g}[f(\mathbf{x})]$

2.5 GAN训练问题

3. VAE（变分自编码器）

3.1 基本原理

VAE 通过编码器-解码器结构学习数据的潜在表示：

$\text{编码器}:q_{\varphi }(\mathbf{z}|\mathbf{x})\approx p(\mathbf{z}|\mathbf{x})$ $\text{解码器}:p_{\theta }(\mathbf{x}|\mathbf{z})$

3.2 损失函数（ELBO）

$\mathcal{L}(\theta ,\varphi )={\mathbb{E}}_{q_{\varphi }(\mathbf{z}|\mathbf{x})}[\log p_{\theta }(\mathbf{x}|\mathbf{z})]-D_{KL}(q_{\varphi }(\mathbf{z}|\mathbf{x})\Vert p(\mathbf{z}))$

3.3 重参数化技巧

直接从 $q_{\varphi }(\mathbf{z}|\mathbf{x})$ 采样不可微，使用重参数化：

$\mathbf{z}=\mathbf{\mu }+\mathbf{\sigma }\odot \mathbf{ϵ},\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{I})$

3.4 VAE vs GAN

4. Diffusion Model（扩散模型）

4.1 基本原理

扩散模型包含前向扩散和反向去噪两个过程：

前向过程（加噪）：

$q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})$

任意时刻的分布：

$q({\mathbf{x}}_t|{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_t;\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0,(1-{\bar{\alpha }}_t)\mathbf{I})$

其中 ${\bar{\alpha }}_t={\prod }_{s=1}^t(1-{\beta }_s)$。

反向过程（去噪）：

$p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t),{\sigma }_t^2\mathbf{I})$

4.2 训练目标

简化后的损失函数：

${\mathcal{L}}_{simple}={\mathbb{E}}_{t,{\mathbf{x}}_0,\mathbf{ϵ}}\left[\Vert \mathbf{ϵ}-{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t){\Vert }^2\right]$

模型学习预测添加的噪声 $\mathbf{ϵ}$。

4.3 采样方法

4.4 条件生成

Classifier-Free Guidance：

${\widehat{\mathbf{ϵ}}}_{\theta }=(1+w){\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t,\mathbf{c})-w{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t,\varnothing )$

• $w$ 为引导强度
• $w$ 越大，生成结果越符合条件但多样性降低

4.5 代表模型

5. 生成模型对比