预训练模型

1. 预训练范式

1.1 预训练-微调

大规模无标注数据 → 预训练 → 通用语言表示
                              │
小规模标注数据 → 微调 → 下游任务

1.2 预训练任务

2. BERT

2.1 架构

BERT 基于 Transformer编码器：

2.2 输入表示

[CLS] Token1 Token2 ... TokenN [SEP]

输入嵌入 = Token Embedding + Segment Embedding + Position Embedding

• [CLS]：分类token，其输出用于下游分类
• [SEP]：句子分隔符
• Segment Embedding：区分句子A和句子B

2.3 预训练任务

MLM：随机遮盖15%的token，预测被遮盖的词

• 80%替换为[MASK]
• 10%替换为随机词
• 10%保持不变

NSP：判断句子B是否是句子A的下一句

2.4 微调方式

分类: [CLS]输出 → 全连接层 → 类别概率
NER:  每个token输出 → 全连接层 → 标签
QA:   起始/结束位置预测

3. GPT系列

3.1 GPT架构

GPT 基于 Transformer解码器（移除交叉注意力）：

$P(\mathbf{x})={\prod }_{t=1}^{T}P(x_t|x_1,x_2,\dots ,x_{t-1})$

3.2 In-Context Learning

GPT-3 引入上下文学习，无需微调：

输入: [示例1] [示例2] [示例3] [查询]
输出: 直接生成答案

3.3 对齐技术

RLHF（基于人类反馈的强化学习）：

1. SFT: 监督微调
2. RM: 训练奖励模型
3. PPO: 用奖励模型指导策略优化

DPO（直接偏好优化）：

${\mathcal{L}}_{DPO}=-\mathbb{E}\left[\log \sigma \left(\beta \log \frac{{\pi }_{\theta }(y_w|x)}{{\pi }_{ref}(y_w|x)}-\beta \log \frac{{\pi }_{\theta }(y_l|x)}{{\pi }_{ref}(y_l|x)}\right)\right]$

4. LLaMA

4.1 架构改进

4.2 模型规格

5. 微调技术

5.1 参数高效微调（PEFT）

LoRA：

$\mathbf{h}={\mathbf{W}}_0\mathbf{x}+\Delta \mathbf{Wx}={\mathbf{W}}_0\mathbf{x}+\mathbf{BAx}$

其中 $\mathbf{B}\in {\mathbb{R}}^{d\times r}$，$\mathbf{A}\in {\mathbb{R}}^{r\times k}$，$r\ll \min (d,k)$。

5.2 量化

5.3 推理优化