预训练模型

1. 预训练范式

1.1 预训练-微调

大规模无标注数据 → 预训练 → 通用语言表示
                              │
小规模标注数据 → 微调 → 下游任务

1.2 预训练任务

2. BERT

2.1 架构

BERT 基于 Transformer编码器：

2.2 输入表示

[CLS] Token1 Token2 ... TokenN [SEP]

输入嵌入 = Token Embedding + Segment Embedding + Position Embedding

• [CLS]：分类token，其输出用于下游分类
• [SEP]：句子分隔符
• Segment Embedding：区分句子A和句子B

2.3 预训练任务

MLM：随机遮盖15%的token，预测被遮盖的词

• 80%替换为[MASK]
• 10%替换为随机词
• 10%保持不变

NSP：判断句子B是否是句子A的下一句

2.4 微调方式

分类: [CLS]输出 → 全连接层 → 类别概率
NER:  每个token输出 → 全连接层 → 标签
QA:   起始/结束位置预测

3. GPT系列

3.1 GPT架构

GPT 基于 Transformer解码器（移除交叉注意力）：

$P(\mathbf{x}) = \prod_{t=1}^{T} P(x_t | x_1, x_2, \ldots, x_{t-1})$

3.2 In-Context Learning

GPT-3 引入上下文学习，无需微调：

输入: [示例1] [示例2] [示例3] [查询]
输出: 直接生成答案

3.3 对齐技术

RLHF（基于人类反馈的强化学习）：

1. SFT: 监督微调
2. RM: 训练奖励模型
3. PPO: 用奖励模型指导策略优化

DPO（直接偏好优化）：

$\mathcal{L}_{DPO} = -\mathbb{E}\left[\log \sigma\left(\beta \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)}\right)\right]$

4. LLaMA

4.1 架构改进

4.2 模型规格

5. 微调技术

5.1 参数高效微调（PEFT）

LoRA：

$\mathbf{h} = \mathbf{W}_0\mathbf{x} + \Delta\mathbf{W}\mathbf{x} = \mathbf{W}_0\mathbf{x} + \mathbf{B}\mathbf{A}\mathbf{x}$

其中 $\mathbf{B} \in \mathbb{R}^{d \times r}$，$\mathbf{A} \in \mathbb{R}^{r \times k}$，$r \ll \min(d, k)$。

5.2 量化

5.3 推理优化