模型评估与选择

1. 交叉验证

1.1 K折交叉验证

将数据分为K个大小相近的子集，轮流用K-1个训练、1个验证：

$\text{CV Score}=\frac{1}{K}{\sum }_{i=1}^K{\text{Score}}_i$

1.2 分层K折

保持每折中类别比例与原始数据一致，适用于类别不平衡场景。

1.3 时间序列交叉验证

Fold 1: [Train: 1-3]  [Test: 4]
Fold 2: [Train: 1-4]  [Test: 5]
Fold 3: [Train: 1-5]  [Test: 6]
Fold 4: [Train: 1-6]  [Test: 7]

• 训练集始终在测试集之前
• 避免未来信息泄露

2. 分类评估指标

2.1 混淆矩阵

2.2 核心指标

Fβ Score（可调权重）：

$F_{\beta }=(1+{\beta }^2)\frac{P\cdot R}{{\beta }^{2}P+R}$

• $\beta >1$：更重视召回率
• $\beta <1$：更重视精确率

2.3 多分类指标

3. ROC与AUC

3.1 ROC曲线

ROC（Receiver Operating Characteristic）曲线绘制不同阈值下的：

• TPR（真正率） = $\frac{TP}{TP+FN}$ = Recall
• FPR（假正率） = $\frac{FP}{FP+TN}$

TPR
1.0 ┤         ┌────────
    │       ╱
    │     ╱
    │   ╱
    │ ╱
0.0 ┤╱
    └────────────────── FPR
   0.0              1.0

3.2 AUC

AUC（Area Under Curve）为ROC曲线下面积：

$\text{AUC}=P(f({\mathbf{x}}_{+})>f({\mathbf{x}}_{-}))$

即随机正样本得分高于随机负样本的概率。

3.3 PR曲线

当正样本稀少时，PR曲线比ROC曲线更有信息量：

• PR曲线关注精确率-召回率权衡
• ROC曲线在类别不平衡时可能过于乐观

4. 回归评估指标

5. 偏差-方差权衡

5.1 误差分解

$\mathbb{E}[(y-\hat{f}(\mathbf{x}){)}^2]={\text{Bias}}^2(\hat{f})+\text{Var}(\hat{f})+{\sigma }^2$

5.2 学习曲线

训练误差 ─── 随数据量增加而上升
验证误差 ─── 随数据量增加而下降

高偏差（欠拟合）:
  训练误差和验证误差都高且接近 → 增加特征/更复杂模型

高方差（过拟合）:
  训练误差低，验证误差高 → 增加数据/正则化

6. 模型选择策略

6.1 超参数调优

6.2 模型选择流程

1. 快速基线: 用默认参数训练多个模型
2. 选择Top 2-3模型
3. 超参数调优（随机搜索 + 交叉验证）
4. 特征工程迭代
5. 集成学习（如果单模型不够好）
6. 最终评估（测试集，只用一次）