机器学习概述

1. 机器学习基本概念

机器学习（Machine Learning）是人工智能的核心分支，通过从数据中自动学习规律，使计算机无需显式编程即可完成特定任务。

1.1 形式化定义

给定训练数据集 $\mathcal{D}=\{({\mathbf{x}}_1,y_1),({\mathbf{x}}_2,y_2),\dots ,({\mathbf{x}}_n,y_n)\}$，机器学习的目标是从假设空间 $\mathcal{H}$ 中寻找最优函数 $h^{\ast }\in \mathcal{H}$，使得期望风险最小化：

$h^{\ast }=\arg {\min }_{h\in \mathcal{H}}{\mathbb{E}}_{(\mathbf{x},y)\sim P}[L(h(\mathbf{x}),y)]$

其中 $L$ 为损失函数，$P$ 为数据分布。由于真实分布未知，我们用经验风险近似：

$h^{\ast }\approx \arg {\min }_{h\in \mathcal{H}}\frac{1}{n}{\sum }_{i=1}^{n}L(h({\mathbf{x}}_i),y_i)$

1.2 核心术语

2. 学习范式分类

2.1 监督学习（Supervised Learning）

从带标签的数据中学习输入到输出的映射：

$f:\mathbf{X}\to Y$

2.2 无监督学习（Unsupervised Learning）

从无标签的数据中发现隐含结构：

2.3 半监督学习（Semi-Supervised Learning）

利用少量有标签数据和大量无标签数据：

有标签数据: 100条 (标注成本高)
无标签数据: 10000条 (容易获取)

策略:
  1. 自训练（Self-Training）：用有标签数据训练，预测无标签数据，高置信度加入训练集
  2. 协同训练（Co-Training）：两个分类器互相标注
  3. 图方法：基于数据相似度构建图，标签在图上传播

2.4 强化学习（Reinforcement Learning）

智能体通过与环境交互获得奖励来学习最优策略：

${\pi }^{\ast }=\arg {\max }_{\pi }\mathbb{E}\left[{\sum }_{t=0}^{\infty }{\gamma }^t{r}_t\right]$

3. 机器学习工作流程

3.1 完整流程

3.2 数据预处理

3.3 数据集划分

$\text{数据集}=\text{训练集}(60\sim 80\%)+\text{验证集}(10\sim 20\%)+\text{测试集}(10\sim 20\%)$

• 训练集：用于模型学习参数
• 验证集：用于超参数调优和模型选择
• 测试集：用于最终性能评估（只用一次）

交叉验证：K折交叉验证将数据分为K份，轮流作为验证集：

$\text{CV Score}=\frac{1}{K}{\sum }_{i=1}^K{\text{Score}}_i$

4. 偏差-方差权衡

4.1 误差分解

模型的泛化误差可分解为：

$\text{泛化误差}={\text{偏差}}^2+\text{方差}+\text{噪声}$

4.2 欠拟合与过拟合

4.3 正则化

通过在代价函数中添加惩罚项来限制模型复杂度：

L1正则化（Lasso）：

$J_{L1}(\theta )=J(\theta )+\lambda {\sum }_{j=1}^d|{\theta }_j|$

• 产生稀疏解，可用于特征选择
• 使部分参数恰好为零

L2正则化（Ridge）：

$J_{L2}(\theta )=J(\theta )+\lambda {\sum }_{j=1}^d{\theta }_j^2$

• 使参数趋向较小的值
• 防止某个参数过大

弹性网络（Elastic Net）：

$J_{EN}(\theta )=J(\theta )+{\lambda }_1\sum |{\theta }_j|+{\lambda }_2\sum {\theta }_j^2$

5. 机器学习发展历程