人工智能基础

1. 人工智能概述

1.1 AI 发展历程

1.2 AI 分类

2. 搜索算法

2.1 无信息搜索

$b$：分支因子，$d$：解深度，$m$：最大深度

2.2 启发式搜索

A* 算法：

$f(n)=g(n)+h(n)$

• $g(n)$：从起点到 $n$ 的实际代价
• $h(n)$：从 $n$ 到目标的启发式估计

最优性条件：$h(n)$ 是可采纳的（不高估实际代价）。

A* 的效率：

$\text{有效分支因子}=b^{\ast }:N=1+b^{\ast }+(b^{\ast }{)}^2+...$

2.3 对抗搜索

Minimax 算法：

$V(s)=\{\begin{array}{ll}\text{utility}(s)& \text{终止状态}\\ {\max }_{a}V(\text{result}(s,a))& \text{MAX 节点}\\ {\min }_{a}V(\text{result}(s,a))& \text{MIN 节点}\end{array}$

Alpha-Beta 剪枝：

• $\alpha$：MAX 节点当前最优值
• $\beta$：MIN 节点当前最优值
• 剪枝条件：$\alpha \ge \beta$

最佳情况下搜索节点数：$O(b^{d/2})$

3. 知识表示与推理

3.1 一阶谓词逻辑

基本元素：

• 常量：John, 5
• 变量：$x$, $y$
• 谓词：$Likes(x,y)$
• 函数：$Father(John)$
• 量词：$\forall$, $\exists$

推理规则：

• 假言推理（Modus Ponens）：$P,P\to Q⊢Q$
• 全称实例化：$\forall xP(x)⊢P(a)$
• 存在实例化：$\exists xP(x)⊢P(c)$

3.2 语义网络

用图结构表示概念间的关系：

[鸟] --is-a--> [动物]
[企鹅] --is-a--> [鸟]
[企鹅] --cannot--> [飞]

3.3 本体论

使用 OWL（Web Ontology Language）定义概念层次和关系：

• 类（Class）
• 属性（Property）
• 个体（Individual）
• 公理（Axiom）

4. 机器学习

4.1 学习范式

4.2 线性回归

$\hat{y}={\mathbf{w}}^T\mathbf{x}+b$

损失函数（MSE）：

$L=\frac{1}{n}{\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2$

正规方程：

${\mathbf{w}}^{\ast }=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}$

4.3 逻辑回归

$P(y=1|\mathbf{x})=\sigma ({\mathbf{w}}^T\mathbf{x}+b)=\frac{1}{1+e^{-({\mathbf{w}}^T\mathbf{x}+b)}}$

交叉熵损失：

$L=-\frac{1}{n}{\sum }_{i=1}^n[y_i\log {\hat{y}}_i+(1-y_i)\log (1-{\hat{y}}_i)]$

4.4 支持向量机（SVM）

最大间隔：

${\max }_{\mathbf{w},b}\frac{2}{\Vert \mathbf{w}\Vert }\text{s.t.}{y}_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1$

核技巧：

$K({\mathbf{x}}_i,{\mathbf{x}}_j)=\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)$

常用核函数：

4.5 模型评估

偏差-方差权衡：

$\text{泛化误差}={\text{偏差}}^2+\text{方差}+\text{噪声}$

5. 神经网络

5.1 多层感知机（MLP）

$\mathbf{h}=\sigma ({\mathbf{W}}_1\mathbf{x}+{\mathbf{b}}_1)$

$\mathbf{y}={\mathbf{W}}_2\mathbf{h}+{\mathbf{b}}_2$

反向传播：

$\frac{\partial L}{\partial \mathbf{W}}=\frac{\partial L}{\partial \mathbf{y}}\cdot \frac{\partial \mathbf{y}}{\partial \mathbf{h}}\cdot \frac{\partial \mathbf{h}}{\partial \mathbf{W}}$

5.2 常用激活函数

5.3 优化算法

Adam 更新规则：

$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t$

$v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)g_t^2$

${\theta }_t={\theta }_{t-1}-\frac{\eta }{\sqrt{{\hat{v}}_t}+ϵ}{\hat{m}}_t$

5.4 正则化技术

6. 深度学习

6.1 CNN（卷积神经网络）

核心操作：

• 卷积：提取局部特征
• 池化：降维，增强平移不变性
• 全连接：分类决策

经典架构：

残差连接：

$\mathbf{y}=F(\mathbf{x})+\mathbf{x}$

解决深层网络的梯度消失问题。

6.2 Transformer

自注意力机制：

$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$

多头注意力：

$\text{MultiHead}(Q,K,V)=\text{Concat}({\text{head}}_1,...,{\text{head}}_h)W^O$

${\text{head}}_i=\text{Attention}(Q{W}_i^Q,K{W}_i^K,V{W}_i^V)$

6.3 大语言模型（LLM）

基于 Transformer Decoder 的生成式模型：

• GPT 系列：自回归生成
• BERT：双向编码
• LLaMA：开源大模型

缩放定律：

$L(N)\approx {\left(\frac{N_c}{N}\right)}^{\alpha }$

模型性能随参数量 $N$、数据量 $D$、计算量 $C$ 的增加而可预测地提升。