逻辑回归

1. 逻辑回归模型

逻辑回归是分类算法（尽管名字含”回归”），通过 Sigmoid 函数将线性输出映射到概率。

1.1 Sigmoid函数

$\sigma(z) = \frac{1}{1 + e^{-z}} = \frac{e^z}{1 + e^z}$

性质：

• 输出范围 $(0, 1)$，可解释为概率
• $\sigma(-z) = 1 - \sigma(z)$
• 导数：$\sigma'(z) = \sigma(z)(1 - \sigma(z))$

1.2 模型定义

$P(y=1|\mathbf{x}) = \sigma(\mathbf{w}^T\mathbf{x} + b) = \frac{1}{1 + e^{-(\mathbf{w}^T\mathbf{x} + b)}}$

$P(y=0|\mathbf{x}) = 1 - P(y=1|\mathbf{x})$

对数几率（Log-Odds）：

$\ln\frac{P(y=1|\mathbf{x})}{P(y=0|\mathbf{x})} = \mathbf{w}^T\mathbf{x} + b$

逻辑回归本质是对对数几率进行线性建模。

1.3 决策边界

$\mathbf{w}^T\mathbf{x} + b = 0$

• $\mathbf{w}^T\mathbf{x} + b > 0$ → 预测为正类
• $\mathbf{w}^T\mathbf{x} + b < 0$ → 预测为负类

决策边界是特征空间中的线性超平面。

2. 交叉熵损失

2.1 损失函数

对于二分类问题，使用二元交叉熵（Binary Cross-Entropy）：

$J(\mathbf{w}) = -\frac{1}{n}\sum_{i=1}^{n} \left[y_i \ln \hat{y}_i + (1-y_i)\ln(1-\hat{y}_i)\right]$

其中 $\hat{y}_i = \sigma(\mathbf{w}^T\mathbf{x}_i + b)$。

直觉理解：

2.2 梯度计算

$\frac{\partial J}{\partial \mathbf{w}} = \frac{1}{n}\sum_{i=1}^{n}(\hat{y}_i - y_i)\mathbf{x}_i$

注意：逻辑回归的梯度形式与线性回归完全相同（$h_\mathbf{w}(\mathbf{x}) - y$），但 $\hat{y}_i$ 的计算方式不同。

2.3 极大似然估计

交叉熵损失等价于极大似然估计的对数似然取负：

$J(\mathbf{w}) = -\frac{1}{n}\ln \mathcal{L}(\mathbf{w})$

其中似然函数：

$\mathcal{L}(\mathbf{w}) = \prod_{i=1}^{n} \hat{y}_i^{y_i}(1-\hat{y}_i)^{1-y_i}$

3. 多分类扩展

3.1 One-vs-Rest（OvR）

将 $K$ 分类问题转化为 $K$ 个二分类问题：

类别1 vs 非类别1 → 分类器1
类别2 vs 非类别2 → 分类器2
类别3 vs 非类别3 → 分类器3
...

预测时选择置信度最高的类别。

3.2 Softmax回归

直接建模多类概率分布：

$P(y=k|\mathbf{x}) = \frac{e^{\mathbf{w}_k^T\mathbf{x} + b_k}}{\sum_{j=1}^{K} e^{\mathbf{w}_j^T\mathbf{x} + b_j}}$

多类交叉熵损失：

$J(\mathbf{W}) = -\frac{1}{n}\sum_{i=1}^{n}\sum_{k=1}^{K} y_{ik} \ln P(y_i=k|\mathbf{x}_i)$

其中 $y_{ik}$ 为 one-hot 编码。

Softmax梯度：

$\frac{\partial J}{\partial \mathbf{w}_k} = \frac{1}{n}\sum_{i=1}^{n}(P(y_i=k|\mathbf{x}_i) - y_{ik})\mathbf{x}_i$

3.3 OvR vs Softmax

4. 正则化与优化

4.1 正则化

L1正则化：

$J_{L1} = J(\mathbf{w}) + \lambda \|\mathbf{w}\|_1$

L2正则化：

$J_{L2} = J(\mathbf{w}) + \frac{\lambda}{2} \|\mathbf{w}\|^2$

Elastic Net：

$J_{EN} = J(\mathbf{w}) + \lambda_1 \|\mathbf{w}\|_1 + \frac{\lambda_2}{2} \|\mathbf{w}\|^2$

4.2 优化算法

5. 模型评估与调优

5.1 分类评估指标

5.2 阈值选择

默认阈值为0.5，但可根据业务需求调整：

• 提高召回率：降低阈值（如0.3），适用于疾病筛查
• 提高精确率：提高阈值（如0.7），适用于垃圾邮件过滤

ROC曲线：绘制不同阈值下的TPR vs FPR

AUC：ROC曲线下面积，衡量分类器整体性能

$\text{AUC} = P(\text{score}(\mathbf{x}_+) > \text{score}(\mathbf{x}_-))$

5.3 类别不平衡处理