逻辑回归

1. 逻辑回归模型

逻辑回归是分类算法（尽管名字含”回归”），通过 Sigmoid 函数将线性输出映射到概率。

1.1 Sigmoid函数

$\sigma (z)=\frac{1}{1+e^{-z}}=\frac{e^z}{1+e^z}$

性质：

• 输出范围 $(0,1)$，可解释为概率
• $\sigma (-z)=1-\sigma (z)$
• 导数：${\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))$

1.2 模型定义

$P(y=1|\mathbf{x})=\sigma ({\mathbf{w}}^T\mathbf{x}+b)=\frac{1}{1+e^{-({\mathbf{w}}^T\mathbf{x}+b)}}$

$P(y=0|\mathbf{x})=1-P(y=1|\mathbf{x})$

对数几率（Log-Odds）：

$\ln \frac{P(y=1|\mathbf{x})}{P(y=0|\mathbf{x})}={\mathbf{w}}^T\mathbf{x}+b$

逻辑回归本质是对对数几率进行线性建模。

1.3 决策边界

${\mathbf{w}}^T\mathbf{x}+b=0$

• ${\mathbf{w}}^T\mathbf{x}+b>0$ → 预测为正类
• ${\mathbf{w}}^T\mathbf{x}+b<0$ → 预测为负类

决策边界是特征空间中的线性超平面。

2. 交叉熵损失

2.1 损失函数

对于二分类问题，使用二元交叉熵（Binary Cross-Entropy）：

$J(\mathbf{w})=-\frac{1}{n}{\sum }_{i=1}^n\left[y_i\ln {\hat{y}}_i+(1-y_i)\ln (1-{\hat{y}}_i)\right]$

其中 ${\hat{y}}_i=\sigma ({\mathbf{w}}^T{\mathbf{x}}_i+b)$。

直觉理解：

2.2 梯度计算

$\frac{\partial J}{\partial \mathbf{w}}=\frac{1}{n}{\sum }_{i=1}^n({\hat{y}}_i-y_i){\mathbf{x}}_i$

注意：逻辑回归的梯度形式与线性回归完全相同（$h_{\mathbf{w}}(\mathbf{x})-y$），但 ${\hat{y}}_i$ 的计算方式不同。

2.3 极大似然估计

交叉熵损失等价于极大似然估计的对数似然取负：

$J(\mathbf{w})=-\frac{1}{n}\ln \mathcal{L}(\mathbf{w})$

其中似然函数：

$\mathcal{L}(\mathbf{w})={\prod }_{i=1}^n{\hat{y}}_i^{y_i}(1-{\hat{y}}_i{)}^{1-y_i}$

3. 多分类扩展

3.1 One-vs-Rest（OvR）

将 $K$ 分类问题转化为 $K$ 个二分类问题：

类别1 vs 非类别1 → 分类器1
类别2 vs 非类别2 → 分类器2
类别3 vs 非类别3 → 分类器3
...

预测时选择置信度最高的类别。

3.2 Softmax回归

直接建模多类概率分布：

$P(y=k|\mathbf{x})=\frac{e^{{\mathbf{w}}_k^T\mathbf{x}+b_k}}{{\sum }_{j=1}^K{e}^{{\mathbf{w}}_j^T\mathbf{x}+b_j}}$

多类交叉熵损失：

$J(\mathbf{W})=-\frac{1}{n}{\sum }_{i=1}^n{\sum }_{k=1}^K{y}_{ik}\ln P(y_i=k|{\mathbf{x}}_i)$

其中 $y_{ik}$ 为 one-hot 编码。

Softmax梯度：

$\frac{\partial J}{\partial {\mathbf{w}}_k}=\frac{1}{n}{\sum }_{i=1}^n(P(y_i=k|{\mathbf{x}}_i)-y_{ik}){\mathbf{x}}_i$

3.3 OvR vs Softmax

4. 正则化与优化

4.1 正则化

L1正则化：

$J_{L1}=J(\mathbf{w})+\lambda \Vert \mathbf{w}{\Vert }_1$

L2正则化：

$J_{L2}=J(\mathbf{w})+\frac{\lambda }{2}\Vert \mathbf{w}{\Vert }^2$

Elastic Net：

$J_{EN}=J(\mathbf{w})+{\lambda }_1\Vert \mathbf{w}{\Vert }_1+\frac{{\lambda }_2}{2}\Vert \mathbf{w}{\Vert }^2$

4.2 优化算法

5. 模型评估与调优

5.1 分类评估指标

5.2 阈值选择

默认阈值为0.5，但可根据业务需求调整：

• 提高召回率：降低阈值（如0.3），适用于疾病筛查
• 提高精确率：提高阈值（如0.7），适用于垃圾邮件过滤

ROC曲线：绘制不同阈值下的TPR vs FPR

AUC：ROC曲线下面积，衡量分类器整体性能

$\text{AUC}=P(\text{score}({\mathbf{x}}_{+})>\text{score}({\mathbf{x}}_{-}))$

5.3 类别不平衡处理