特征工程详解

1. 特征工程概述

特征工程是将原始数据转化为更能代表问题本质的特征的过程，往往决定了模型性能的上限。

1.1 核心原则

“Feature engineering is the art of extracting more information from existing data.” — 吴恩达

2. 特征选择

2.1 过滤法（Filter）

方差阈值：删除方差过小的特征（几乎不变化）

from sklearn.feature_selection import VarianceThreshold
selector = VarianceThreshold(threshold=0.01)
X_selected = selector.fit_transform(X)

相关系数：删除与目标相关性极低的特征

$r_{xy} = \frac{\sum(x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum(x_i - \bar{x})^2 \sum(y_i - \bar{y})^2}}$

互信息：衡量特征与目标的信息依赖

$I(X;Y) = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)p(y)}$

卡方检验：类别特征与目标变量的独立性检验

$\chi^2 = \sum \frac{(O_{ij} - E_{ij})^2}{E_{ij}}$

2.2 包装法（Wrapper）

递归特征消除（RFE）：

1. 用所有特征训练模型
2. 根据特征重要性删除最不重要的特征
3. 重复直到达到目标特征数

from sklearn.feature_selection import RFE
from sklearn.ensemble import RandomForestClassifier
rfe = RFE(RandomForestClassifier(), n_features_to_select=20)
X_selected = rfe.fit_transform(X, y)

2.3 嵌入法（Embedded）

2.4 方法对比

3. 特征提取

3.1 数值特征

3.2 类别特征

Target Encoding：

$\text{TE}(c) = \frac{n_c \cdot \bar{y}_c + m \cdot \bar{y}}{n_c + m}$

其中 $n_c$ 为类别 $c$ 的样本数，$\bar{y}_c$ 为类别 $c$ 的目标均值，$m$ 为平滑参数。

3.3 时间特征

周期编码：

$x_{\sin} = \sin\left(\frac{2\pi t}{T}\right), \quad x_{\cos} = \cos\left(\frac{2\pi t}{T}\right)$

3.4 文本特征

TF-IDF：

$\text{TF-IDF}(t, d) = \text{TF}(t, d) \times \log\frac{N}{\text{DF}(t)}$

4. 特征构造

4.1 交叉特征

$x_{new} = x_1 \times x_2$

# 交互特征
X['area'] = X['length'] * X['width']
X['price_per_area'] = X['price'] / X['area']

4.2 多项式特征

$x_{new} = x_1^2, x_1 x_2, x_2^2, \ldots$

from sklearn.preprocessing import PolynomialFeatures
poly = PolynomialFeatures(degree=2, interaction_only=True)
X_poly = poly.fit_transform(X)

4.3 聚合特征

5. 自动化特征工程

5.1 Featuretools

import featuretools as ft

es = ft.EntitySet(id='sales')
es.add_dataframe(dataframe_name='orders', dataframe=orders, index='order_id')
es.add_dataframe(dataframe_name='customers', dataframe=customers, index='customer_id')

es.add_relationship('customers', 'customer_id', 'orders', 'customer_id')

feature_matrix, feature_defs = ft.dfs(
    entityset=es,
    target_dataframe_name='customers',
    agg_primitives=['mean', 'sum', 'count', 'max'],
    trans_primitives=['month', 'year', 'day']
)

5.2 特征工程最佳实践

1. 先建立基线：用原始特征训练模型
2. 逐步添加：每次添加一类特征，观察效果
3. 删除冗余：高相关特征只保留一个
4. 防止泄露：不用未来信息构造特征
5. 记录过程：每个特征的业务含义和构造逻辑