特征工程详解

1. 特征工程概述

特征工程是将原始数据转化为更能代表问题本质的特征的过程，往往决定了模型性能的上限。

1.1 核心原则

“Feature engineering is the art of extracting more information from existing data.” — 吴恩达

2. 特征选择

2.1 过滤法（Filter）

方差阈值：删除方差过小的特征（几乎不变化）

from sklearn.feature_selection import VarianceThreshold
selector = VarianceThreshold(threshold=0.01)
X_selected = selector.fit_transform(X)

相关系数：删除与目标相关性极低的特征

$r_{xy}=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum (x_i-\bar{x}{)}^2\sum (y_i-\bar{y}{)}^2}}$

互信息：衡量特征与目标的信息依赖

$I(X;Y)={\sum }_{x,y}p(x,y)\log \frac{p(x,y)}{p(x)p(y)}$

卡方检验：类别特征与目标变量的独立性检验

${\chi }^2=\sum \frac{(O_{ij}-E_{ij}{)}^2}{E_{ij}}$

2.2 包装法（Wrapper）

递归特征消除（RFE）：

1. 用所有特征训练模型
2. 根据特征重要性删除最不重要的特征
3. 重复直到达到目标特征数

from sklearn.feature_selection import RFE
from sklearn.ensemble import RandomForestClassifier
rfe = RFE(RandomForestClassifier(), n_features_to_select=20)
X_selected = rfe.fit_transform(X, y)

2.3 嵌入法（Embedded）

2.4 方法对比

3. 特征提取

3.1 数值特征

3.2 类别特征

Target Encoding：

$\text{TE}(c)=\frac{n_c\cdot {\bar{y}}_c+m\cdot \bar{y}}{n_c+m}$

其中 $n_c$ 为类别 $c$ 的样本数，${\bar{y}}_c$ 为类别 $c$ 的目标均值，$m$ 为平滑参数。

3.3 时间特征

周期编码：

$x_{\sin }=\sin \left(\frac{2\pi t}{T}\right),x_{\cos }=\cos \left(\frac{2\pi t}{T}\right)$

3.4 文本特征

TF-IDF：

$\text{TF-IDF}(t,d)=\text{TF}(t,d)\times \log \frac{N}{\text{DF}(t)}$

4. 特征构造

4.1 交叉特征

$x_{new}=x_1\times x_2$

# 交互特征
X['area'] = X['length'] * X['width']
X['price_per_area'] = X['price'] / X['area']

4.2 多项式特征

$x_{new}=x_1^2,x_1{x}_2,x_2^2,\dots$

from sklearn.preprocessing import PolynomialFeatures
poly = PolynomialFeatures(degree=2, interaction_only=True)
X_poly = poly.fit_transform(X)

4.3 聚合特征

5. 自动化特征工程

5.1 Featuretools

import featuretools as ft

es = ft.EntitySet(id='sales')
es.add_dataframe(dataframe_name='orders', dataframe=orders, index='order_id')
es.add_dataframe(dataframe_name='customers', dataframe=customers, index='customer_id')

es.add_relationship('customers', 'customer_id', 'orders', 'customer_id')

feature_matrix, feature_defs = ft.dfs(
    entityset=es,
    target_dataframe_name='customers',
    agg_primitives=['mean', 'sum', 'count', 'max'],
    trans_primitives=['month', 'year', 'day']
)

5.2 特征工程最佳实践

1. 先建立基线：用原始特征训练模型
2. 逐步添加：每次添加一类特征，观察效果
3. 删除冗余：高相关特征只保留一个
4. 防止泄露：不用未来信息构造特征
5. 记录过程：每个特征的业务含义和构造逻辑