机器学习课程-温州大学-特征工程

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/fengdu78

摘要

文档主要介绍了机器学习中的特征工程，包括其相关概念、特征构建、特征提取和特征选择的方法。特征工程是将原始数据转换为适合模型训练的特征的过程，其目的是提升模型性能。特征构建是指通过组合或分解原始特征来生成新特征，而特征选择则是通过过滤式、包裹式或嵌入式方法从特征集中选择重要特征。文档还强调了数据对机器学习模型性能的重要性，并讨论了特征选择对模型复杂度和计算效率的影响。

AI总结

### 机器学习课程-温州大学-特征工程总结

#### 1. 相关概念
- **定义**：特征工程是将原始数据转换为适合模型训练的数据的过程。
- **目的**：通过构建、提取和选择特征，提升模型性能，使其逼近理论上限。
- **作用**：通过数据转换发现更有意义的特征，或从特征集合中挑选重要特征子集。
- **构成**：包括特征构建、特征提取和特征选择。

#### 2. 数据的重要性
- 数据量达到一定规模后，不同算法的准确率趋于相近。**“数据决定一切”**。
- 特征工程的核心价值在于发现更有意义的特征或选择重要特征。

#### 3. 特征构建
- **定义**：从原始数据中构造新特征，使其更适合建模。
- **方法**：
- 经验：根据领域知识选择特征。
- 属性分割和结合：通过分割或组合原始特征生成新特征。
- 基于模型的特征选择：通过多轮训练逐步筛选特征。

#### 4. 特征选择
- **方法**：
- **过滤式（Filter）**：基于统计量度量特征重要性，过滤掉不相关的特征。
- 代表方法：Relief方法。
- **包裹式（Wrapper）**：根据模型性能选择特征子集。
- **嵌入式（Embedding）**：将特征选择与模型训练融为一体。
- 代表方法：利用正则化（如L1、L2范数）或决策树类算法。

#### 5. 特征选择的影响
- **模型性能**：保留更多特征可提升模型性能，但会增加模型复杂度。
- **计算复杂度**：减少特征数量可降低计算复杂度，但可能会影响模型性能。

#### 6. 总结
特征工程是机器学习中至关重要的一环，通过构建、提取和选择特征，能够显著提升模型性能。选择合适的特征工程方法需综合考虑数据特点、模型需求以及计算效率。