机器学习课程-温州大学-07机器学习-决策树

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/fengdu78

摘要

文档详细介绍了决策树的基本原理及其三种主要算法：ID3、C4.5和CART。决策树是一种树状结构，通过一系列决策对数据进行划分，属于监督学习方法。ID3算法基于信息论，以信息增益为标准；C4.5算法在ID3基础上改进，使用信息增益率；CART算法则采用基尼指数或均方差作为特征选择标准，支持分类和回归。文档还讨论了决策树的优点，如可解释性强、适合处理缺失数据，以及其缺点，如易过拟合和忽略数据相关性。最后，介绍了CART算法的剪枝方法及其预测机制。

AI总结

### 《机器学习课程-温州大学-07机器学习-决策树》总结

#### 决策树概述
决策树是一种树状结构，通过一系列决策对数据进行划分，类似于回答一系列问题。其决策过程从根节点开始，测试待分类项的特征属性，按照属性值选择分支，直到叶子节点，叶子节点的类别作为决策结果。

#### 决策树原理
- 决策树属于监督学习方法，通过归纳分类规则对新数据进行预测。
- 构建决策树的核心是属性选择的度量，常用的指标包括信息增益、信息增益率和基尼指数。
- 决策树算法采用贪心算法，自顶向下逐步构建。

#### 决策树特点
**优点：**
- 推理过程直观，计算简单，可解释性强。
- 能处理缺失属性样本，自动忽略无关属性，减少变量数目。
- 适合数据分类和回归任务。

**缺点：**
- 易过拟合，需剪枝处理。
- 忽略数据相关性，信息增益偏向多数值特征。

#### 决策树的三种基本类型
根据目标函数和算法不同，决策树主要有以下三种：
1. **ID3算法**：基于信息论，以信息增益为度量。
2. **C4.5算法**：改进版ID3，使用信息增益率，支持连续值和缺失值。
3. **CART算法**：支持分类和回归，使用基尼指数或均方差，支持连续值和缺失值，允许特征重复使用。

#### 算法对比
| 算法 | 支持模型 | 树结构 | 特征选择 | 连续值处理 | 缺失值处理 | 剪枝 | 特征重复使用 |
|------|----------|--------|----------|------------|------------|-----|-------------|
| ID3 | 分类 | 多叉树 | 信息增益 | 不支持 | 不支持 | 不支持 | 不支持 |
| C4.5 | 分类 | 多叉树 | 信息增益率 | 支持 | 支持 | 支持 | 不支持 |
| CART | 分类/回归 | 二叉树 | 基尼指数/均方差 | 支持 | 支持 | 支持 | 支持 |

#### CART剪枝
CART算法采用“基于代价复杂度的剪枝”方法，生成一系列树并选择最优树。剪枝过程需使用测试数据集评估性能。

#### 总结
决策树是一种直观、高效的分类和回归工具，但需注意过拟合问题。ID3、C4.5和CART算法各有优劣，适用于不同场景。