机器学习课程-温州大学-08机器学习-集成学习

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/fengdu78

摘要

文档系统介绍了集成学习方法及其具体实现，包括AdaBoost、GBDT、XGBoost和LightGBM四种算法。AdaBoost通过自适应增强机制逐层提升分类器性能，GBDT采用梯度下降法训练决策树，XGBoost在GBDT基础上优化了正则化和计算效率，而LightGBM由微软提出，具有训练速度快、内存占用低和高准确率的特点，特别适合处理海量数据。

AI总结

### 机器学习-集成学习总结

#### 1. 集成学习方法概述
集成学习通过结合多个基模型（弱分类器）的预测结果，提升模型的整体性能。常见的集成方法包括：
- **Bagging**：通过从训练集中进行子抽样，训练多个基模型，并对预测结果进行综合。这种方法可以有效降低模型的方差。
- **Boosting**：基模型按顺序训练，每次训练都关注前一个模型分错的样本，逐步提升模型性能。最终通过线性组合所有基模型的预测结果，减小偏差，同时降低方差，形成更好的整体模型。
- **Stacking**：将多个基模型的预测结果作为新特征，训练一个新的元模型，用于最终的预测。

#### 2. AdaBoost和GBDT算法
- **AdaBoost（自适应增强）**：通过不断调整样本权重，训练多个弱分类器。每个新分类器重点关注前一个分类器分错的样本，直到达到预定的错误率或最大迭代次数。
- **GBDT（梯度提升决策树）**：基于决策树的Boosting方法，通过拟合残差误差逐步优化模型，特别适用于分类和回归任务。

#### 3. XGBoost
XGBoost是基于GBDT的优化算法，具有以下特点：
- 使用二次导数近似和正则化方法，提升训练效率和模型性能。
- 在工业界广泛应用于分类、回归和排序任务。

#### 4. LightGBM
LightGBM由微软提出，主要用于解决GBDT在处理海量数据时的效率问题。其优势包括：
- **更快的训练速度**：优化了树的生长和特征提取过程。
- **更低的内存消耗**：支持高效的内存管理和分布式训练。
- **更好的准确率**：通过改进的提升策略和分布式的训练支持，适合工业场景下的大规模数据处理。

### 总结
集成学习通过结合多个基模型的预测结果，显著提升了模型的性能和泛化能力。常见的集成方法包括Bagging、Boosting和Stacking，其中AdaBoost和GBDT是Boosting的典型代表。XGBoost在GBDT的基础上进行了优化，而LightGBM则进一步提升了训练速度和内存效率，适合处理大规模数据。