机器学习课程-温州大学-08机器学习-集成学习

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/fengdu78

摘要

文档介绍了集成学习方法，包括AdaBoost、GBDT、XGBoost和LightGBM等算法。AdaBoost通过不断调整样本权重来训练基本分类器，而GBDT基于梯度下降法训练回归树。XGBoost作为并行boosting树工具，以其高效性能著称。LightGBM由微软提出，具有训练速度快、内存占用低和分布式支持等优势。Bagging通过子抽样生成基模型，综合预测结果。Boosting则通过按顺序训练基模型并进行数据转化，实现更高的预测准确率。

AI总结

《机器学习课程-温州大学-08机器学习-集成学习》摘要

本文主要介绍了集成学习及其几种常见算法，包括AdaBoost、GBDT、XGBoost和LightGBM。以下是核心内容的总结：

1. **集成学习方法概述**：
- **Bagging**：通过对训练集进行子抽样，训练多个基模型，最后综合所有基模型的预测结果。
- **Boosting**：按照顺序训练基模型，每次训练时对数据进行一定策略的转换，基模型的预测结果进行线性综合。

2. **AdaBoost算法**：
- 自适应增强算法，训练时，前一个模型错误分类的样本会被加权，在后续训练中占比更大。
- 持续迭代，直至错误率足够小或达到指定次数。

3. **GBDT算法**：
- 基于决策树的提升方法，使用回归树拟合残差，逐步优化预测结果。
- 通过减小损失函数来更新模型。

4. **XGBoost**：
- 最快的开源提升树工具，比常见工具快10倍以上。
- 与GBDT相比在工程实现和目标函数定义上有所差异。

5. **LightGBM**：
- 微软提出，用于解决GBDT在海量数据中的问题。
- 具有训练速度快、内存占用低、准确率高、支持分布式处理等优势。

本文通过对几种集成学习算法的概述，分析了它们的工作机制和优缺点，帮助了解各自适用的场景。