## 机器学习-集成学习 黄海广 副教授 2022年12月 ## 本章目录 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM ### 1. 集成学习方法概述 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM ## 集成学习 ## Bagging 从训 e47bbea4a4089f601/p9_1.jpg) Bootstrapping ### 2. AdaBoost和GBDT算法 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM ## AdaBoost算法 AdaBoost（Adaptive Boosting，自适应增强），其自适应在于：前一个基本分类器分错的样本会得到加强， ## Adaboost算法 ## 算法思想 • 初始化训练样本的权值分布，每个样本具有相同权重； - 训练弱分类器，如果样本分类正确，则在构造下一个训练集中，它的权值就会被降低；反之提高。用更新过的样本集去训练下一个分类器； - 将所有弱分类组合成强分类器，各个弱分类器的训练过程结束后，加大分类误差率小的弱分类器的权重，降低分类误差率大的弱分类器的权重。 ## AdaBoost算法 弱分类器1

d4f69b2bdb870dee3c62dbc766167c/p27_2.jpg) ## 人脸检测－研究进展 人脸检测算法研究分为3个发展阶段： 1. 基于模版匹配的算法 2. 基于 AdaBoost 的框架 3. 基于深度学习的算法 ## 基于模板匹配的人脸检测算法 早期的人脸检测算法使用了模板匹配技术，即用一个人脸模板图像与被检测图像中的各个位置进行匹配，确定这个位置处是否有人脸， invariant neural network-based face detection. 1998, computer vision and pattern recognition. ## 基于AdaBoost框架的人脸检测算法 Boost 算法是基于 PAC（Probably Approximately Correct）学习理论而建立的一套集成学习（Ensemble Learning）算法。俗话说 的核心思想便是利用多个简单的弱分类器，构建出高准确率的强分类器。 在2001年，Viola和Jones设计了一种人脸检测框架（VJ框架） $ ^{[3]} $ 。它使用简单的 Haar-like 特征和级联的 AdaBoost 分类器构造检测器，检测速度较之前的方法有2个数量级的提高，并且保持了很好的精度。 在深度学习出现以前工业界的方案都是基于VJ算法。但VJ算法仍存在一些问题： 1. Haar-like特征是一种相对简单的特征，其稳定性较低；

决策树、朴素贝叶斯、隐马尔科夫模型、高斯混合模型属于概率模型。 感知机、支持向量机、KNN、AdaBoost、K-means以及神经网络均属于非概率模型。 对于非概率模型而言，可按照判别函数线性与否分成线性模型与非线性模型。 感知机、线性支持向量机、KNN、K-means是线性模型。 核支持向量机、AdaBoost、神经网络属于非线性模型。 ## 机器学习的概念-损失函数 1. 0-1损失函数(0-1

0815| |5|Extra Trees Regressor|2755.9265|28180447.2658|5299.6566|0.8043|0.4875|0.3255|0.1496| |6|AdaBoost Regressor|4366.1001|29298215.0087|5411.0606|0.7915|0.6478|0.7662|0.0195| |7|Ridge Regression|4339

=20) clf.fit(X_train, y_train) y_pred = clf.predict(X_test) y_prob = clf.predict_proba(X_test) AdaBoost ensemble.AdaBoostClassifier ensemble.AdaBoostRegressor 基于梯度提升 ensemble.GradientBoostingClassifier

传统的目标检测框架 （1）候选区域选择（采用不同尺寸、比例的滑动窗口对图像进行遍历）； (2) 对不同的候选区域进行特征提取（SIFT、HOG等）； （3）使用分类器进行分类（SVM、Adaboost等）。 ### 1. 目标检测概述 ### 2. 基于深度学习的Two Stages目标检测框架（准确度有优势） 此类算法将检测问题分为两个阶段， 第一阶段生成大量可能含有目标的候选区域（Region

跟深度学习不同，传统方法解决自然场景人脸检测会从特征表示和分类器学习两个方面进行设计。最有代表性的工作是 Viola-Jones 算法 $ ^{[2]} $ ，它利用手工设计的 Haar-like 特征和 Adaboost 算法来完成模型训练。传统方法在 CPU 上检测速度快，结果可解释性强，在相对可控的环境下可以达到较好的性能。但是，当训练数据规模成指数增长时，传统方法的性能提升相对有限，在一些复杂场景下，甚至无法满足应用需求。