本章目录 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM ### 1. 集成学习方法概述 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM ## 集成学习 ## Bagging 从训练集中进行子抽样组成每个基模型所需要的子训练集，对所有基模型预测的结果进行综合产生最终的预测结果： _1.jpg) Bootstrapping ### 2. AdaBoost和GBDT算法 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM ## AdaBoost算法 AdaBoost（Adaptive Boosting，自适应增强），其自适应在于：前一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来训练下一个基本 f_{m}(x)=f_{m-1}(x)+\sigma_{m}T(x;\theta_{m}) $ ### 3. XGBoost 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM ### 3. XGBoost XGBoost 是大规模并行 boosting tree 的工具，它是目前最快最好的开源 boosting tree 工具包，比常见的工具包快 10 倍以上。XGBoost

BERT 优化其他语言的搜索结果。值得一提的是美团 AI 平台搜索与 NLP 都在 WSDM Cup 2020 检索排序评测任务中提出了基于 Pairwise 模式的 BERT 排序模型和基于 LightGBM 的排序模型，取得了榜单第一名的成绩 $ ^{[23]} $ 。 ## 搜索相关性 美团搜索场景下相关性任务定义如下：给定用户 Query 和候选 Doc（通常为商户或商品），判断两者之间相关性。搜索 87df0f624a5e70022348082/p126_1.jpg) 图 8 自动化特征工程 在模型上，我们尝试了 LightGBM、Wide&Deep、时序模型等等，最终由于 LightGBM 在 tabular 上的优异表现力，选择了 LightGBM。 在模型训练中，我们使用商品流行度加权损失去消除流行度偏差 $ ^{[10]} $ ，损失函数 L 如下式所示： $$ 名研究者的参与。本次评测中我们引入高校合作，参评团队 Ferryman 由搜索与 NLP 部 -NLP 中心的刘帅朋、江会星及电子科技大学、东南大学的两位科研人员共同组建。团队提出了一种基于 BERT 和 LightGBM 的多模融合检索排序解决方案，该方案同时被 WSDM Cup 2020 录用为专栏论文。 WSDM Cup 2020 Task Winner Award Presented to Team

0, learning_rate=1.0) clf.fit(data, labels) predictions = clf.predict_proba(data) ## LightGBM clf = lightgbm.LGBMCClassifier(n_estimators=100, learning_rate=1.0) clf.fit(data, labels) predictions

0_1.jpg) ## Algorithm comparison

	CatBoost	LightGBM		XGBoost		H2O
Adult	0.269741	0 0 码力 | 64 页 | 1.38 MB | 2 年前 3 机器学习课程-温州大学-05机器学习-机器学习实践 需要做数据归一化/标准化处理的。 ## 不需要做数据归一化/标准化 决策树、基于决策树的Boosting和Bagging等集成学习模型对于特征取值大小并不敏感，如随机森林、XGBoost、LightGBM等树模型，以及朴素贝叶斯，以上这些模型一般不需要做数据归一化/标准化处理。 ## 过拟合和欠拟合  ## Algorithm comparison CatBoost LightGBM XGBoost H2O Adult 0.269741 0 0 码力 | 64 页 | 1.38 MB | 2 年前 3 机器学习课程-温州大学-02机器学习-回归 需要做数据归一化/标准化处理的。 ## 不需要做数据归一化/标准化 决策树、基于决策树的Boosting和Bagging等集成学习模型对于特征取值大小并不敏感，如随机森林、XGBoost、LightGBM等树模型，以及朴素贝叶斯，以上这些模型一般不需要做数据归一化/标准化处理。 ### 3. 正则化 01 线性回归 02 梯度下降 03 正则化 04 回归的评价指标 ## 过拟合和欠拟合 0 码力 | 33 页 | 1.50 MB | 2 年前 3 2022年美团技术年货 合辑 Seq2Seq 的模型融合方案 $ ^{[9]} $ ：为了强化时间序列和空间拓扑的建模，我们引入了 Spatial-temporal Gated DNN 与 Seq2Seq 两个模型，并与 LightGBM 一起构建模型融合方案，具体如下。 (1) Spatial-temporal Gated DNN：对于时序问题而言，由于未来预测临近时间点的统计特征值差异较小，直接使用 DNN 模型会使得不 ae4abed19/p52_1.jpg) 图 7 Seq2Seq 模型 （3）模型融合：我们队采用了 Stacking 融合的方式，单个学习器通过不同模型、数据、建模方式来构建差异性。LightGBM 模型使用了天气质量、历史统计、空间拓扑等特征，Spatial-temporal Gate 则是引入了门结构，强化了时空信息。Seq2Seq 利用序列到序列的建模方式，刻画了序列的连续性、波动 变换是对标签进行 Log 转换，模型拟合后对预估值进行还原，这样能帮 助模型关注于小值同时更鲁棒，损失使用 MAE、MSE 等多种，样本权重上利用标签对样本进行加权等，我们在 XGBoost、LightGBM、DNN 上引入这些处理生成多个不同模型进行模型融合，优化极值点问题，达到鲁棒效果。 备注：特别感谢共同参加 KDD Cup 2017 的陈欢、燕鹏、黄攀等同学。 ### 2.3 自动化机器学习问题 0 码力 | 1356 页 | 45.90 MB | 2 年前 3 共 8 条 1 前往 页 相关搜索词 集成学习AdaBoostGBDTXGBoostLightGBMAugur框架机器学习平台深度学习在线预测平台KDD CupPython机器视觉医学影像处理数据驱动ClickHouse机器学习线性回归聚合函数CatBoost数据集划分正则化偏差方差模型管理梯度下降回归的评价指标均方误差美团技术团队短视频分析技术多模态自监督预训练技术视频理解技术本地生活服务