## 机器学习-集成学习 黄海广 副教授 2022年12月 ## 本章目录 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM ### 1. 集成学习方法概述 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM ## 集成学习 ## Bagging 从 ## 集成学习 ## Boosting 训练过程为阶梯状，基模型按次序——进行训练（实现上可以做到并行），基模型的训练集按照某种策略每次都进行一定的转化。对所有基模型预测的结果进行线性综合产生最终的预测结果。  ## 集成学习 ## 易于并行化，在大数据集上有很大的优势； 3. 能够处理高维度数据，不用做特征选择。 ## 随机森林 Random Forest（随机森林）是 Bagging 的扩展变体，它在以决策树为基学习器构建 Bagging 集成的基础上，进一步在决策树的训练过程中引入了随机特征选择，因此可以概括随机森林包括四个部分： 1. 随机选择样本（放回抽样）； 2. 随机选择特征; 3. 构建决策树； 4. 随机森林投票（平均）。

## ZPLAY 掌游天下 崔英杰 ## Go的持续集成 实践分享 ## 什么是持续集成 持续集成 是一种软件开发实践。在持续集成中，团队成员频繁集成他们的工作成果，一般每人每天至少集成一次，也可以多次。每次集成会经过自动构建（包括自动测试）的检验，以尽快发现集成错误。 ## — Martin Fowler ## 持续集成的好处 1. 快速发现修复错误 2. 降低风险 3. 持续发布 ts/3/8/9/4/3894e5dd4516ea856c0648981478e041/p4_1.jpg) 简单 激情 速度快 聚焦 极致 可信赖 ## 分享惨案经历 1. 无单元测试，手工集成测试 2. 测试用例300多个，需要一个星期 3. 面对业务压力，规则形同虚设 4. 深夜事故 简单 激情 速度快 聚焦 极致 可信赖 ## 原有开发体系的问题 1. 迭代周期漫长 2 极致 可信赖  ## 持续 1. 持续集成 Continuous Integration(CI) 2. 持续发布 Continuous Delivery 3. 持续部署 Continuous Deployment ## Continuous

## UCX .NVIDIA Mellanox 开源项目 ·支持RDMA，TCP，Shared memory等 ·能透明支持多个链路传输，例如多网卡bond ·编译成.so或lib的方式，可以集成到应用程序里 ·有完善的配置功能，ucx_info可以dump配置信息 ·有性能测试工具 ·比较详细的文档 ## Architecture Applications MPICH, Open-MPI

大数据集成与 Hadoop 可最大限度降低Hadoop计划风险并提高ROI的最佳实践  IBM $ ^{®} $ ## 简介 Apache Hadoop技术通过支持新的流程和架构，不断改进大数据措施的经济性和活力，这样不仅有助于削减 System（用于存储大型文件）和Hadoop分布式并行处理框架（称为MapReduce）。 但是，Hadoop基础架构本身并没有提供完整的大数据集成解决方案，摆在人们面前的既有挑战，也有机遇，只有处理好这些问题，才能安享各项优势，最大限度提高投资回报率（ROI）。 ## 大数据集成对于Hadoop措施的重要性 Hadoop的迅速崛起推动企业在如何抽取、管理、转换、存储和分析大数据方面实现了范式转变。无论是要 创造新的收入。 依靠收集、移动、转换、清除、集成、治理、探索以及分析多种不同来源的大量不同类型的数据来实现大数据与Hadoop项目。实现所有这些目标需要运用富有弹性的端到端信息集成解决方案，该解决方案不仅可实现大规模扩展，还能提供支持Hadoop项目所需的基础架构、功能、流程和行为准则。 “在很大程度上，80%的大数据项目开发精力用于数据集成，只有20%的精力投入到数据分析中。” —Intel

Oracle 白皮书 2011年1月 通过 Oracle 并行处理集成 Hadoop 数据 ## 引言 许多垂直行业都在关注文件系统中庞大的数据。这些数据中通常包含大量无关的明细信息，以及部分可用于趋势分析或丰富其他数据的精华信息。尽管这些数据存储在数据库之外，但一些客户仍然希望将其与数据库中的数据整合在一起以提取对业务用户有价值的信息。 本文详细介绍了如何从 Oracle 数据库访问存储在 from orders), '/home/hadoop/eq_test4.sh'); ## 总结 本文中的示例表明，将 Hadoop 系统与 Oracle Database 11g 集成是非常容易的。 本文中讨论的方法允许客户将 Hadoop 中的数据直接传递到 Oracle 查询中。这避免了将数据获取到本地文件系统并物化到 Oracle 表中，之后才能在 SQL 查询中访问这些数据的过程。 地址：上海市杨浦区淞沪路290号创智天地10号楼512-516单元 邮编：200433 电话：(86.21) 6095-2500 传真：(86.21) 6095-2555 通过 Oracle 并行处理集成 Hadoop 数据 2010 年 1 月 作者：Shrikanth Shankar，Alan Choi 和 Jean-Pierre Dijcks 公司网址：http://www.oracle

## 深度学习-深度学习实践 黄海广 副教授 2023年03月 ## 本章目录 01 数据集划分 02 数据集制作 03 数据归一化/标准化 04 正则化 05 偏差和方差 ## 数据集划分 训练集（Training Set）：帮助我们训练模型，简单的说就是通过训练集的数据让我们确定拟合曲线的参数。 验证集（Validation Set）：也叫做开发集（Dev Set），用来做模型选择（model selection），即做模型的最终优化及确定的，用来辅助我们的模型的构建，即训练超参数，可选； 测试集（Test Set）：为了测试已经训练好的模型的精确度。 三者划分：训练集、验证集、测试集 机器学习：60%，20%，20%；70%，10%，20% 深度学习：98%，1%，1%（假设百万条数据） ## 交叉验证 的技术，保留所有的特征，但是减少参数的大小（magnitude），它可以改善或者减少过拟合问题。 ### 4. 集成学习方法 集成学习是把多个

## 机器学习-机器学习实践 黄海广 副教授 2022年02月 ## 本章目录 01 数据集划分 02 评价指标 03 正则化、偏差和方差 ### 1. 数据集划分 ## 01 数据集划分 02 评价指标 03 正则化、偏差和方差 ### 1. 数据集划分 训练集（Training Set）：帮助我们训练模型，简单的说就是通过训练集的数据让我们确定拟合曲线的参数。 验证集（Validation >训练集验证集测试集 三者划分：训练集、验证集、测试集 机器学习：60%，20%，20%；70%，10%，20% 深度学习：98%，1%，1%（假设百万条数据） ## 交叉验证 

## 深度学习-引言 黄海广 副教授 2023年03月 ## 本章目录 01 深度学习概述 02 神经网络的基础 03 深度学习的背景知识 04 深度学习的开发流程 ### 1. 深度学习概述 ## 01 深度学习概述 02 神经网络的基础 03 深度学习的背景知识 04 深度学习的开发流程 ## 深度学习与机器学习、人工智能的关系 人工智能：机器展现的人类智能 机器 机器学习：计算机利用已有的数据(经验)，得出了某种模型，并利用此模型预测未来的一种方法。 深度学习：实现机器学习的一种技术  ## 深度学习界的执牛耳者  周志华，南京大学计算机科学与技术系主任、人工智能学院院长。代表作：《机器学习》（西瓜书） ## 人工智能界的青年才俊 ![Image](/uploa

## 机器学习-机器学习项目流程 黄海广 副教授 2021年06月 ## 本章目录 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 ### 1. 机器学习项目流程概述 ## 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 ## 机器学习的一般步骤 历史数据 经验  训练 归纳 模型 预测 未知属性 新的问题 规律 ## 机器学习的一般步骤 数据搜集  数据清洗 ![Ima 261571005440e/p5_10.jpg) ## 机器学习的一般步骤 ## 数据搜集 • 网络下载 • 网络爬虫 • 数据库读取 • 开放数据 ## 数据清洗 • 数据清理和格式化 • 探索性数据分析(EDA) ## 特征工程 • 特征工程 • 特征选择 ## 数据建模 - 基于性能指标比较几种机器学习模型 • 对最佳模型执行超参数调整 • 在测试集上评估最佳模型