## ZPLAY 掌游天下 崔英杰 ## Go的持续集成 实践分享 ## 什么是持续集成 持续集成 是一种软件开发实践。在持续集成中，团队成员频繁集成他们的工作成果，一般每人每天至少集成一次，也可以多次。每次集成会经过自动构建（包括自动测试）的检验，以尽快发现集成错误。 ## — Martin Fowler ## 持续集成的好处 1. 快速发现修复错误 2. 降低风险 3. 持续发布 ts/3/8/9/4/3894e5dd4516ea856c0648981478e041/p4_1.jpg) 简单 激情 速度快 聚焦 极致 可信赖 ## 分享惨案经历 1. 无单元测试，手工集成测试 2. 测试用例300多个，需要一个星期 3. 面对业务压力，规则形同虚设 4. 深夜事故 简单 激情 速度快 聚焦 极致 可信赖 ## 原有开发体系的问题 1. 迭代周期漫长 2 极致 可信赖  ## 持续 1. 持续集成 Continuous Integration(CI) 2. 持续发布 Continuous Delivery 3. 持续部署 Continuous Deployment ## Continuous

## UCX .NVIDIA Mellanox 开源项目 ·支持RDMA，TCP，Shared memory等 ·能透明支持多个链路传输，例如多网卡bond ·编译成.so或lib的方式，可以集成到应用程序里 ·有完善的配置功能，ucx_info可以dump配置信息 ·有性能测试工具 ·比较详细的文档 ## Architecture Applications MPICH, Open-MPI

大数据集成与 Hadoop 可最大限度降低Hadoop计划风险并提高ROI的最佳实践  IBM $ ^{®} $ ## 简介 Apache Hadoop技术通过支持新的流程和架构，不断改进大数据措施的经济性和活力，这样不仅有助于削减 System（用于存储大型文件）和Hadoop分布式并行处理框架（称为MapReduce）。 但是，Hadoop基础架构本身并没有提供完整的大数据集成解决方案，摆在人们面前的既有挑战，也有机遇，只有处理好这些问题，才能安享各项优势，最大限度提高投资回报率（ROI）。 ## 大数据集成对于Hadoop措施的重要性 Hadoop的迅速崛起推动企业在如何抽取、管理、转换、存储和分析大数据方面实现了范式转变。无论是要 创造新的收入。 依靠收集、移动、转换、清除、集成、治理、探索以及分析多种不同来源的大量不同类型的数据来实现大数据与Hadoop项目。实现所有这些目标需要运用富有弹性的端到端信息集成解决方案，该解决方案不仅可实现大规模扩展，还能提供支持Hadoop项目所需的基础架构、功能、流程和行为准则。 “在很大程度上，80%的大数据项目开发精力用于数据集成，只有20%的精力投入到数据分析中。” —Intel

Oracle 白皮书 2011年1月 通过 Oracle 并行处理集成 Hadoop 数据 ## 引言 许多垂直行业都在关注文件系统中庞大的数据。这些数据中通常包含大量无关的明细信息，以及部分可用于趋势分析或丰富其他数据的精华信息。尽管这些数据存储在数据库之外，但一些客户仍然希望将其与数据库中的数据整合在一起以提取对业务用户有价值的信息。 本文详细介绍了如何从 Oracle 数据库访问存储在 from orders), '/home/hadoop/eq_test4.sh'); ## 总结 本文中的示例表明，将 Hadoop 系统与 Oracle Database 11g 集成是非常容易的。 本文中讨论的方法允许客户将 Hadoop 中的数据直接传递到 Oracle 查询中。这避免了将数据获取到本地文件系统并物化到 Oracle 表中，之后才能在 SQL 查询中访问这些数据的过程。 地址：上海市杨浦区淞沪路290号创智天地10号楼512-516单元 邮编：200433 电话：(86.21) 6095-2500 传真：(86.21) 6095-2555 通过 Oracle 并行处理集成 Hadoop 数据 2010 年 1 月 作者：Shrikanth Shankar，Alan Choi 和 Jean-Pierre Dijcks 公司网址：http://www.oracle

## 机器学习-集成学习 黄海广 副教授 2022年12月 ## 本章目录 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM ### 1. 集成学习方法概述 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM ## 集成学习 ## Bagging 从 jpg) ## 集成学习 ## Boosting 训练过程为阶梯状，基模型按次序——进行训练（实现上可以做到并行），基模型的训练集按照某种策略每次都进行一定的转化。对所有基模型预测的结果进行线性综合产生最终的预测结果。  ## 集成学习 ## 易于并行化，在大数据集上有很大的优势； 3. 能够处理高维度数据，不用做特征选择。 ## 随机森林 Random Forest（随机森林）是 Bagging 的扩展变体，它在以决策树为基学习器构建 Bagging 集成的基础上，进一步在决策树的训练过程中引入了随机特征选择，因此可以概括随机森林包括四个部分： 1. 随机选择样本（放回抽样）； 2. 随机选择特征; 3. 构建决策树； 4. 随机森林投票（平均）。

## GCN ## 云原生边云协同AI框架实践  普杰 华为云边缘云创新Lab 高级工程师 KubeEdge SIG AI Tech Lead  ## 目录 Edge AI现状与趋势 01 Sedna：边云协同AI框架 02 Sedna-GM：K8S Operator 03 实践案例 04 第一部分 ## Edge AI现状与趋势 ## Why Edge AI? - Cloud中心化的AI计算范式不足以应对端上AI应用对实时性、准确性和强交互性的需求 9/9/1199e88c64788228f6adafa316b1feba/p4_2.jpg) ## AI应用到越来越多的边缘场景 智能家居 智能医疗 智慧城市 AR/VR/MR 云数据中心  智慧交通 工业互联网 智慧农业

MATLAB与Spark/Hadoop相集成：实现大数据的处理和价值挖 马文辉  ## 内容 ## 大数据及其带来的挑战 ## ■ MATLAB大数据处理 tall数组 并行与分布式计算 ## ■ MATLAB与Spark/Hadoop集成 MATLA [Image](/uploads/documents/7/4/4/3/7443ec4ad6d06d59ed1d816fa7428131/p8_3.jpg) ## MATLAB与Spark/Hadoop集成 ## 🔍 Spark $ ^{™} $ hadoop ## Hadoop Hadoop是跨计算机集群的分布式大数据处理平台，由两部分组成： • YARN (Yet Another Resource

2020-11.21-22 华为云的Go语言云原生实践 定义云应用开发的“通信协议” ’ alt=‘OCR图片’/> 个人介绍 11年研发经验，8年云计算领域开发经验 DevOps，APM，PaaS，混合云等均有深入实践 曾在三星负责公司Svoice，AI服务的云化落地 现任华为云微服务首席架构师，负责微服务相关产品落地 Agenda 展开一个云上应用来看他的设计与实现 如何提升研发效能，更快的交付新的云服务 团队的第一go程序：Service Center GOPHER CHINA 2020 中国 上海 / 2020-11.21-22 然而不只是注册发现 静态与动态信息定义 这里存了什么 Version string Description string Level string Schemas []string Paths []*ServicePath CHINA 2020 为什么应用API first — 效率低下的开发模式 客户端总是在等待API服务真正的发布，甚至是部署 通过注册到Service Center的API生成mock代码进行集成测试。等到服务发布后，再切换到真实服务进行测试 为什么应用API first — 糟糕的API设计 不符合restful风格 字段风格不一致 扩展能力差 易用性差 API能力相似

白皮书 No.202303 # 云计算白皮书 ## (2023 年) 中国信息通信研究院 2023年7月 ## 版权声明 本白皮书版权属于中国信息通信研究院，并受法律保护。转载、摘编或利用其它方式使用本白皮书文字或者观点的，应注明“来源：中国信息通信研究院”。违反上述声明者，本院将追究其相关法律责任。 ## 前言 党的二十大报告提出，要构建新一代信息技术等一批新的增长引擎，打造具有国际 数字产业集群。云计算是信息技术发展和服务模式创新的集中体现，是信息化发展的重大变革和必然趋势，是信息时代国际竞争的制高点和经济发展新动能的助燃剂。云计算引发了软件开发部署模式的创新，成为承载各类应用的关键基础设施，并为大数据、物联网、人工智能等新兴领域的发展提供基础支撑。加快推动云计算创新发展，顺应新一轮科技革命和产业变革趋势，是推进中国式现代化进程的关键。 过去一年，全球和我国云计算产业保持快速发展，并呈现出以下特点： ： 一是云计算战略价值在全球范围内持续提升。美国继“云优先”（Cloud First）、“云敏捷”(Cloud Smart)之后，又出台多个战略文件，将云计算应用至相关领域，并明确提出通过云战略获取全球优势，以确保其在经济、军事、科技等领域的领先地位。欧洲、亚洲等主要国家纷纷发布国家战略或计划，推动云计算在各行业的应用布局，深度挖掘云计算产业价值。我国政策指引云计算应用创新，持续推动云计算与实体经济融合走深。