## ZPLAY 掌游天下 崔英杰 ## Go的持续集成 实践分享 ## 什么是持续集成 持续集成 是一种软件开发实践。在持续集成中，团队成员频繁集成他们的工作成果，一般每人每天至少集成一次，也可以多次。每次集成会经过自动构建（包括自动测试）的检验，以尽快发现集成错误。 ## — Martin Fowler ## 持续集成的好处 1. 快速发现修复错误 2. 降低风险 3. 持续发布 ts/3/8/9/4/3894e5dd4516ea856c0648981478e041/p4_1.jpg) 简单 激情 速度快 聚焦 极致 可信赖 ## 分享惨案经历 1. 无单元测试，手工集成测试 2. 测试用例300多个，需要一个星期 3. 面对业务压力，规则形同虚设 4. 深夜事故 简单 激情 速度快 聚焦 极致 可信赖 ## 原有开发体系的问题 1. 迭代周期漫长 2 极致 可信赖  ## 持续 1. 持续集成 Continuous Integration(CI) 2. 持续发布 Continuous Delivery 3. 持续部署 Continuous Deployment ## Continuous

## 用UCX实现BRPC对RDMA的支持 徐逸锋 ## BRPC简介 ·BRPC是Curve的基础通讯框架 ·支持远程过程调用 -C++ -TCP传输 -bthread协程(m:n调度，减少基于内核的下文切换，减少cache miss) ·多协议支持 -baidu_std,http,grpc... .protobuf BRPC简介 Client/Server架构 使用Protobuf定义协议文件 ## UCX .NVIDIA Mellanox 开源项目 ·支持RDMA，TCP，Shared memory等 ·能透明支持多个链路传输，例如多网卡bond ·编译成.so或lib的方式，可以集成到应用程序里 ·有完善的配置功能，ucx_info可以dump配置信息 ·有性能测试工具 ·比较详细的文档 ## Architecture Applications MPICH, Open-MPI

大数据集成与 Hadoop 可最大限度降低Hadoop计划风险并提高ROI的最佳实践  IBM $ ^{®} $ ## 简介 Apache Hadoop技术通过支持新的流程和架构，不断改进大数据措施的经济性和活力，这样不仅有助于削减 Distributed File System（用于存储大型文件）和Hadoop分布式并行处理框架（称为MapReduce）。 但是，Hadoop基础架构本身并没有提供完整的大数据集成解决方案，摆在人们面前的既有挑战，也有机遇，只有处理好这些问题，才能安享各项优势，最大限度提高投资回报率（ROI）。 ## 大数据集成对于Hadoop措施的重要性 Hadoop的迅速崛起推动企业在如何抽取、管理、转换、 创造新的收入。 依靠收集、移动、转换、清除、集成、治理、探索以及分析多种不同来源的大量不同类型的数据来实现大数据与Hadoop项目。实现所有这些目标需要运用富有弹性的端到端信息集成解决方案，该解决方案不仅可实现大规模扩展，还能提供支持Hadoop项目所需的基础架构、功能、流程和行为准则。 “在很大程度上，80%的大数据项目开发精力用于数据集成，只有20%的精力投入到数据分析中。” —Intel

Oracle 白皮书 2011年1月 通过 Oracle 并行处理集成 Hadoop 数据 ## 引言 许多垂直行业都在关注文件系统中庞大的数据。这些数据中通常包含大量无关的明细信息，以及部分可用于趋势分析或丰富其他数据的精华信息。尽管这些数据存储在数据库之外，但一些客户仍然希望将其与数据库中的数据整合在一起以提取对业务用户有价值的信息。 本文详细介绍了如何从 Oracle 数据库访问存储在 mapreduce。通常情况下，Oracle Database 11g 中的并行执行框架足以满足针对外部表大多数的并行操作。 在有些情况下（例如，如果 FUSE 不可用），外部表方法可能不适用。Oracle 表函数提供了从 Hadoop 中获取数据的替代方法。本文附带的示例展示了一种这样的方法。更深入地来讲，我们用一个表函数来实现，这个表函数使用 DBMS_SCHEDULER 框架异步调用外部 shell 脚本，然后由这个 shell from orders), '/home/hadoop/eq_test4.sh'); ## 总结 本文中的示例表明，将 Hadoop 系统与 Oracle Database 11g 集成是非常容易的。 本文中讨论的方法允许客户将 Hadoop 中的数据直接传递到 Oracle 查询中。这避免了将数据获取到本地文件系统并物化到 Oracle 表中，之后才能在 SQL 查询中访问这些数据的过程。

## 机器学习-集成学习 黄海广 副教授 2022年12月 ## 本章目录 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM ### 1. 集成学习方法概述 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM ## 集成学习 ## Bagging 从 jpg) ## 集成学习 ## Boosting 训练过程为阶梯状，基模型按次序——进行训练（实现上可以做到并行），基模型的训练集按照某种策略每次都进行一定的转化。对所有基模型预测的结果进行线性综合产生最终的预测结果。  ## 集成学习 ## 易于并行化，在大数据集上有很大的优势； 3. 能够处理高维度数据，不用做特征选择。 ## 随机森林 Random Forest（随机森林）是 Bagging 的扩展变体，它在以决策树为基学习器构建 Bagging 集成的基础上，进一步在决策树的训练过程中引入了随机特征选择，因此可以概括随机森林包括四个部分： 1. 随机选择样本（放回抽样）； 2. 随机选择特征; 3. 构建决策树； 4. 随机森林投票（平均）。

## ServiceComb 微服务框架 杨波 ServiceComb 社区 / 华为开源软件能力中心 ## ServiceComb微服务解决方案 云 平滑上云 ServiceComb 微服务解决方案 Java编程 (POJO/SpringM VC/JAX-RS) 熔断/容错 处理链 限流 负载均衡 JWT认证 Golang 编程 边缘服务 服务契约 微服务脚手架 ServiceCenter 是一个使用Go构造的、建立在etcd存储上的高性能、高可用服务中心。 Java微服务SDK Java Chassis是一个由编程模型、运行模型、通信模型和服务契约四个部分组成的微服务框架。 Saga 分布式事务解决方案 Saga 是一个微服务数据一致性解决方案。 Go微服务SDK 编程模型 ![Image](/uploads/documents/b/d/e/e/ } } ## ServiceComb与Spring Cloud的集成 •Java-Chassis与Saga都对Spring Boot进行了深 度集成 •通过Starter形式，Java-Chassis提供了Spring Cloud Discovery, Zuul等组件的集成 ·根据需要，后期会继续集成更多的组件 RestTemplate Spring Cloud Zuul

GoFrame框架介绍及设计  郭强 成都医联科技 架构师  框架介绍 01 模块化设计 02 统一框架设计 03 代码分层设计 04 对象封装设计 05 DAO封装设计 06 未来发展规划 07 ## 第一部分 ## 框架介绍 • 框架介绍 • 框架架构 • 项目初心 ## 框架介绍  GoFrame是一款模块化、高性能、企业级的Go基础开发框架。 • 模块化、松耦合 • 模块丰富、开箱即用 • 简洁易用、快速接入 • 文档详尽、易于维护 ## 特点 • 自顶向下、体系化设计 • 统一框架、统一组件、降低选择成本 • 开发规范、设计模式、代码分层模型 • 强大便捷的开发工具链 完善的本地中文化支持 • 设计为团队及企业使用 ## 框架介绍-框架架构 ![Image](/uplo

## Kubernetes 异常配置检测框架 顾静, 阿里云 邓隽, 阿里云 ## 我们来自阿里云容器服务 • 顾静，研发工程师 • 邓隽，技术专家 ## 我们参与打造 • 容器服务（ACK/ASK） • 容器镜像服务（ACR） • 服务网格（ASM） 1 Kubernetes 典型异常 2 检测框架演进 3 生产实践 4 总结 ## Kubernetes 使用日常 Kernel|仅能检测 Kernel 相关问题 要求熟悉 bpftrace 语言| 1 Kubernetes 典型异常 2 检测框架演进 3 生产实践 4 总结 ## 我们的目标 实现 Kubernetes 集群异常检测框架 支持集群多维度异常检测能力 支持集成开源检测组件 检测框架 Ver.1 自动化 ### V er.1 自动化 2. 根据策略执行检测任务  • 领域特定语言指专注于某个应用程序领域的计算机语言 目标受众为非程序员、业务员或最终客户

Cloud Native 架构下的 K8S 和微服务实践 ## 华为微服务框架 ServiceComb 姜宁 华为公司 技术专家 ## SPEAKER INTRODUCTION 华为公司 ServiceComb项目负责人. Apache Member Apache Camel, Apache CXF, Apache ServiceMix PMC member, Committer. ？ 开源 框架 侵入式 微服务 解决方案 非侵入式 多语言 ## ServiceComb的来源  ## ServiceComb项目介绍 ## • Java/Go Chassis • Java/Go 微服务框架 • 提供微 ents/8/4/6/5/8465d2f44e36ceff162b78e8a1c447ad/p11_1.jpg) ## Metrics • 覆盖关键指标 • 支持多时间周期性能指标统计 • 集成Prometheus，OverWatch • 提供health check 接口检查 |Metrics|子项|说明| |---|---|---| |微服务资源使用|CPU、ThreadCoun