## ZPLAY 掌游天下 崔英杰 ## Go的持续集成 实践分享 ## 什么是持续集成 持续集成 是一种软件开发实践。在持续集成中，团队成员频繁集成他们的工作成果，一般每人每天至少集成一次，也可以多次。每次集成会经过自动构建（包括自动测试）的检验，以尽快发现集成错误。 ## — Martin Fowler ## 持续集成的好处 1. 快速发现修复错误 2. 降低风险 3. 持续发布 /3/8/9/4/3894e5dd4516ea856c0648981478e041/p4_1.jpg) 简单 激情 速度快 聚焦 极致 可信赖 ## 分享惨案经历 1. 无单元测试，手工集成测试 2. 测试用例300多个，需要一个星期 3. 面对业务压力，规则形同虚设 4. 深夜事故 简单 激情 速度快 聚焦 极致 可信赖 ## 原有开发体系的问题 1. 迭代周期漫长 2. 质量缺乏保障 极致 可信赖 ## 迈出第一步 1. 重构 2. 添加单元测试 3. 自动化测试系统 简单 激情 速度快 聚焦 极致 可信赖 ## 青铜时代  Email测试报告 通知测试 简单 激情 速度快 聚焦 极致 可信赖 ![Ima

Mellanox 开源项目 ·支持RDMA，TCP，Shared memory等 ·能透明支持多个链路传输，例如多网卡bond ·编译成.so或lib的方式，可以集成到应用程序里 ·有完善的配置功能，ucx_info可以dump配置信息 ·有性能测试工具 ·比较详细的文档 ## Architecture Applications MPICH, Open-MPI, etc. OpenSHMEM, or-brpc.git -curve主干分支 -ucx_am当前rdma分支 ·对brcp的改动不大，加入的模块基本上独立 ·降低了开发难度 .ucx满足我们对rdma支持的需求 ·已经测试通过了curve验证，取得了不错的性能提升 Thank You! ![Image](/uploads/documents/5/b/e/8/5be86fb7870cf65bf8bec539445b8c62/p66_2

大数据集成与 Hadoop 可最大限度降低Hadoop计划风险并提高ROI的最佳实践  IBM $ ^{®} $ ## 简介 Apache Hadoop技术通过支持新的流程和架构，不断改进大数据措施的经济性和活力，这样不仅有助于削减 System（用于存储大型文件）和Hadoop分布式并行处理框架（称为MapReduce）。 但是，Hadoop基础架构本身并没有提供完整的大数据集成解决方案，摆在人们面前的既有挑战，也有机遇，只有处理好这些问题，才能安享各项优势，最大限度提高投资回报率（ROI）。 ## 大数据集成对于Hadoop措施的重要性 Hadoop的迅速崛起推动企业在如何抽取、管理、转换、存储和分析大数据方面实现了范式转变。无论是要 创造新的收入。 依靠收集、移动、转换、清除、集成、治理、探索以及分析多种不同来源的大量不同类型的数据来实现大数据与Hadoop项目。实现所有这些目标需要运用富有弹性的端到端信息集成解决方案，该解决方案不仅可实现大规模扩展，还能提供支持Hadoop项目所需的基础架构、功能、流程和行为准则。 “在很大程度上，80%的大数据项目开发精力用于数据集成，只有20%的精力投入到数据分析中。” —Intel

Oracle 白皮书 2011年1月 通过 Oracle 并行处理集成 Hadoop 数据 ## 引言 许多垂直行业都在关注文件系统中庞大的数据。这些数据中通常包含大量无关的明细信息，以及部分可用于趋势分析或丰富其他数据的精华信息。尽管这些数据存储在数据库之外，但一些客户仍然希望将其与数据库中的数据整合在一起以提取对业务用户有价值的信息。 本文详细介绍了如何从 Oracle 数据库访问存储在 中的表函数调用停止。此时，所有数据均已交付给请求这些数据的查询。 ## 示例代码 图3 至 图 5 实现的解决方案使用以下代码。所有的代码均在 Oracle Database 11g 和 5 个节点的 Hadoop 集群上进行过测试。与大多数白皮书一样，请将这些脚本复制到文本编辑器中并确保格式正确。 ## 处理数据的表函数 该脚本中包含某些设置组件。例如，脚本开始的部分创建了图 3 中第 1 步所展示的仲裁表。本例中使用的是一直广受欢迎的 from orders), '/home/hadoop/eq_test4.sh'); ## 总结 本文中的示例表明，将 Hadoop 系统与 Oracle Database 11g 集成是非常容易的。 本文中讨论的方法允许客户将 Hadoop 中的数据直接传递到 Oracle 查询中。这避免了将数据获取到本地文件系统并物化到 Oracle 表中，之后才能在 SQL 查询中访问这些数据的过程。

## 机器学习-集成学习 黄海广 副教授 2022年12月 ## 本章目录 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM ### 1. 集成学习方法概述 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM ## 集成学习 ## Bagging 从 jpg) ## 集成学习 ## Boosting 训练过程为阶梯状，基模型按次序——进行训练（实现上可以做到并行），基模型的训练集按照某种策略每次都进行一定的转化。对所有基模型预测的结果进行线性综合产生最终的预测结果。  ## 集成学习 ## 将训练好的所有基模型对训练基进行预测，第j个基模型对第i个训练样本的预测值将作为新的训练集中第i个样本的第j个特征值，最后基于新的训练集进行训练。同理，预测的过程也要先经过所有基模型的预测形成新的测试集，最后再对测试集进行预测。  ## 随机森林

## MeterSphere 一站式开源持续测试平台 2023 年 9 月 持续测试的兴起与现状 MeterSphere 加速企业持续测试落地 MeterSphere 企业版及专业服务 ## 持续测试是持续交付发展的必然需求 ## 持续交付能力是企业核心竞争力 保证业务足够稳 ## 持续测试能力保障业务足够可靠 ## 催生 保证交付足够快  ## 为什么测试环节会成为持续交付中的瓶颈？ ![Image](/u 图片来源：《持续交付 2.0》 ## 造成测试阻塞的三个方面 ### 01. 测试速度 • 非探索性手工执行用例比重过多； - 用例编写和维护在协同上较为冗余； - 测试环境准备，测试报告整理等花费了大量的时间。 ### 02. 碎片化管理 - 测试工具使用碎片化，不同的测试工具之间不兼容、无联动； - 测试人员管理碎片化，不同的测试人员协同缺失。 ### 03. 价值衡量 •

## 对 Go 程序进行可靠的性能测试 Changkun Ou https://changkun.de/s/gobench/ Go 夜读系列 | talkgo.org | Talk Go | 第 83 期 March 26, 2020  主要内容 • 可靠的测试环境 • benchstat • 例子与实践 ☐ 例1: 对代码块进行性能调优 ☐ 例2: Benchmark 的正确性分析 ☐ 例3: 其他的影响因素 • 假设检验的原理 • 局限与应对措施 • 总结 ## 教科书式的性能测试方法论 在《Software Testing: Principles and Practices》一书中归纳的性能测试方法论： 1. 搜集需求 2. 编写测试用例 3. 自动化性能测试用例 4. 执行性能测试用例 5. 分析性能测试结果 6. 性能调优 7. 性能基准测试(Performance Benchmarking) 8. 向客户推荐合适的配置 ## 可靠的测试环境 ## 什么是可靠的性能基准测试环境 ## 影响测试环境的软硬件因素 • 硬件: CPU 型号、温度、IO 等 软件：操作系统版本、当前系统调度的负载等

## RUST CHINA CONF 2023 第三届中国 Rust 开发者大会 6.17-6.18 @Shanghai ## 大家好！ ## 应用 waPC (rust) 做软件测试工具 Alan poon 潘泳权  ![Ima Software testing tool ## - 模拟数据规则 - 自动化测试 Why use rust ? ## Wasm mock server • https://github.com/wasmmock/wasm_mock_server • 用 rust 打包所有测试需求 ## 软件测试工具 - 模拟数据规则 - 自动化测试 ## 大公司抓包工具的需求 • Company's own complex upstream • Common testing platform ## 软件测试工具 ## 抓包 - Wasm Mock Server ## - 模拟数据规则 - 自动化测试 wasm 工具 does not invent the wheel ## 软件测试工具 - 模拟数据规则 - 自动化测试 ## Wasm mock server 用了 Google martian ModifyResponse(res