## ZPLAY 掌游天下 崔英杰 ## Go的持续集成 实践分享 ## 什么是持续集成 持续集成 是一种软件开发实践。在持续集成中，团队成员频繁集成他们的工作成果，一般每人每天至少集成一次，也可以多次。每次集成会经过自动构建（包括自动测试）的检验，以尽快发现集成错误。 ## — Martin Fowler ## 持续集成的好处 1. 快速发现修复错误 2. 降低风险 3. 持续发布 ts/3/8/9/4/3894e5dd4516ea856c0648981478e041/p4_1.jpg) 简单 激情 速度快 聚焦 极致 可信赖 ## 分享惨案经历 1. 无单元测试，手工集成测试 2. 测试用例300多个，需要一个星期 3. 面对业务压力，规则形同虚设 4. 深夜事故 简单 激情 速度快 聚焦 极致 可信赖 ## 原有开发体系的问题 1. 迭代周期漫长 2 极致 可信赖  ## 持续 1. 持续集成 Continuous Integration(CI) 2. 持续发布 Continuous Delivery 3. 持续部署 Continuous Deployment ## Continuous

## UCX .NVIDIA Mellanox 开源项目 ·支持RDMA，TCP，Shared memory等 ·能透明支持多个链路传输，例如多网卡bond ·编译成.so或lib的方式，可以集成到应用程序里 ·有完善的配置功能，ucx_info可以dump配置信息 ·有性能测试工具 ·比较详细的文档 ## Architecture Applications MPICH, Open-MPI

大数据集成与 Hadoop 可最大限度降低Hadoop计划风险并提高ROI的最佳实践  IBM $ ^{®} $ ## 简介 Apache Hadoop技术通过支持新的流程和架构，不断改进大数据措施的经济性和活力，这样不仅有助于削减 System（用于存储大型文件）和Hadoop分布式并行处理框架（称为MapReduce）。 但是，Hadoop基础架构本身并没有提供完整的大数据集成解决方案，摆在人们面前的既有挑战，也有机遇，只有处理好这些问题，才能安享各项优势，最大限度提高投资回报率（ROI）。 ## 大数据集成对于Hadoop措施的重要性 Hadoop的迅速崛起推动企业在如何抽取、管理、转换、存储和分析大数据方面实现了范式转变。无论是要 创造新的收入。 依靠收集、移动、转换、清除、集成、治理、探索以及分析多种不同来源的大量不同类型的数据来实现大数据与Hadoop项目。实现所有这些目标需要运用富有弹性的端到端信息集成解决方案，该解决方案不仅可实现大规模扩展，还能提供支持Hadoop项目所需的基础架构、功能、流程和行为准则。 “在很大程度上，80%的大数据项目开发精力用于数据集成，只有20%的精力投入到数据分析中。” —Intel

Oracle 白皮书 2011年1月 通过 Oracle 并行处理集成 Hadoop 数据 ## 引言 许多垂直行业都在关注文件系统中庞大的数据。这些数据中通常包含大量无关的明细信息，以及部分可用于趋势分析或丰富其他数据的精华信息。尽管这些数据存储在数据库之外，但一些客户仍然希望将其与数据库中的数据整合在一起以提取对业务用户有价值的信息。 本文详细介绍了如何从 Oracle 数据库访问存储在 from orders), '/home/hadoop/eq_test4.sh'); ## 总结 本文中的示例表明，将 Hadoop 系统与 Oracle Database 11g 集成是非常容易的。 本文中讨论的方法允许客户将 Hadoop 中的数据直接传递到 Oracle 查询中。这避免了将数据获取到本地文件系统并物化到 Oracle 表中，之后才能在 SQL 查询中访问这些数据的过程。 地址：上海市杨浦区淞沪路290号创智天地10号楼512-516单元 邮编：200433 电话：(86.21) 6095-2500 传真：(86.21) 6095-2555 通过 Oracle 并行处理集成 Hadoop 数据 2010 年 1 月 作者：Shrikanth Shankar，Alan Choi 和 Jean-Pierre Dijcks 公司网址：http://www.oracle

## GCN ## 利用夜莺扩展能力打造全方位监控系统  喻波 滴滴 专家工程师  展示，完备性看采集能力，是否能够兼容并包，纳入更多生态的能力，至关重要 ## 夜莺数据采集 - 支持在web上配置采集策略，不同的采集可以指定不同的探针机器、目标机器，便于管理和知识传承 - 独创在端上流式读取日志，根据正则提取指标的机制，轻量易用，无业务侵入性 - 内置集成了多种数据库中间件的采集以及网络设备的采集，复用telegraf和datadog-agent的能力 - 支持stat

## 机器学习-集成学习 黄海广 副教授 2022年12月 ## 本章目录 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM ### 1. 集成学习方法概述 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM ## 集成学习 ## Bagging 从 jpg) ## 集成学习 ## Boosting 训练过程为阶梯状，基模型按次序——进行训练（实现上可以做到并行），基模型的训练集按照某种策略每次都进行一定的转化。对所有基模型预测的结果进行线性综合产生最终的预测结果。  ## 集成学习 ## 易于并行化，在大数据集上有很大的优势； 3. 能够处理高维度数据，不用做特征选择。 ## 随机森林 Random Forest（随机森林）是 Bagging 的扩展变体，它在以决策树为基学习器构建 Bagging 集成的基础上，进一步在决策树的训练过程中引入了随机特征选择，因此可以概括随机森林包括四个部分： 1. 随机选择样本（放回抽样）； 2. 随机选择特征; 3. 构建决策树； 4. 随机森林投票（平均）。

jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 大规模分布式系统架构下调测能力构建之道 天弘基金 李鑫 主办方 Geekbang. InfoQ ## 促进软件开发领域知识与创新的传播 ![Image](/uploads/documents/e/0/0/a/e00a1364 |办公区断网，所有线上依赖环境都无法访问了，得，今天啥也 干不了了，回家洗洗睡吧...| |...|......| ## 分布式服务框架mock能力构建 ## ●将mock能力内置到分布式服务框架中 开发mock能力过滤器，在服务调用链路上对服务调用进行挡截。 ## ● “开关机制” 控制mock能力启停 mock能力启用时，服务容器初始化期间将加载mock数据文件到内存中，每个服务请求将和mock数据的入参定义进行比对，满 通过mock手段可以解决外部不可控因素对本地调测的影响，如果真实的外部服务改变了，我们的mock数据也要随之改变，但 问题是：我们如何及时感知到服务接口/逻辑发生变化了？ ## 解决方法：契约测试 通过将契约测试集成到CI流程中，在构建的过程中完成接口的联调测试，和接口变动的验证测试，从而实现对接口变动的及时感知。 ![Image](/uploads/documents/e/0/0/a/e00a136453b

MATLAB与Spark/Hadoop相集成：实现大数据的处理和价值挖 马文辉  ## 内容 ## 大数据及其带来的挑战 ## ■ MATLAB大数据处理 tall数组 并行与分布式计算 ## ■ MATLAB与Spark/Hadoop集成 MATLA Spark R2016b ## tall arrays R2016b ## tall array — 一种新的数据类型，专门用于处理大数据。 – 用于处理数据规模超过单个机器或群集的内存承载能力的数据集合 ## 使用方式等同于MATLAB 数组(array) - 支持数据类型包括数值型、字符串、时间类型、表等... - 支持众多基本的数学函数、统计函数、索引函数等. - 支持机器学习算法包括分类、聚类和回归 [Image](/uploads/documents/7/4/4/3/7443ec4ad6d06d59ed1d816fa7428131/p8_3.jpg) ## MATLAB与Spark/Hadoop集成 ## 🔍 Spark $ ^{™} $ hadoop ## Hadoop Hadoop是跨计算机集群的分布式大数据处理平台，由两部分组成： • YARN (Yet Another Resource

# 云原生安全威胁分析与 能力建设白皮书 中国联通研究院 中国联通网络安全研究院 下一代互联网宽带业务应用国家工程研究中心 2023年11月 ## 版权声明 本报告版权属于中国联合网络通信有限公司研究院，并受法律保护。转载、摘编或利用其他方式使用本报告文字或者观点的，应注明“来源：中国联通研究院”。违反上述声明者，本院将追究其相关法律责任。 ## 目录 一、云原生安全概述.....9 4.2 攻击过程复现 ..... 45 四、云原生应用保护能力建设 ..... 47 4.1 制品安全能力建设 ..... 47 4.1.1 代码安全 ..... 48 4.1.2 镜像安全 ..... 49 4.1.3 制品环境安全 ..... 50 4.1.4 安全检测 ..... 52 4.2 运行时安全能力建设 ..... 53 4.2.1 Web 应用和 API API 安全 ..... 54 4.2.2 云原生运行时安全 ..... 56 4.2.3 网络微隔离 ..... 58 4.3 基础设施安全能力建设 ..... 59 4.3.1 基础设施即代码安全 ..... 59 4.3.2 权限管理 ..... 60 4.3.3 云原生安全态势 ..... 60 五、总结与展望 ..... 62 六、参考文献 ..... 64 ##