## 大规模高性能区块链架构 设计模式与测试框架 Gopher Meetup 深圳站 2021年8月21号 趣科技 李世敬 ## 目录 01 区块链概述 02 大规模高性能区块链架构设计介绍 03 基于Go插件的区块链性能测试工具 04 写在最后 ## 01 区块链概述 ## 区块链诞生 区块链是互联网发展到一定阶段的必然产物，是在低成本、高效、快捷的基础上 链架构与其差异性在于节点和用户在区块链网络中的准入要求。且非许可链网络节点大都由业务相关的机构组成，造成架构上共识、合约、安全、权限等方面的不同 扩展层 扩展组件 消息队列MQ 证书管理 测试框架 应用层 扩展操作 跨链协议 链上链下计算 预言机 供应链金融 司法存证 治理层 权限体系 治理模型 区块链审计 BaaS运维治理 智慧政务 合约层 智能合约脚本 账户体系 测试框架 智慧政务、数字身份、电子证照、公积金互联、税务、医疗互联、精准扶贫等 信息传输与共享、军事装备等 分布式电力交易、新能源充电桩、绿色能源、电力施工管控等 审计、设备巡检、制造、物流、文旅、医疗等 账本数据结构 应用层 供应链金融 司法存证 智慧政务 物联网 能源电力 跨境贸易 工业物联网 智慧城市 ## 02 ## 大规模高性能区块链架构设计介绍 ##

## MeterSphere 一站式开源持续测试平台 2023 年 9 月 持续测试的兴起与现状 MeterSphere 加速企业持续测试落地 MeterSphere 企业版及专业服务 ## 持续测试是持续交付发展的必然需求 ## 持续交付能力是企业核心竞争力 保证业务足够稳 ## 持续测试能力保障业务足够可靠 ## 催生 保证交付足够快  ## 为什么测试环节会成为持续交付中的瓶颈？ ![Image](/u 图片来源：《持续交付 2.0》 ## 造成测试阻塞的三个方面 ### 01. 测试速度 • 非探索性手工执行用例比重过多； - 用例编写和维护在协同上较为冗余； - 测试环境准备，测试报告整理等花费了大量的时间。 ### 02. 碎片化管理 - 测试工具使用碎片化，不同的测试工具之间不兼容、无联动； - 测试人员管理碎片化，不同的测试人员协同缺失。 ### 03. 价值衡量 •

## 对 Go 程序进行可靠的性能测试 Changkun Ou https://changkun.de/s/gobench/ Go 夜读系列 | talkgo.org | Talk Go | 第 83 期 March 26, 2020  主要内容 • 可靠的测试环境 • benchstat • 例子与实践 ☐ 例1: 对代码块进行性能调优 ☐ 例2: Benchmark 的正确性分析 ☐ 例3: 其他的影响因素 • 假设检验的原理 • 局限与应对措施 • 总结 ## 教科书式的性能测试方法论 在《Software Testing: Principles and Practices》一书中归纳的性能测试方法论： 1. 搜集需求 2. 编写测试用例 3. 自动化性能测试用例 4. 执行性能测试用例 5. 分析性能测试结果 6. 性能调优 7. 性能基准测试(Performance Benchmarking) 8. 向客户推荐合适的配置 ## 可靠的测试环境 ## 什么是可靠的性能基准测试环境 ## 影响测试环境的软硬件因素 • 硬件: CPU 型号、温度、IO 等 软件：操作系统版本、当前系统调度的负载等

## RUST CHINA CONF 2023 第三届中国 Rust 开发者大会 6.17-6.18 @Shanghai ## 大家好！ ## 应用 waPC (rust) 做软件测试工具 Alan poon 潘泳权  ![Ima Software testing tool ## - 模拟数据规则 - 自动化测试 Why use rust ? ## Wasm mock server • https://github.com/wasmmock/wasm_mock_server • 用 rust 打包所有测试需求 ## 软件测试工具 - 模拟数据规则 - 自动化测试 ## 大公司抓包工具的需求 • Company's own complex upstream • Common testing platform ## 软件测试工具 ## 抓包 - Wasm Mock Server ## - 模拟数据规则 - 自动化测试 wasm 工具 does not invent the wheel ## 软件测试工具 - 模拟数据规则 - 自动化测试 ## Wasm mock server 用了 Google martian ModifyResponse(res

02 总体设计 基本架构 | 数据组织形式 | 拓扑 | IO流程 03 系统特性 高性能 | 高可用 | 自治 | 易运维 | 高质量 04 近期规划 Curve的近期规划 ## 背景 • 多个存储软件：SDFS、NEFS、NBS • 已有的开源软件：Ceph • 不能胜任性能、延迟敏感的场景 • 异常场景抖动较大（比如慢盘场景） 去中心节点设计在集群不均衡的情况下需要人工运维 去中心节点设计在集群不均衡的情况下需要人工运维 • 基于通用分布式存储构建上层存储服务 01 背景 为何从0到1开发Curve 02 总体设计 基本架构 | 数据组织形式 | 拓扑 | IO流程 03 系统特性 高性能 | 高可用 | 自治 | 易运维 | 高质量 04 近期规划 Curve的近期规划 ## 基本架构 ## • 元数据节点 MDS 管理元数据信息 收集集群状态信息，自动调度 [Image](/uploads/documents/0/9/e/3/09e38610ff888e0fd1b2626578fba41c/p20_3.jpg) 01 背景 为何从0到1开发Curve 02 总体设计 基本架构 | 数据组织形式 | 拓扑 | IO流程 03 系统特性 高性能 | 高可用 | 自治 | 易运维 | 高质量 04 近期规划 Curve的近期规划 ##

## 七牛如何做 HTTP服务测试？ 许式伟 2015-4-18 ## HTTP服务测试 • 单元测试 - 某个独立子服务的测试 • 集成测试 - 整个集群对外业务API的测试 • Stage环境 • Product环境 ## 怎么测？ ## • 七牛早期做法 – 实现服务逻辑（Service Implementation） – 实现客户端SDK（Client Implementation） - 基于客户端SDK写测试案例（Test Case） ## • 问题 - 客户端SDK修改导致测试案例编不过 - 客户端SDK通常是使用方友好，而不是测试方友好 - 让服务端与客户端SDK耦合，容易过早陷入客户端SDK如何抽象更合理的细节，而不能专注于测试服务逻辑本身 ## 换个角度 • 直接基于协议测试呢？ - 比如，基于 http.Client 类直接写测试案例 • 问题 - 代码相对冗长 代码相对冗长 - 业务逻辑表达不直观 - 写一些辅助函数能够略为改观，不过会有逐步写测试专用SDK的倾向 ## 七 牛当前做法 • 引入 httptest DSL 文法 - 更接近基于 http.Client 写测试案例的思路 - 但努力让代码更直白体现测试用意 1 #!/usr/bin/env qiniutest 4 # 这个例子算 qiniu httptest 工具的 Hello world

旨在帮助更多的读者朋友了解、喜欢并进入到人工智能行业中来，因此作者试图从分析人工智能中的简单问题入手，一步步地提出设想、分析方案以及实现方案，重温当年科研工作者的发现之路，让读者身临其境式的感受算法设计思想，从而掌握分析问题、解决问题的能力。这种方式也是对读者的基础要求较少的，读者在学习本书的过程中会自然而然地了解算法的相关背景知识，体会到知识是为了解决问题而生的，避免陷入为了学习而学习的窘境。 理解。作者自认才疏学浅，略懂皮毛，同时也限于时间和篇幅关系，难免出现理解偏差甚至错缪之处，若能大方指出，作者将及时修正，不胜感激。 龙良曲 2021年10月19日 ## 声明 得益于简洁优雅的设计理念，基于动态图的 PyTorch 框架在学术圈广受好评，绝大多数最新算法是基于 PyTorch 实现的，众多的第三方 AI 框架应用，例如 mmdetection、mmaction2、transformer、speechbrain 表达不准确、部分素材尚未创作完成、部分参考引用未能及时补充、甚至一些错误出现，因此本书以开源、免费地方式发布，希望一方面能够帮助初学者快速上手深度学习算法，另一方面也能汇聚众多行业专家们的力量，修正测试版中的谬误之处，让本书变得更为完善。 本书虽然免费开放电子版，供个人学习使用，但是未经许可，不能用于任何个人或者企业的商业用途，违法盗版和销售，必究其法律责任。 2021年10月19日 龙龙老师

## Node 的设计错误 Ryan Dahl JS Conf 柏林 2018.06 ## 背景: 1. 基于最初的开发，我创建了并管理 Node。 2. 我的主要关注目标是事件驱动的 HTTP server。 3. 这一主要目标对当时服务器端的 JavaScript 起着关键作用。即使在当时这一点不那么明显，但是服务器端 JS 的成功需要事件循环的助力。 ## 背景: 2012 年我离开 但我错了...因为还有许多问题仍待解决..... ## 使得 Node 保持增长的几项关键工作 1. NPM（Isaac 开发）将核心 Node 库解耦并允许生态系统的分布。 2. N-API 是设计精美的绑定API。 3. Ben Noordhuis 和 Bert Belder 构建了 libuv。 4. Mikeal Rogers 组织了管理活动和社区。 5. Fedor Indutny 这允许用户运行不可信的实用程序（例如就像一个 linter） - 不允许任意本地函数绑定到V8中 所有的系统调用都是通过消息传递完成的（原BoFF序列化） 有两个本地函数: send 和 rev。 这既简化了设计，又使系统更易于审核。 Deno Process (Privileged) V8 VM (Unprivileged) Timers File System Timers Network Dispatcher

CurveFS方案设计（总体设计，只实现了部分） |时间|修订人|修订内容| |---|---|---| |2021-03-23|李小翠|初稿(背景，调研，架构设计)| |2021-03-30|李小翠|增加快照部分| |2021-04-13|李小翠、陈威|补充元数据数据结构| |2021-04-19|李小翠、吴汉卿、许超杰等|补充文件空间分配，讨论与确认| 背景 • 调研 • 开源fs • • 性能对比 • 可行性分析 方案对比 • 对比结论 • 架构设计 卷和文件系统 元数据架构 文件系统快照 • 方案一：文件/目录级别快照 • 方案二：文件系统快照 • 关键点 - 元数据设计 - 数据结构 - 索引设计 - 文件空间管理 - 开发计划及安排 ## 背景 为更好的支持云原生的场景，Curve需要支持高性能通用文 并对以上文件系统在相同环境进行了元数据节点性能测试：调研测试。测试结果c开发的moosefs和fastcfs元数据性能远优于go开发的chubaofs和c开发的cephfs，理论上分析这个结果是合理的，分布式的元数据设计会涉及到多次rpc的交互。这里需要确认的一点是：我们需要怎样的元数据节点的性能？ ## 可行性分析 ## 方案对比 根据上述调研和测试结果，我们考虑了三种curvefs的元数据设计方案： ### 1