## 大规模高性能区块链架构 设计模式与测试框架 Gopher Meetup 深圳站 2021年8月21号 趣科技 李世敬 ## 目录 01 区块链概述 02 大规模高性能区块链架构设计介绍 03 基于Go插件的区块链性能测试工具 04 写在最后 ## 01 区块链概述 ## 区块链诞生 区块链是互联网发展到一定阶段的必然产物，是在低成本、高效、快捷的基础上 物联网 能源电力 跨境贸易 工业物联网 智慧城市 ## 02 ## 大规模高性能区块链架构设计介绍 ## 大☒模高性能区☒架构面☒的☒ ☑ 机构间数据难打通，不愿打通 数据孤岛问题 之困局？ ■ 公网内网、网关网闸情况复杂 网络连通问题 大规模高性能 区块链架构设计 异构部署问题 ■ 业务组织形式不同，异构链/系统难适配 性能扩展问题 ■ 数据量、网络复杂度指数上升，架构难扩展 [Image](/uploads/documents/2/2/a/3/22a3415e68594f86ab28c6e8a29b3849/p17_1.jpg) 核心技术 1 多类型节点分层部署模式 2 大规模组网高效共识算法 

/7/b/7b7bf95ae20a9c3c3e8c87b74205eac1/p1_1.jpg) # Red Hat OpenShift Container Storage 4.6 ## 以外部模式部署 OpenShift Container Storage 如何安装和配置您的环境 Powered by TCPDF (www.tcpdf.org) 如何安装和配置您的环境 Enter your 集群的说明，请参阅本文档。 ## 目录 第1章 以外部模式部署概述 ..... 3 第2章 为基于 RED HAT ENTERPRISE LIUNX 的节点上的容器启用文件系统访问 ..... 4 第3章 安装 RED HAT OPENSHIFT CONTAINER STORAGE OPERATOR ..... 5 第4章 为外部模式创建 OPENSHIFT CONTAINER STORAGE STORAGE 集群服务 ..... 8 第5章 为外部模式验证 OPENSHIFT CONTAINER STORAGE 安装 ..... 13 5.1. 验证 POD 的状态 ..... 13 5.2. 验证 OPENSHIFT CONTAINER STORAGE 集群是否正常运行 ..... 14 5.3. 验证 MULTICLOUD 对象网关是否健康 ..... 14 5.4. 验证存储类是否已创建并列出

## p2p缓存系统 ## 基于Golang的Aop设计模式 龚浩华 QQ 29185807 月牙寂 ## 背景 Web缓存（类似CDN技术） ☑ 网页、图片 普通下载 ■ 普通视频 P2P缓存 下载（bt等） ■ 视频（qvod、百度影音等） ## 背景 P2P缓存好处 ■ 一次获取，多次利用 ■ 减少局域网出网流量 ■ 提升用户体验 ## 背景 P2P缓存服务器（基于c++开发） golang 基于golang的分布式程序（单进程） 1、针对 缺乏全局状态知识 全局状态是可以获取到的 2、针对 缺乏全局时间 全局时间是一致的 3、非确定 仍然存在不确定性 现实世界的设计模式直接可以拿来借鉴 ## P2P缓存框架  IX66.7 ## Golang总结 1、全新的设计模式 代码少、逻辑直观简单 2、代码维护简单 松散耦合 3、快速开发 4、性能高 ## Golang一些经验 ## 1、 程序雪崩与GC问题 当对象数量过多的时候，GC扫描所有对象，造成卡顿时间过长。

## PyTorch ## 情感分类实战 主讲人：龙良曲 ## Sentiment Classification Ignore Ignore  RNN The RNN food ## 👍 🔧 Linear Classifier

## PyTorch ## 多分类问题 主讲人：龙良曲  input layer (784) Output layer (10) 2nd hidden layer (200) 1st hidden layer (200) ## Network w2.grad.norm()) optimizer.step() C:\ProgramData\conda\python.exe F:/PytorchTutorial/lesson26-LR多分类实战/main.py Downloading http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz Downloading http://yann

02 总体设计 基本架构 | 数据组织形式 | 拓扑 | IO流程 03 系统特性 高性能 | 高可用 | 自治 | 易运维 | 高质量 04 近期规划 Curve的近期规划 ## 背景 • 多个存储软件：SDFS、NEFS、NBS • 已有的开源软件：Ceph • 不能胜任性能、延迟敏感的场景 • 异常场景抖动较大（比如慢盘场景） 去中心节点设计在集群不均衡的情况下需要人工运维 去中心节点设计在集群不均衡的情况下需要人工运维 • 基于通用分布式存储构建上层存储服务 01 背景 为何从0到1开发Curve 02 总体设计 基本架构 | 数据组织形式 | 拓扑 | IO流程 03 系统特性 高性能 | 高可用 | 自治 | 易运维 | 高质量 04 近期规划 Curve的近期规划 ## 基本架构 ## • 元数据节点 MDS 管理元数据信息 收集集群状态信息，自动调度 [Image](/uploads/documents/0/9/e/3/09e38610ff888e0fd1b2626578fba41c/p20_3.jpg) 01 背景 为何从0到1开发Curve 02 总体设计 基本架构 | 数据组织形式 | 拓扑 | IO流程 03 系统特性 高性能 | 高可用 | 自治 | 易运维 | 高质量 04 近期规划 Curve的近期规划 ##

## 华为云深度学习在文本分类中的实践 华为 Cloud&AI 李明磊 ## 极客邦科技 会议推荐2019  ## QCon 北京 ## 全球软件开发大会 大会：5月6–8日 培训：5月9–10日 QCon ![I 培训：11月10–11日 ## AiCon 北京 ## 全球人工智能与机器学习大会 大会：11月21–22日 培训：11月23–24日 ## 目录 分类算法简史 2 深度学习架构 3 难点 4 应用案例 ## 文本分类介绍 内容: 买没几天就降价一点都不开心，闪存跑分就五百多点…… 外观漂亮音质不错，现在电子产品基本上都是华为的了…… 汽车不错，省油，性价比高…… 这个政策好啊，利国利民…… f(text)=label 词 句子 篇章 对话 ## 文本分类方法简史-机器学习 label 输入文本 特征提取 特征选择 分类器 模型训练 评测 模型部署 词袋 卡方 SVM 预测标签 TFIDF PCA LR Ngram 互信息 XGBoost 词典 RFE 随机森林 ## 文本分类方法简史-深度学习 label 输入文本 模型训练 评测

## Node 的设计错误 Ryan Dahl JS Conf 柏林 2018.06 ## 背景: 1. 基于最初的开发，我创建了并管理 Node。 2. 我的主要关注目标是事件驱动的 HTTP server。 3. 这一主要目标对当时服务器端的 JavaScript 起着关键作用。即使在当时这一点不那么明显，但是服务器端 JS 的成功需要事件循环的助力。 ## 背景: 2012 年我离开 但我错了...因为还有许多问题仍待解决..... ## 使得 Node 保持增长的几项关键工作 1. NPM（Isaac 开发）将核心 Node 库解耦并允许生态系统的分布。 2. N-API 是设计精美的绑定API。 3. Ben Noordhuis 和 Bert Belder 构建了 libuv。 4. Mikeal Rogers 组织了管理活动和社区。 5. Fedor Indutny 这允许用户运行不可信的实用程序（例如就像一个 linter） - 不允许任意本地函数绑定到V8中 所有的系统调用都是通过消息传递完成的（原BoFF序列化） 有两个本地函数: send 和 rev。 这既简化了设计，又使系统更易于审核。 Deno Process (Privileged) V8 VM (Unprivileged) Timers File System Timers Network Dispatcher

CurveFS方案设计（总体设计，只实现了部分） |时间|修订人|修订内容| |---|---|---| |2021-03-23|李小翠|初稿(背景，调研，架构设计)| |2021-03-30|李小翠|增加快照部分| |2021-04-13|李小翠、陈威|补充元数据数据结构| |2021-04-19|李小翠、吴汉卿、许超杰等|补充文件空间分配，讨论与确认| 背景 • 调研 • 开源fs • • 性能对比 • 可行性分析 方案对比 • 对比结论 • 架构设计 卷和文件系统 元数据架构 文件系统快照 • 方案一：文件/目录级别快照 • 方案二：文件系统快照 • 关键点 - 元数据设计 - 数据结构 - 索引设计 - 文件空间管理 - 开发计划及安排 ## 背景 为更好的支持云原生的场景，Curve需要支持高性能通用文 ephfs，理论上分析这个结果是合理的，分布式的元数据设计会涉及到多次rpc的交互。这里需要确认的一点是：我们需要怎样的元数据节点的性能？ ## 可行性分析 ## 方案对比 根据上述调研和测试结果，我们考虑了三种curvefs的元数据设计方案： ### 1. CurveFS kv方案设计 curve实现块设备时，元数据不是扁平化的设计，而是采用有目录层级的 namespace 方式，namespace