⽹聚云联 王⽂庭 基于边缘架构的可编程MQTT服务 CONTENTS 背景说明 O1 O2 O4 HPMQ简介 HPMQ开发说明 HPMQ未来规划 O3 1. 背景说明 物联⽹时代带来的变化 海量 连⽹ 设备 海量数据处理？ 设备安全性？ 共性：边缘 原来以数据中 ⼼为核⼼的云 端架构是否还 满⾜需求？ 01 02 03 边缘架构 ⼀种分布式计 算架构 geo-distributed架构 + 调度 如何管理分布式⽹络 我们主要基于eclipse-zenoh来做⼆次开 发，eclipse-zenoh是⼀款很优秀的rust 语⾔编写的，基于边缘架构的，开源分 布式消息服务基础架构，它帮我们解决 了很多分布式⽹络管理的共同的问题， ⽐如说分布式消息⼀致性问题，边缘节 点⾃动发现等问题 传统⽅案痛点 1）数据传输量⼤，中⼼压⼒⼤，⾼可⽤要求⾼ 2）数据发布与订阅都在中⼼，延迟⾼

上海 徐汇漕河泾 总部 浦东世纪汇 策略中心 北京/成都 分公司 研发中心 自建超算中心 徐州 新加坡/美国 海外 研发中心 Rust 在非凸算法交易服务中的全栈应用实践 内 部 智 能 引 擎 行情服务 总控模块 预测模型 策略模块 数据总线 智 能 特 征 工 程 去量纲：标准化、归一化 缺失值处理：样条插值 降维：PCA A I 信 号 生 成 LSTM x86_64、AArch64 架构分别优化，CPU Cache 友好 Rust 进程间通信 XSHM Rust 全栈应用实践 - 行情、与API接入 Rust 在非凸算法交易服务中的全栈应用实践 内 部 智 能 引 擎 行情服务 总控模块 预测模型 策略模块 数据总线 智 能 特 征 工 程 去量纲：标准化、归一化 缺失值处理：样条插值 降维：PCA A I 信 号 生 成 LSTM 世界交互的主要边界 Rust FFI 网络协议栈参数优化，多路行情冗余互备 UDP 组播 Rust 全栈应用实践 - 行情、与API接入 Rust 在非凸算法交易服务中的全栈应用实践 内 部 智 能 引 擎 行情服务 总控模块 预测模型 策略模块 数据总线 智 能 特 征 工 程 去量纲：标准化、归一化 缺失值处理：样条插值 降维：PCA A I 信 号 生 成 LSTM

人寿等 70+ 银行证券保险 企业、公安部、上海市公安局、武汉市公安局等 100+ 公安机构，国家电网、 国信通产业集团等电力能源行业提供数据智能产品解决方案及长期服务。 海致专注为政府、金融、能源等客户提供大数据处理、分析、挖掘服务，在互 联网技术基础上，打造专业、易用的企业级大数据实战应用产品及解决方案。 北京中关村总部 武汉运维中心 深圳研发中心 上海应用中心 专注于数据智能技术赋能中国数字经济发展 • 网络安全分析 • 社交网络分析 • BI 工具 • 图分析工具集 • 图咨询服务 Source ： Graph Aware 图数据库发展趋势 AtlasGraph 研发背景 • 业务对大图分析的诉求（千亿点、万亿边） • 实时风控对图库的性能挑战（ OLTP 毫秒级响应） • 海致图平台产品服务于金融、政府行业有大量业务经验积累（接近客户需求） • 现有开源产品无法满足要求（受限于基础架构设计，优化性能有限） 图原生存储 索引 LSM-Tree 容灾保障 （ BR ） 元数据层 事务管理 MVOCC 计算层 Cypher AST 优化器 图计算 内存加速引 擎 服务接口 HTTP/RPC Spark 连接器 Python UDF 执行器 索引管理 一致性存储 RAFT 分片管理 元数据 集群管理 用户权限 GNN 应用层 Atlas

s t 使 用 TDengine: 时序数据库 TDengine 是一款开源、云原生的时序数据库（ Time Series Database ），专为物联网、工业互联网、金融、 IT 运维监控等场景设计并优化，具有极强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等 系统功能，能大幅减少系统设计的复杂度，降低研发和运营成本，是一个极简的时序数据处理平台。 采用关系型数据库模型 TDengine - 业务模式 开源版 企业版 云服务版 核心功能开源 • SQL 支持 • 无模式写入 • 缓存 • 流计算 • 数据订阅 • 集群、高可用 高可靠、线性扩展 + 专业技术服务 • 边云数据复制 • 跨云 / 异地数据复制 • 增量备份 • 多级存储 • 工业数据接入 全托管时序数据 管理云服务平台 • 全托管服务 • VPC 对等连接 • 多云部署（ AWS/Azure/

CeresDB – 目标 解决时间线高基数问题 • 能高效处理好 APM 型时序数据 • 同时能高效处理好高基数时间线场景 提供原生分布式方案 • 大规模部署 • 提供高可用、高可靠的服务 • 支持水平扩容 • 支持高效的分布式查询 - Tokio Preemption - Future Cancellation Rust 生产实践 生产实践 – Tokio 为什么使用 按需使用，如果是纯内存计算的时候，使用 blocking mutex 比较好。 生产实践 – Mixed workload Write Read Compact Runtimes 问题： CeresDB 监控写 OSS 耗时高， OSS 监控看耗时低。 生产实践 – Mixed workload runtime.spawn(task0) runtime.spawn(task1) runtime.spawn(task2)

. . . . . . . . . . . . . . . . . . . . . 192 34.1.3 服务实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192 34.1.4 AIDL 服务器 . . . . . . . . . . . . . . . . . . . . . . . . . . x86、ARM、WebAssembly...... – Linux、Mac、Windows...... • Rust 被广泛用于各种设备中： – 固件和引导程序， – 智能显示器， – 手机， – 桌面， – 服务器。 Rust 和 C++ 适用于类似的场景： • 极高的灵活性。 • 高度的控制能力。 • 能够在资源匮乏的设备（如手机）上运行。 • 没有运行时和垃圾收集。 • 关注程序可靠性和安全性，而不会牺牲任何性能。 言功能：具有与高级语言一样丰富且人性化的表达能力 – 枚举和模式匹配。 – 泛型。 – 无额外开销的外部函数接口（FFI）。 – 零成本抽象。 – 强大的编译器错误提示。 – 内置依赖管理器。 – 对测试的内置支持。 – 优秀的语言服务协议（Language Server Protocol）支持。 不用在这里占用过多时间。所有这些要点均会在后面进行详细讲解。 应该问问学生们都使用过哪些语言。根据答案侧重讲解 Rust 的不同特性：

am I ? 目录 1. Axon 简介 2. 大型 Rust 项目应用 Adapter 模式 3. 使用过程宏的监控埋点开发实践 4. 区块链间互操作性的实现 目录 1. Axon 简介 2. 大型 Rust 项目应用 Adapter 模式 3. 使用过程宏的监控埋点开发实践 4. 区块链间互操作性的实现 1. 应用链框架 2. 高性能 3. 互操作（Interoperability） EVM 兼容 5. Rust What is Axon What is Axon 目录 1. Axon 简介 2. 大型 Rust 项目应用 Adapter 模式 3. 使用过程宏的监控埋点开发实践 4. 区块链间互操作性的实现 1. Mempool（交易池） 2. Consensus (Overlord) 3. P2P (Tentacle) 4. Interoperation Adapter 模式 3. 使用过程宏的监控埋点开发实践 4. 区块链间互操作性的实现 • 直接调用 Prometheus API • AOP（面向切片） • LLVM IR • … 如何优雅地在代码中加入埋点 ■ Prometheus API 1. 在 Rust 代码编译成 LLVM IR 之前解析 AST，找到需要埋点的函数 2. 为这些函数生成对应的监控指标定义代码 3. 在进入和退出这些函数的

将数据容器内的数据进行递归二分，对左 半和右半分别生成一个异步任务。最终对 单个数据执行用户业务逻辑 IO & CPU 融合 南向调度融合  IO & CPU 通过设置不同优先级，进 入不同线程池调度  线程池根据负载监控（任务平均等待 时间等数据）进行线程池动态扩缩 容。  任务窃取 Fusion of IO/CPU intensive 结构化并发 Structured Concurrency 核心在于通

信息系统的应用层协议。 HTTP 是一个客户端（用户）和服务端（网站）之间请求和应答的标准。 Rust China Conf 2022 – 2023, Shanghai, China HTTP 协议介绍 HTTP 协议主要具有以下特点： ✓ 支持客户/服务器模式。 ✓ 简单快速：客户向服务器请求服务时，只需传送 请求方法、路径和请求头。HTTP 协议简单、HTTP 服务器的程序规模小，因而通信速度很快。 支持响应分块 • 引入额外的缓存 控制机制 • 引入内容协商机 制 • 报文基本格式不 再变化 HTTP/2 • 二进制协议 • 支持多路复用 • 支持响应分块 • 支持标头压缩 • 支持服务端推送 • 报文基本格式不 再变化 HTTP/3 • 基于 UDP 连接 • 报文基本格式不 再变化 Rust China Conf 2022 – 2023, Shanghai, China HTTP 协议 以上 Rust HTTP 库主要支持的场景特点： ➢ 并发量、吞吐量需求较高 ➢ 网络环境稳定 ➢ 不太需要体现交互界面 ➢ 不太关注资源使用 比较适合构建浏览器、大型 WEB 服务器等。 终端 HTTP 通信场景浅析 Part 03 探讨终端场景下 HTTP 协议的主要使用场景，以及需要思考的问题 Rust China Conf 2022 – 2023, Shanghai

对低风险的操作，因为编译器会替你找到经典的错误。同时你可以自信地采取更加激进的优 化，而不会意外引入崩溃或漏洞。 但 Rust 并不局限于底层系统编程。它表达力强、写起来舒适，让人能够轻松地编写出命令行 应用、网络服务器等各种类型的代码——在本书中就有这两者的简单示例。使用 Rust 能让你 把在一个领域中学习的技能延伸到另一个领域：你可以通过编写网页应用来学习 Rust，接着 将同样的技能应用到你的 Raspberry 通过类似这本书以及其他内容的努力，Rust 团队希望使系统概念能为更多人所易于理解，特别是编程新手。 公司 数百家大小规模的公司在生产环境中使用 Rust 完成各种任务，包括命令行工具、Web 服务、 DevOps 工具、嵌入式设备、音视频分析与转码、加密货币、生物信息学、搜索引擎、物联网 （IOT）程序、机器学习，甚至是 Firefox 浏览器的重要部分。 开源开发者 Rust 适合那些希望构建 一个高级主题大杂烩，包括不安全 Rust（unsafe Rust）、宏（macro）和更多关于生命周期、 Trait、类型、函数和闭包的内容。 第二十一章我们将会完成一个项目，实现一个底层多线程的 Web 服务端！ 最后的附录包含了一些关于该语言的实用信息，其格式更像是参考资料。附录 A 涵盖了 Rust 的关键字，附录 B 涵盖了 Rust 的运算符和符号，附录 C 涵盖了标准库提供的可派生 trait，附