新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 专注于数据智能技术赋能中国数字经济发展 海致高性能图计算院士专家工作站 郑纬民 - 海致科技首席科学家 中国工程院院士、清华大学计算机科学与技术系教 授、中国计算机学会前理事长，中国计算机系统结构 的学科带头人，我国高性能计算和存储系统等方面的 泰斗和先行者。 2021 年 3 月 25 日，海致科技与清华大学计算机科学与技术系共同建设高性能图计算院士专家工作站 。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 术方向，满足人们对更大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 海致高性能图计算院士专家工作站 海致获得“ 2021 年 CCF 科学技术奖科技进步卓越奖” CCF 科学技术奖被认为是计算机科学与技术领域最具影响力的专业奖项之一，

build && kubectl apply 项⽬介绍 开发 从代码库克隆代码到本地 硬盘，打开 VS Code 编 辑器进⾏编码 AMP 在 Amphitheatre 中创建 即可实时部署到云端 进⾏测试和验收 上线 利⽤ Amphitheatre 配置⽂ 件， 执⾏标准 CI/CD ⼯ 作流，轻松发布! 开发⼯程师需要在本机安装各种编程语⾔的运⾏时和相关的框 架以及库， 技术栈杂多 研发流程⻓达⼗⼏个步骤：安装开发软件、配置环境、克隆代 码、开发、本地调试、提交代码、编译构建、⾃动化测试、部 署到测试环境、测试验收、合并代码到主线、部署到⽣产环 境… 研发流程繁⻓ 起因：开发者之痛 为了部署测试，不仅要学习容器化、Kubernetes，还要申请资 源安装配置各项中间件，学习成本⾼，费⼼费⼒ 复杂的基础设施 Build Test Code Deploy Account Project Activity Tariq Share Redis ETCD 可让您完全跳过镜像构建，
 使⽤新代码更新正在运⾏的容器，
 只需⼏秒钟⽽不是⼏分钟。 本地开发实时部署到远程集群 如何⼯作的？ Kubernetes 集群 更改 资源定义 ⻆⾊定义 执⾏资源 资源定义 资源定义
 更改 ⽂件
 更改 ⽤户
 触发 ⽂件
 更改 frontend

艺、 到解放生产力的工业产品、再到宇宙运行的科学规律，几乎每一件平凡或令人惊叹的事物背后，都隐藏着精 妙的算法思想。 同样，数据结构无处不在：大到社会网络，小到地铁线路，许多系统都可以建模为“图”；大到一个国家，小 到一个家庭，社会的主要组织形式呈现出“树”的特征；冬天的衣服就像“栈”，最先穿上的最后才能脱下； 羽毛球筒则如同“队列”，一端放入、另一端取出；字典就像一个“哈希表”，能够快速查找目标词条。 . . . . . . . . . . . . . . . . . 192 第 9 章 图 194 9.1 图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195 9.2 图的基础操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199 9.3 图的遍历 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205 9.4 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

艺、 到解放生产力的工业产品、再到宇宙运行的科学规律，几乎每一件平凡或令人惊叹的事物背后，都隐藏着精 妙的算法思想。 同样，数据结构无处不在：大到社会网络，小到地铁线路，许多系统都可以建模为“图”；大到一个国家，小 到一个家庭，社会的主要组织形式呈现出“树”的特征；冬天的衣服就像“栈”，最先穿上的最后才能脱下； 羽毛球筒则如同“队列”，一端放入、另一端取出；字典就像一个“哈希表”，能够快速查找目标词条。 . . . . . . . . . . . . . . . . . 192 第 9 章 图 194 9.1 图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195 9.2 图的基础操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199 9.3 图的遍历 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205 9.4 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . 191 第 9 章 图 193 9.1 图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194 9.2 图的基础操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198 9.3 图的遍历 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205 9.4 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 数据结构：基本数据类型和数据结构的分类方法。数组、链表、栈、队列、哈希表、树、堆、图等数据 结构的定义、优缺点、常用操作、常见类型、典型应用、实现方法等。 ‧ 算法：搜索、排序、分治、回溯、动态规划、贪心等算法的定义、优缺点、效率、应用场景、解题步骤 和示例问题等。 第 0 章 前言 hello‑algo.com 3 图 0‑1 本书主要内容 0.1.3 致谢 本书在开源社区众多贡献者的共同

椭圆曲线可使用更少的运算位数来达成与RSA相等的 安全性 • 椭圆曲线与RSA的安全性都依赖于离散对数问题的复 杂程度 • 离散对数问题：已知数A，B，且A = B^n，求数 n SM2 加解密算法：流程图 Flowchart of SM2 Encrypt and Decrypt Algorithm Rust China Conf 2022 – 2023, Shanghai, China SM3 Introduction 为标识加密算法（Identity-Based Cryptography），非对称加密，标识加密将用户的标识 （如微信号、邮件地址、手机号码、QQ 号等）作为公钥，省略了交换数字证书和公钥过程，使得 安全系统变得易于部署和管理。提供签名校验，密钥交换，密钥封装与加解密功能。由于以上用 例，可以用于网络安全密码协议，如SSL/TLS。 • 保证数据机密性、真实性和完整性。 • 在商用密码体系中，SM9 主要用于用户的身份认证，据新华网公开报道，SM9 的公钥密码体制有许多优点，省去了证书管理等。因此，使用SM9算法不需要申请数字证 书，适用于互联网各种新兴应用的安全保障，应用可采用手机号码或邮件地址作为公钥， 实现数据加密、身份认证、通话加密、通道加密等安全应用，并具有使用方便，易于部署 的特点。 • 不同于传统签名算法的由用户随机选择私钥然后 计算得到公钥的方式，SM9 能够实现用户指定公 钥（即身份标识），密钥生成中心通过公钥计算 私钥。 SM9 Introduction of

账户层： Auticuro 分布式账务系统 1 2 3 4 事务层： Marker 分布式账务系统 A,B,C 在不同分区执行一个事务的 TCC 转账计划 ● 转账计划 ○ 有向无环图 ○ 节点是一个任务 ○ 边是依赖关系 ● 事务层 Marker 负责执行计划 ○ ACID 保证 ○ 依赖控制 ○ 条件执行 ○ 调度账户变动请求 跨分区转账 分布式账务系统 拥抱开源 Rust Rust 与原有技术栈的融合 ● Kotlin ： 偏业务，适合快速迭代 ● Rust ：偏基础架构，适合精心打磨 ● gRPC ：跨语言跨平台通讯 心路历程 真刀实枪 – 开发调试部署 IDE JetBrains + Rust 插件 Gitlab CI/CD 心路历程 真刀实枪 – 文档工具 文档生成 CI/CD git page 作为文档 心路历程 吐槽点 ●

以了解 String 的底层会发生什么。String 由三部分组成，如图左侧所示：一个 指向存放字符串内容内存的指针，一个长度，和一个容量。这一组数据存储在栈上。右侧则是 堆上存放内容的内存部分。 图 4-1：将值 "hello" 绑定给 s1 的 String 在内存中的表现形式 76/600 Rust 程序设计语言 简体中文版 长度表示 String 的内容当前使用了多少字节的内存。容量是 4-2 所 示。 图 4-2：变量 s2 的内存表现，它有一份 s1 指针、长度和容量的拷贝 这个表现形式看起来 并不像 图 4-3 中的那样，如果 Rust 也拷贝了堆上的数据，那么内存看起 来就是这样的。如果 Rust 这么做了，那么操作 s2 = s1 在堆上数据比较大的时候会对运行时 性能造成非常大的影响。 77/600 Rust 程序设计语言 简体中文版 图 4-3：另一个 s2 s2 = s1 时可能的内存表现，如果 Rust 同时也拷贝了堆上的数据的话 之前我们提到过当变量离开作用域后，Rust 自动调用 drop 函数并清理变量的堆内存。不过 图 4-2 展示了两个数据指针指向了同一位置。这就有了一个问题：当 s2 和 s1 离开作用域， 它们都会尝试释放相同的内存。这是一个叫做 二次释放（double free）的错误，也是之前提 到过的内存安全性 bug

在栈上。右侧则是堆 上存放内容的内存部分。 s1 name value ptr len 5 capacity 5 indexvalue 0 h 1 e 2 l 3 l 4 o 图 4-1：将值 "hello" 绑定给 s1 的 String 在内存中的表现形式 长度表示 String 的内容当前使用了多少字节的内存。容量是 String 从分配器总共获取了多少 字节的内存。 ptr len 5 capacity 5 indexvalue 0 h 1 e 2 l 3 l 4 o s2 name value ptr len 5 capacity 5 图 4-2：变量 s2 的内存表现，它有一份 s1 指针、长度和容量的拷贝 这个表现形式看起来并不像图 4-3 中的那样，如果 Rust 也拷贝了堆上的数据，那么内存看起 来就是这样的。如果 Rust 5 capacity 5 indexvalue 0 h 1 e 2 l 3 l 4 o 图 4-3：另一个 s2 = s1 时可能的内存表现，如果 Rust 同时也拷贝了堆上的数据的话 之前我们提到过当变量离开作用域后，Rust 自动调用 drop 函数并清理变量的堆内存。不过图 4-2 展示了两个数据指针指向了同一位置。这就有了一个问题：当 s2 和 s1 离开作用域，它们 都会尝试释放相同的内存。这是一个叫做

重新整理倉庫網頁，點選“Create pull request”按鈕即可發起拉取請求。 3. Docker 部署 在 hello-algo 根目錄下，執行以下 Docker 指令碼，即可在 http://localhost:8000 訪問本專案： docker-compose up -d 使用以下命令即可刪除部署： docker-compose down 16.3 術語表 表 16‑1 列出了書中出現的重要術語，值得注意以下幾點。 problem Top‑? 问题 Top‑? 問題 graph 图 圖 vertex 顶点 頂點 undirected graph 无向图 無向圖 directed graph 有向图 有向圖 connected graph 连通图 連通圖 disconnected graph 非连通图 非連通圖 weighted graph 有权图 有權圖 adjacency 邻接 鄰接 path 路径