新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 海致高性能图计算院士专家工作站 海致获得“ 2021 年 CCF 科学技术奖科技进步卓越奖” CCF 操作 生活中无处不在的图 图分析技术分类 图查询 • 使用图数据库的查询语言进行点边搜索 图算法 • 中心性算法 • 社区算法 • 路径算法 • … 图深度学习 • 图嵌入 • 图卷积 • 图注意力网络 • 图自编码器 图查询及其应用场景 图查询 • 使用图数据库的查询语言进行点边的关联查询，可以快速完成传统数据库难以完成的 多度点边关 联 当前图的典型应用场景 路径识别 群体挖掘

• 鉴于 C++20 还没有普遍落地（例如 CMake 不支持 C++20 modules ）因此我们的课程 基于 C++17 标准，有时会谈到 C++20 作为扩展阅读。 C++ 有哪些面向对象思想？ C++ 思想：封装 比如要表达一个数组，需要：起始地址指针 v ，数组大小 nv 将多个逻辑上相关的变量包装成一个类 因此 C++ 的 vector 将他俩打包起来，避免程序员犯错 封装：不变性 糊（有好处也有坏处，对高性能计算而言利大于 弊） 如果没有解构函数，则每个带有返回的分 支都要手动释放所有之前的资源 : RAII ：异常安全（ exception-safe ） C++ 标准保证当异常发生时，会调用已创建对象的解构函数 。 因此 C++ 中没有（也不需要） finally 语句。 如果此处不关闭，则可等 待稍后垃圾回收时关闭。 虽然最后还是关了，但如 果对时序有要求或对性能 有要求就不能依靠 GC 。 编译器默认生成的构造函数：初始化列表（感谢 C++11 ） • 当一个类（和他的基类）没有定义任何构造函 数，这时编译器会自动生成一个参数个数和成 员一样的构造函数。 • 他会将 {} 内的内容，会按顺序赋值给对象的每 一个成员。 • 目的是为了方便程序员不必手写冗长的构造函 数一个个赋值给成员。 • 不过初始化列表的构造函数只支持通过 {} 或 = {} 来构造，不支持通过 () 构造。其实是为了向

表达式知多少 6. 通过实战案例来学习 STL 算法库 7. C++ 标准输入输出流 & 字符串格式化 8. traits 技术，用户自定义迭代器与算法 9. allocator ，内存管理与对象生命周期 ASCII 码 第 1 章 计算机如何表达字符 https://zh.wikipedia.org/wiki/ASCII 计算机如何表达字符 • 众所周知，计算机只能处理二进制 器里 开洞。但“移动语义”这个概念在旧 cpp 里没有，所以这个是真正必要的语言本身的改动。 • 而 java 就是在语言层面，直接在 jvm 里引入了引用计数，宣称“一切皆对象”，虽然方便了 富连网业务中常见的面向对象编程范式，但也妨碍了 java 进军数据处理，高性能计算等领域 。 java 第八帝国 cpp 第十一共和国 chrono 和 complex 也定义了一些 literials hex 选项。 • 但是他的输出会保存到一个字符串里。 • 调用成员函数 .str() 就能取出这个字符串了。 • 之后这个字符串就可以用作其他用途，比如 printf 打印，或者用于查询数据库，都没问题。 • 这里比较无聊，最后还是直接输出到了 cout 。 stringstream 也可以取代 stoi • 刚刚展示了 stringstream 模仿 cout 的方法。 • stringstream

互联网常用数据库市场占有率 互联网通用架构体制 谈谈 MySQL 数据库那些事  MySQL MySQL 基本介绍 基本介绍  MySQL MySQL 优化方式 优化方式  MySQL MySQL 技巧分享 技巧分享  Q Q & & AA MyISAM MyISAM 特点 特点 MyISAM vs MyISAM vs InnoDB InnoDB • 数据存储方式简单，使用 Windows) Windows) • 访问速度飞快，是所有 访问速度飞快，是所有 MySQL MySQL 文件引擎中速度最快的 文件引擎中速度最快的 • 不支持一些数据库特性，比如 事务、外键约束等 不支持一些数据库特性，比如 事务、外键约束等 • Table level lock Table level lock ，性能稍差，更适合读取多的操作 ，性能稍差，更适合读取多的操作 InnoDB Space 的方式来进行数据存储 的方式来进行数据存储 (ibdata1, ib_logfile0) (ibdata1, ib_logfile0) • 支持 事务、外键约束等数据库特性 支持 事务、外键约束等数据库特性 • Rows level lock , Rows level lock , 读写性能都非常优秀 读写性能都非常优秀 • 能够承载大数据量的存储和访问 能够承载大数据量的存储和访问

转 CSV 工具 • Unqlite - 单文件非关系型数据库 • Wisecondor - 生物信息 CNV 分析 • mdsn - A Multi-address DSN(Data Source Name) parser. TDengine 应用开发组 • Python/Rust/Go 连接器 • 数据可视化 • 数据库运维工具 • 第三方数据源接入 • BI 系统接入 https://taosdata TDengine: 时序数据库 TDengine 是一款开源、云原生的时序数据库（ Time Series Database ），专为物联网、工业互联网、金融、 IT 运维监控等场景设计并优化，具有极强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等 系统功能，能大幅减少系统设计的复杂度，降低研发和运营成本，是一个极简的时序数据处理平台。 采用关系型数据库模型  需要建库、建表， High Avalibility 2022.12 2023.05 2023.09 Usability Functionality taosX - 集群运维 • 数据库复制 • 全量 / 增量备份 • 数据导入 / 导出 • 数据库迁移 • 异地容灾 taosX - 数据接入 Comming Soon taosX - 流式处理 taosX - Transformer • Parse

https://www.bilibili.com/video/BV16b4y1E74f 课程 PPT 和代码： https://github.com/parallel101/course CUDA 纹理对象 https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#texture-and-surface-memory CUDA CPU 的三维数组之间拷贝数据。 CUDA 表面对象：封装 • 要访问一个多维数组，必须先创建一个表面对象 （ cudaSurfaceObject_t ）。 • 考虑到多维数组始终是需要通过表面对象来访问的，这 里我们让表面对象继承自多维数组。 • 在核函数中可以用 surf3Dread 和 surf3Dwrite 来读写 表面对象中的元素， x,y,z 参数指定要访问元素的坐标 ，要注意 CudaSurfaceAccessor ，不管理资源 ，仅仅是指向资源的一个弱引用，可以随意拷贝。并把 读写访问的方法（ surf3Dread ）定义在访问者类。 CUDA 表面对象：封装 • 此外，表面对象还支持自动判断 x,y,z 坐标是否越界 ， surf3Dread/write 的最后一个参数，用于指定出现 越界时要采取的行动： • cudaBoundaryModeTrap ：一旦越界就奔溃。

改进： mylib 作为一个对象库 https://www.scivision.dev/cmake-object-libraries/ 对象库类似于静态库，但不生成 .a 文件，只由 CMake 记住该库生成了哪些对象文件 改进： mylib 作为一个对象库 https://www.scivision.dev/cmake-object-libraries/ 对象库类似于静态库，但不生成 .a 记住该库生成了哪些对象文件 对象库是 CMake 自创的，绕开了编译器和操作系统的各种繁琐规则，保证了跨平台统一性 。 在自己的项目中，我推荐全部用对象库 (OBJECT) 替代静态库 (STATIC) 避免跨平台的麻烦 。 对象库仅仅作为组织代码的方式，而实际生成的可执行文件只有一个，减轻了部署的困难。 静态库的麻烦： GCC 编译器自作聪明，会自动剔除没有引用符号的那些对 象 对象库可以绕开编译 对象库可以绕开编译器的不统一：保证不会自动剔除没引用到的对象文件 虽然动态库也可以避免剔除没引用的对象文件，但引入了运行时链接的麻烦 add_library 无参数时，是静态库还是动态库 ? 会根据 BUILD_SHARED_LIBS 这个变量的值决定是动态库还是静态库。 ON 则相当于 SHARED ， OFF 则相当于 STATIC 。 如果未指定 BUILD_SHARED_LIBS 变量，则默认为 STATIC

com/zenustech/zeno/tree/zeno2 • Zeno 1.0 所在的分支： https://github.com/zenustech/zeno/ Zeno 中的基本类型 • IObject 一切对象的公共基类。 • INode 一切节点的公共基类。 多态的经典案例 • IObject 具有一个 eatFood 纯虚函数，而 CatObject 和 DogObject 继承自 IObject 接口。 小知识： shared_ptr 如何深拷贝？ 浅拷贝： 深拷贝： 思考：能不能把拷贝构造函数也作为虚函数？ • 现在我们的需求有变，不是去对同一个对象调用两次 eatTwice ，而是先把对象复制一份 拷贝，然后对对象本身和他的拷贝都调用一次 eatFood 虚函数。 • 代码如下，这要怎么个封装法呢？你可能会想，是不是可以把拷贝构造函数也声明为虚函 数，这样就能实现了拷贝的多态？不行，因为 数，这样就能实现了拷贝的多态？不行，因为 C++ 规定“构造函数不能是虚函数”。 模板函数？未免有些差强人意 • 索性把 eatTwice 声明为模板函数的确能解决问题，但模板函数不是面向对象的思路，并 且如果 cat 和 dog 是在一个 IObject 的指针里就会编译出错，例如右图的 vector （这是游戏引擎中很常见的用法）。 正确解法：额外定义一个 clone 作为纯虚函数，然后让猫和狗分别实现他

com/zenustech/zeno/blob/master/zenovis/src/Scene.cpp vector 容器：生命周期由主对象管理 • C++ 中哪个运算符是最强的？我觉得是 } • 因为 } 标志着一个语句块的结束，在这里，他 会调用所有身处其中的对象的解构函数。比如 这里的 vector ，他的解构函数会释放动态数组 的内存（即自动 delete ）。 • vector 会在退出作用域时释放内存，这时候所 语句块外就无法访问了。 • 可见 data() 指针是对 vector 的一种引用，实 际对象生命周期仍由 vector 类本身管理。 vector 容器：延续生命周期 • 如果需要在一个语句块外仍然保持 data() 对 数组的弱引用有效，可以把语句块内的 vector 对象移动到外面的一个 vector 对象 上。 vector 在移动时指针不会失效，例如： • a = move(b) 之后即使不直接使用外面的那个临时对象 a ， 也可以继续通过 data() 指针来访问数据。 vector 容器：延续生命周期 • 也可以移动到一个全局变量的 vector 对象。 • 这样数组就会一直等到 main 退出了才释放。 • 小彭老师曾经在 taichi 中就是用了一个全局 变量伺候了 unique_ptr 脱离作用域会释放的 麻烦，让 lambda 中仍可访问对象。 • 至于那个全局变量本身有没有被使用则无所谓

了单独一个指令。这里尽管不 是地址，但同样可以利用 lea 指令简化生成的代码大小。 eax = rdi + rsi * 8 指针访问对象：线性访问地址 rsi = (int64_t)esi eax = *(int *)(rdi + rsi * 4) 为什么乘以 4 ？因为访问的 对象， int 的大小是 4 。 指针的索引：尽量用 size_t eax = *(int *)(rdi + rsi * 4) out-got-plt.html 编译器优化： call 变 jmp 多个函数定义在同一个文件中 如果 _Z5otheri 定义在同一个文件中，编 译器会直接调用，没有 @PLT 表示未定义 对象。减轻了链接器的负担。 编译器优化：内联化 只有定义在同一个文件的函数可以被内联 ！否则编译器看不见函数体里的内容怎么 内联呢？ 为了效率我们可以尽量把常用函数定义在 头文件里，然后声明为 static ）上，就可以优化成功 。 而我们可以用 const 禁止写入访问。 结论：所有非 const 的指针都声明 __restrict 。 禁止优化： volatile 结论：加了 volatile 的对象，编 译器会放弃优化对他的读写操作 。 做性能实验的时候非常有用。 注意一下区别 1. volatile int *a 或 int volatile *a 2. int *__restrict