新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 海致高性能图计算院士专家工作站 海致获得“ 2021 年 CCF 科学技术奖科技进步卓越奖” CCF 操作 生活中无处不在的图 图分析技术分类 图查询 • 使用图数据库的查询语言进行点边搜索 图算法 • 中心性算法 • 社区算法 • 路径算法 • … 图深度学习 • 图嵌入 • 图卷积 • 图注意力网络 • 图自编码器 图查询及其应用场景 图查询 • 使用图数据库的查询语言进行点边的关联查询，可以快速完成传统数据库难以完成的 多度点边关 联 当前图的典型应用场景 路径识别 群体挖掘

IDE 热部署 • 更新镜像 • 更新配置 • 更新数据 • 日常调试 开发工程师 • 日常测试验证 • 自动化测试 测试工程师 • 升级预发环境 • 升级生产环境 • 变更数据库 发布工程师 核心场景介绍：不同角色工程师基于统一协作平面，操作使用自动化工作流和云原生环境 面向角色 功能描述 工作流名称样例 具体配置 开发工程师 CI 过程 project-unit-test Sprint 发布 测试验证 变更发布 产品规划 需求开发 更新项目管理任务状态 执行对应环境的工作流，选择对应任务 Sprint 发布 测试验证 变更发布 产品规划 需求开发 更新数据库 执行对应环境的工作流，输入 SQL 语句执行数据更新 Sprint 发布 测试验证 变更发布 产品规划 需求开发 服务的调试——查看环境和服务状态 Sprint 发布 测试验证 短板 3 、 更多产品特性 Zadig 产品特性：开源 Zadig 的一切 云原生 CI/CD 、产研高效工程化协作、快速应对业务迭代 Zadig 产品特性：发布中心 编排组织、流程、内外部系统，管理代码、配置、数据变更流程，支持灰度组合策略 Zadig 产品特性：客户交付 面向大客户全天候响应、全地域升级部署，提供自运维和专用服务通道，实现稳定高效交付和服务保障 成 立 于 2

hex 选项。 • 但是他的输出会保存到一个字符串里。 • 调用成员函数 .str() 就能取出这个字符串了。 • 之后这个字符串就可以用作其他用途，比如 printf 打印，或者用于查询数据库，都没问题。 • 这里比较无聊，最后还是直接输出到了 cout 。 stringstream 也可以取代 stoi • 刚刚展示了 stringstream 模仿 cout 的方法。 • stringstream ≥ s.size() 时，会抛出 std::out_of_range 异常终止程序。使用 gdb 等调试 器就可以在出这个异常的时候暂停，帮你调试错误 （ BV1kP4y1K7Eo ）。也可以从外部函数 catch 住这个异常（以 后再讲）。 • 而 [] 则不会抛出异常，他只是简单地给字符串的首地址指针和 i 做个加法运算，得到新的指针并解引用。如果你给的 i 超过了字符 串大小 i ≥

blockDim ，看起来非常方便。 从线程到板块 • 核函数内部，用之前说到的 blockDim.x + blockIdx.x + threadIdx.x 来获取线程在整个 网格中编号。 • 外部调用者，则是根据不同的 n 决定板块的 数量（ gridDim ），而每个板块具有的线程 数量（ blockDim ）则是固定的 128 。 • 因此，我们可以用 n / 128 作为 gridDim CUDA 源码生效，这样可以混合其他 .cpp 文件也不会发生 gcc 报错的情况了。。 如何捕获外部变量？ • 如果试图用 [&] 捕获变量是会出错的，毕 竟这时候捕获到的是堆栈（ CPU 内存）上 的变量 arr 本身，而不是 arr 所指向的内 存地址（ GPU 内存）。 如何捕获外部变量？ • 你可能会想，是不是可以用 [=] 按值捕获 ，这样捕获到的就是指针了吧？ • 错了，不要忘了我们第二课说过， 错了，不要忘了我们第二课说过， vector 的拷贝是深拷贝（绝大多数 C++ 类都是深 拷贝，除了智能指针和原始指针）。这样 只会把 vector 整个地拷贝到 GPU 上！ 而不是浅拷贝其起始地址指针。 如何捕获外部变量？ • 正确的做法是先获取 arr.data() 的值到 arr_data 变量，然后用 [=] 按值捕获 arr_data ，函数体里面也通过 arr_data 来访问 arr 。

map, set, string 等 …… constexpr ：强迫编译器在编译期求值（续） 发现：会让编译变得很慢，因为这 50000 次迭代是在编译期进行的。 第 2 章：内联 调用外部函数： call 指令 @PLT 是 Procedure Linkage Table 的缩 写，即函数链接表。链接器会查找其他 .o 文件中是否定义了 _Z5otheri 这个符号， 如果定义了则把这个 优化失败 因为编译器看不到那个文件的 other 函数里是什么，哪怕 other 在定义他的文件里是个空函数，他也不敢优化掉。 解决方案：放在同一个文件里 结论：避免在 for 循环体里调用外部函数，把他们移到 同一个文件里，或者放在头文件声明为 static 函数。 将 other 放到 和 func 同一个 .cpp 文件里，这样编译器看得到 other 的函 数体，就可以内联化该函数 0 的局部变量，再累加到 c 也能矢量化成功！该解决方案比起前一种，由于加法顺 序原因，算出来的浮点精度更高。 优化手法总结 1. 函数尽量写在同一个文件内 2. 避免在 for 循环内调用外部函数 3. 非 const 指针加上 __restrict 修饰 4. 试着用 SOA 取代 AOS 5. 对齐到 16 或 64 字节 6. 简单的代码，不要复杂化 7. 试试看 #pragma

数据。如果没有，则从内存中读取，并存储到缓存中； 如果有，则直接使用缓存中的数据。 • 这样一来，访问的数据量比较小时，就可以自动预先加 载到这个更高效的缓存里，然后再开始做运算，从而避 免从外部内存读写的超高延迟。 缓存的分级结构 查看高速缓存大小： lscpu • 可以看到我们 x86 电脑的缓存结构分为三级。 • 一级缓存分为数据缓存和指令缓存，其中数据缓存有 32 KB ， 数组就完全不会被读取，不会占用内 存带宽，从而带宽利用率是 100% ，因此比 AOS 快了 2 倍。 AOSOA ：两者得兼 • 还有一种办法就是让 MyClass 内部是 SOA ，而外部仍是一个 vector 的 AOS—— 这种内存布局称为 AOSOA 。 • 缺点是必须保证数量是 1024 的整数倍， 而且因为要两次指标索引，随机访问比较 烦。 次跳跃，每次跳跃的距离是 nx ，从而 缓存容量需要有 nx*nblur 那么大，才能利用 全部的缓存，而小彭老师的一级缓存只有 32KB 大。 • 因此可以用循环分块（ loop tiling ），将外部 两层循环变为 blockSize 为跨步的，而内部 则在区间 [xBase, xBase + blockSize) 上循环 。 循环分块：用图片来直观感受 BM_y_blur BM_y_blur_tiled

互联网常用数据库市场占有率 互联网通用架构体制 谈谈 MySQL 数据库那些事  MySQL MySQL 基本介绍 基本介绍  MySQL MySQL 优化方式 优化方式  MySQL MySQL 技巧分享 技巧分享  Q Q & & AA MyISAM MyISAM 特点 特点 MyISAM vs MyISAM vs InnoDB InnoDB • 数据存储方式简单，使用 Windows) Windows) • 访问速度飞快，是所有 访问速度飞快，是所有 MySQL MySQL 文件引擎中速度最快的 文件引擎中速度最快的 • 不支持一些数据库特性，比如 事务、外键约束等 不支持一些数据库特性，比如 事务、外键约束等 • Table level lock Table level lock ，性能稍差，更适合读取多的操作 ，性能稍差，更适合读取多的操作 InnoDB Space 的方式来进行数据存储 的方式来进行数据存储 (ibdata1, ib_logfile0) (ibdata1, ib_logfile0) • 支持 事务、外键约束等数据库特性 支持 事务、外键约束等数据库特性 • Rows level lock , Rows level lock , 读写性能都非常优秀 读写性能都非常优秀 • 能够承载大数据量的存储和访问 能够承载大数据量的存储和访问

return zzz; }() • 可以在表达式层面里插入一个语句块，本 质上是立即求值的 lambda 表达式（内部 是分号级别，外部是逗号级别）。 • 在函数体内也可以这样： • [&]{ xxx; yyy; return zzz; }() • 来在语句块内使用外部的局部变量。 带有构造函数和解构函数的类 • 实际上，只需定义一个带有构造函数和解构函 数的类（这里的 Helper ），然后一个声明该类

转 CSV 工具 • Unqlite - 单文件非关系型数据库 • Wisecondor - 生物信息 CNV 分析 • mdsn - A Multi-address DSN(Data Source Name) parser. TDengine 应用开发组 • Python/Rust/Go 连接器 • 数据可视化 • 数据库运维工具 • 第三方数据源接入 • BI 系统接入 https://taosdata TDengine: 时序数据库 TDengine 是一款开源、云原生的时序数据库（ Time Series Database ），专为物联网、工业互联网、金融、 IT 运维监控等场景设计并优化，具有极强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等 系统功能，能大幅减少系统设计的复杂度，降低研发和运营成本，是一个极简的时序数据处理平台。 采用关系型数据库模型  需要建库、建表， High Avalibility 2022.12 2023.05 2023.09 Usability Functionality taosX - 集群运维 • 数据库复制 • 全量 / 增量备份 • 数据导入 / 导出 • 数据库迁移 • 异地容灾 taosX - 数据接入 Comming Soon taosX - 流式处理 taosX - Transformer • Parse

C++ 特性等比较耗时，检测完会把结果存储到缓存中，这样第二遍运行 cmake -B build 时就可以直接用缓存的值，就不需要再检测一遍了。 如何清除缓存？删 build 大法了解一下 然而有时候外部的情况有所更新，这时候 CMake 里缓存的却是旧的值，会导致一系列问题。 这时我们需要清除缓存，最简单的办法就是删除 build 文件夹，然后重新运行 cmake -B build 。缓存是很多 set 的 PARENT_SCOPE 选项，把一个变量传递到上一层作用域（也就是父模 块）。 如果子模块需要向父模块里传变量怎么办？ • 如果父模块里没有定义 MYVAR 的话，也可以用缓存变量向外部传变量（不推荐）。但是 这样就不光父模块可见了，父模块的父模块，到处都可见。 除了父子模块之外还有哪些是带独立作用域的 • include 的 XXX.cmake 没有独立作用域 • add_subdirectory