面向开发者的云原生 DevOps 平台 角色： 产品 / 架构 开发 测试 运维 运维 / 开发 技术支持 事件 需求设计 架构设计 拆任务、写代码 代码集成 xN 单元测试验证 xN 代码扫描 xN 自测、联调 xN 集成验证 xN 写测试用例 系统验证 xN 自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN 服务全生命周期而非只关注代码 ● 每天多次提交提早验证 Zadig 采用「云原生产品级交付」设计理念 数字化产研协同 • 环境 - 统一开发者协作平面 • 工作流 - 统一交付变更通道 • 异构支持 - 统一产研运管理平面 重视开发者体验，工程师不再做脏活累活 传统 DevOps 体系 Zadig 云原生 DevOps 平台 高人效 低人效 低人效 / 低质量 / 低效率 / 开 源 基 本 能 力 开 源 1.5 个月核心重构 65% 功能实现开源 支撑开源社区开发者环境 易 用 性 增 强 接入：安装 10 分钟以内，成功率达 90% 集成环境：支持开发者 Remote debug 工作流：效率和性能、开发者体验提升 贡献者流程建立 开 放 社 区 搭 建 2021 年 5 月 2021 年 7 月 2021 年 9 月 2021

新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 AtlasGraph 。 5 获得 2022 年中国电子学会科学技术奖科技进步一等奖 中国电子学会发布的《 2022 中国电子学会科学技术奖公告》，海 致星图与北京邮电大学、蚂蚁科技集团有限公司、中移动信息技术 有限公司联合研发的“大规模复杂异质图数据智能分析技术与规模化 应用”项目，斩获“科学技术奖科技进步一等奖”，这也是国内电子信 息领域的最高奖项。 该奖项由数十名院士评审，历经三轮，从三百余个申报项目中遴选 关键特性 云原生 Cloud-Native Graph Database 支持弹性伸缩，有 效利用硬件资源，高可用，高 可靠，故障自愈，低成本运维 HTAP Hybrid Transactional/Analytical Processing ，高性能图计算引 擎，预置 20 余种图计算算法 ，可扩展的分析引擎支持更复 杂的数据挖掘和机器学习场景 MPP Massively Parallel

一个线程在运行。目的：异步地处理多个不 同的任务，避免同步造成的阻塞。 • 并行：多核处理器，每个处理器执行一个线 程，真正的同时运行。目的：将一个任务分 派到多个核上，从而更快完成任务。 举个例子 • 并发：某互联网公司购置了一台单核处理 器的服务器，他正同时处理 4 个 HTTP 请求，如果是单线程的 listen-accept 循环 ，则在处理完 A 的请求之前， B 的请求 就无法处理，造成“无响应”现象。 个处理器都渲染完毕得到结果。 • 最后只需将 4 个小块拼接起来即可得到完整 的 cornell box 图像。总共只花了 1 分钟。 图形学爱好者：我看中的是多核，目的是加速比，如果是单核，那多线程对我无用！ 某互联网公司：我看中的是异步，目的是无阻塞，即使是单核，多线程对我也有用。 因特尔开源的并行编程库： TBB https://link.springer.com/chapter/10.1007%2F978-1-4842-4398-5_2 他还接受一些命令行参数来控制测试的输出格式为 csv 等等，你可以调用 --help 查看更多用法。 CMake 中使用： find_package CMake 中使用：作为子模块 这个什么“勾勾”公司非要默认开启 tests ，导致需要去寻找 googletest ，妨碍了我们作为子模块使用。 小彭老师单方面宣布：一切默认开启 tests ， docs 构建目标的 cmake 项目，有病啊！ 你

现存方案 典型代表 方案特点分析 Zadig 优势 传统 Jenkins 方案 GitLab + Jenkins + 脚本化 运行效率低，管理维护成本高 方案局限性大，安全性风险高 无法支持敏捷交付模式 支持从需求到发布全流程敏捷交付。尤其面向 多服务并行部署发布，云原生构建环境和运行 环境，基础设施对接及企业级 SSO/ 权限管理 等 运维管理类平台 蓝鲸 Rainbond KubeSphere 专门面向开发者的生产力平台，涵盖需求到开 发，测试，运维的云原生一体化技术底座支撑 云厂商 DevOps 平台 华为云 DevCloud 阿里云效 腾讯 CODING 云厂商引流为主，锁定风险高 对多云跨地域支持不够 实施负担较重难以推广 面向多云友好，厂商中立，全球多地跨云跨域 安全可靠自动化部署 云原生 CI/CD 工具 Tekton Argo 使用门槛高、学习成本高 需要额外建设全流程能力 接入和使用都极其简单，内置模板库 做完后价值难被证明 通用性、可扩展性、技术先进性强，可以灵活 广泛接入各种技术和业务场景 基于代码管理的 DevOps 方案 Gitee 平台 GitLab 平台 局限性大、全流程安全性低 维护成本高 支持多个服务并行构建部署、产品级发布，可 灵活安全接入多个代码仓及周边工具链 开发 Zadig 核心特性： 运维 真正意义的持续交付：以工程师体验为核心，价值交付为理念，完成需求到发布的全路径。

Microservices • Multiple backend product line with complex upstream • Common testing platform 大公司抓包工具的需求 软件测试工具 • 模拟数据规则 • 自动化测试 • Supports http/https/tcp/websocket(MITM) • Can use rust to construct test case panics, crashes all the other AT jobs • High maintenance due to programming language 大公司 API 测试的需求 软件测试工具 • 模拟数据规则 • 自动化测试 • Use rust to compile wasm and send to wasm mock server • Let • 发 RPC 请求 • 可以上传 proto 文档 • 可以验证数据 前段链接 Wasm Mock Server 随机 waPC 注册逻辑 Use wasm without fear 支持以 websocket 代替 wasm 协议 • 不可能为每个 websocket 链接编程新的 wasm • 流氓做法 (fork) - waPC guest rust 可 改编成让 register_function

Makefile 启动时会把每个文件都检测一遍， 浪费很多时间。特别是有很多文件，但是实 际需要构建的只有一小部分，从而是 I/O Bound 的时候， Ninja 的速度提升就很明 显。 然而某些专利公司的 CUDA toolkit 在 Windows 上只允许用 MSBuild 构建，不能 用 Ninja （怕不是和 Bill Gates 有什么交 易） 第 1 章：添加源文件 一个 .cpp vcxproj 的生成。 project 的初始化： LANGUAGES 字段 • project( 项目名 LANGUAGES 使用的语言列表 ...) 指定了该项目使用了哪些编程语言。 • 目前支持的语言包括： • C ： C 语言 • CXX ： C++ 语言 • ASM ：汇编语言 • Fortran ：老年人的编程语言 • CUDA ：英伟达的 CUDA （ 3.8 版本新增） CMAKE_CXX_STANDARD_REQUIRED 是 BOOL 类型，可以为 ON 或 OFF ，默认 OFF 。 • 他表示是否一定要支持你指定的 C++ 标准：如果为 OFF 则 CMake 检测到编译器不支 持 C++17 时不报错，而是默默调低到 C++14 给你用；为 ON 则发现不支持报错，更安 全。 https://crascit.com/2015/03/28/enabling-cxx11-in-cmake/

第三届中国 Rust 开发者大会 Rust 构建分布式账务系统 在 Fintech 公司落地 Rust 项目的经验分享 Airwalle x 胡宇 Airwallex 我们是一家跨境支付领域的 Fintech 独角兽 关于我们 E2 轮 Fintech 独角兽，业务遍布全球 关于我们： Airwallex 墨尔本 新加坡 伦敦 深圳 香港 北京 旧金山 上海 东京 落地第一个 Rust 项目 磨刀霍霍 – 技术选型 心路历程 ● 对新技术持开放态度 ● Kotlin ：简洁， JVM, GC ● Rust 引入 Linux 内核 ● Android 支持 Rust ● 积极探索新技术对金融科技的改变 ● 对于核心领域系统，追求极致性能，使用 Rust Airwallex 业界 共识 厉兵秣马 - 人才培养 Rust 的吸引力 ● 更加容易吸引对技术有追求的人才 心路历程 真刀实枪 – 文档工具 文档生成 CI/CD git page 作为文档 心路历程 吐槽点 ● Nightly 版本编译器： tikv ， raft-rs ● 无官方库，官方库支持不成熟 ○ Kafka （第三方： https://github.com/kafka-rust/kafka-rust) ○ PostgreSQL ( 第三方： https://github.co

• github.com/zenustech/zeno ZENO 中的流体仿真，就是基于 OpenVDB 的稀疏体积 • github.com/zenustech/zeno Taichi 也支持稀疏数据结构 • https://yuanming.taichi.graphics/publication/2019-taichi/taichi-lang-slides.pdf 第 4 章：并行与随机访问 是线程局部的，因此对他的访问不需要加锁， 更快。 应用在刚刚的 SNode 系统中 std::unordered_map 不支持 omp parallel for 遍历…… tbb::concurrent_unordered_map 可以 tbb::parallel_for 为了支持 std::unordered_map 先把要遍历的坐标和块 指针放到一个数组里，然后再对这个平坦的数组遍历。 指针数组的话，本来就是平坦的二维数组，直接 指针数组的话，本来就是平坦的二维数组，直接 用 omp parallel for collapse(2) 遍历二维区间。 把 func 捕获为 firstprivate ，从而支持用 lambda 捕获的访问者模式。 实现访问者模式 • 额，总之就是每一层都有一个缓存。 第 5 章：量化整型 使用 int ：每个占据 4 字节 • 记得我第七课说过，一个简单的循环体往 往会导致内存成为瓶颈（

T> • 可以声明类型 T 作为模板尖括号里的参数。除了 类型，任意整数也可以作为模板参数： • template • 来声明一个整数 N 作为模板参数。 • 不过模板参数只支持整数类型（包括 enum ）。 • 浮点类型、指针类型，不能声明为模板参数。自 定义类型也不可以，比如： • template // 错误！ 模板参数：多个模板参数 vector 类型的参数。 • 这里用了 const & 避免不必要的的拷贝。 • 不过，这种部分特化也不支持隐式转换。 为什么要支持整数作为模板参数：因为是编译期常量 • 你可能会想，模板只需要支持 class T 不就行了？反正 int N 可以作为函数的 参数传入，模板还不支持浮点。 • template void func(); • 和 • void func(int ...] = tup; • 利用一个方括号，里面是变量名列表，即 可解包一个 tuple 。里面的数据会按顺序 赋值给每个变量，非常方便。 tuple ：结构化绑定为引用 • 结构化绑定也支持绑定为引用： • auto &[x, y, ...] = tup; • 这样相当于解包出来的 x, y, ... 都是 auto & 推 导出来的引用类型。对引用的修改可以影响到原 tuple

用户找到并了解该包的具体信息。 • /usr/lib/cmake 这个位置是 CMake 和第三方库作者约定俗成的，由第三方库的安装程序 负责把包配置文件放到这里。如果第三方库的作者比较懒，没提供 CMake 支持（由安装 程序提供 XXXConfig.cmake ），那么得用另外的一套方法（ FindXXX.cmake ），稍后细 谈。 Windows 系统下的搜索路径 • / • /cmake/ =/usr/local 则会拷贝到 /usr/local/lib/libtest.so 如果第三方库发懒，没有提供 Config 文件怎么办？ • 绝大多数常用 C++ 库都提供了 CMake 支持（即使他们本身不一定是用 CMake 构建 的）： • /usr/lib/cmake/Boost-1.80.0/BoostConfig.cmake • /usr/lib/cmake/opencv4/OpenCVConfig 但是，也有少数不听话的库，官方不提供 CMake 支持，即安装时不自带 Config 文件。 • 恼人的是，这些不听话的库有些竟然是非常热门的库！例如 Python ， CUDA ， Jemalloc 。 • 为了不影响 CMake 用户体验， CMake 发明了 Find 文件（ FindXXX.cmake ），你不 支持我是吧？我支持你！ Find 文件会在 CMake 安装时负责安装到