第三届中国 Rust 开发者大会 安全高效的二进制序列化 Daniel Wang @ NEAR Borsh • 运行、编码效率 • 确定性 • 跨平台兼容性 二进制序列化的问题 Binary Object Representation Serializer for Hashing • 字节级别确定性 • 执行速度快 Borsh • 轻量级 • 每一个对象与其二进制表示之间都存在一个双射映射

AtlasGraph 。 5 获得 2022 年中国电子学会科学技术奖科技进步一等奖 中国电子学会发布的《 2022 中国电子学会科学技术奖公告》，海 致星图与北京邮电大学、蚂蚁科技集团有限公司、中移动信息技术 有限公司联合研发的“大规模复杂异质图数据智能分析技术与规模化 应用”项目，斩获“科学技术奖科技进步一等奖”，这也是国内电子信 息领域的最高奖项。 该奖项由数十名院士评审，历经三轮，从三百余个申报项目中遴选 之间的传递过程和传递概率 图深度学习及其应用场景 图嵌入 • 将高维的图信息映射到低维向量中 • 通过图嵌入将客户关系表示为低维向量，可以结合其 他客户行为特征进行机器学习训练 图卷积神经网络 • 对图结构数据进行卷积计算 • 通过已有的企业数据，通过 GCN 进行半监督学习和分 类，预测企业的违约概率 传统的关系型数据库的存储方式丢失了事物之间的关系信息 Relational Table Real World Technology Landscape 2020 • 图数据库 • 图数据建模 • 图计算引擎 • 图数据集成 • 可视化分析 • 知识图谱解决方案 • 图查询语言 • 欺诈检测 • 网络安全分析 • 社交网络分析 • BI 工具 • 图分析工具集 • 图咨询服务 Source ： Graph Aware 图数据库发展趋势 AtlasGraph 研发背景 • 业务对大图分析的诉求（千亿点、万亿边）

代码集成 xN 单元测试验证 xN 代码扫描 xN 自测、联调 xN 集成验证 xN 写测试用例 系统验证 xN 自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN 代码变更 xN 配置变更 xN 部署测试环境 xN 部署预发环境 xN 部署生产环境 xN 部署 / 灰度上线 xN 监控 / 多业务联调艰难，诊断耗时多 • 出现问题诊断耗时多 • 流程割裂协作痛苦，响应慢 调试自测免打扰：本地 / 子环境免打扰，独立完成验证工作 自助验证更高效：自动化工作流 + 云上环境，高效验证调试 安全发布有信心： 一个平台完成日常 90% 工作，开发自助发布 需求研发总耗时降低 30% 需求迭代周期缩短 1-5 倍 解放开发，专注编码 更多的架构和技术提升 测试 效率和质量难以平衡： 验证有效性提升 100% 解放测试，全面自动化 提升效率，建设质量体系 安全 安全建设被动： • 安全建设缺乏时机和抓手 • 出现问题，影响业务进度 前置安全服务：全流程嵌入安全检测，避免流入业务环节。 全流程安全门禁：关键环节设置安全门禁，快速反馈研发改进 故障拦截率提升 1-3 倍 业务响应效率提升 3-5 倍 全流程安全建设 更多价值体现 组织 靠流程和个人，效率越来越低 • 低人效

释放云基建能力：链接任何云 及自建资源（容器、主机、车 机、端等），释放云原生价值 和企业创新力 生态开放：广泛开放系统 模块和 OpenAPI ，链接 一切流程、服务、工具和 上下游伙伴 安全简单自主可控：私有化 部署，现有服务 0 迁移成本 、体验丝滑接入容易、学习 使用门槛极低 现存做法大多以「单点工具 + 写脚本」或运管类平台为主， Zadig 则是面向开发者视角，中立，云原生一体化价值链平台。 DevOps 方案对比： 现存方案 典型代表 方案特点分析 Zadig 优势 传统 Jenkins 方案 GitLab + Jenkins + 脚本化 运行效率低，管理维护成本高 方案局限性大，安全性风险高 无法支持敏捷交付模式 支持从需求到发布全流程敏捷交付。尤其面向 多服务并行部署发布，云原生构建环境和运行 环境，基础设施对接及企业级 SSO/ 权限管理 等 运维管理类平台 蓝鲸 DevOps 平台 华为云 DevCloud 阿里云效 腾讯 CODING 云厂商引流为主，锁定风险高 对多云跨地域支持不够 实施负担较重难以推广 面向多云友好，厂商中立，全球多地跨云跨域 安全可靠自动化部署 云原生 CI/CD 工具 Tekton Argo 使用门槛高、学习成本高 需要额外建设全流程能力 接入和使用都极其简单，内置模板库 和最佳实践，基于平台工程打造，可以轻松连

C++ 的 解构函数是显式的，离开作用域自动销毁，毫不含 糊（有好处也有坏处，对高性能计算而言利大于 弊） 如果没有解构函数，则每个带有返回的分 支都要手动释放所有之前的资源 : RAII ：异常安全（ exception-safe ） C++ 标准保证当异常发生时，会调用已创建对象的解构函数 。 因此 C++ 中没有（也不需要） finally 语句。 如果此处不关闭，则可等 待稍后垃圾回收时关闭。 14f) 不会出错，但是 int{3.14f} 会出错，因为 {} 是非强制转换。 2. Pig(“ 佩奇” , 3.14f) 不会出错，但是 Pig{“ 佩奇” , 3.14f} 会出错，原因同上，更安全。 3. 可读性： Pig(1, 2) 则 Pig 有可能是个函数， Pig{1, 2} 看起来更明确。 • 其实谷歌在其 Code Style 中也明确提出别再通过 () 调用构造函数，需要类型转换时应该 如果需要允许用户拷贝你的 Vector 类对象 ，我们还是需要实现一下的。 • 发现了吗？其实不管是 size/resize 这样的 get/set 模式也好；自定义的拷贝构造函数 也好； RAII 保证异常安全也好；都是在为 面向对象思想的“封装：不变性”服务。 • 即：保证任何单个操作前后，对象都是处于 正确的状态，从而避免程序读到错误数据 （如空悬指针）的情况。 三五法则：拷贝赋值函数 •

对之下来不及从内存读写数据，从而越容 易 mem-bound 。 1 2 4 6 8 10 0 50 100 150 200 250 300 350 funcA funcB funcC 内存信息查看工具： dmidecode • 可以看到小彭老师电脑上插了 2 块内存，频率都是 2667 MHz ，数据的宽度是 64 位（ 8 字节）。 • 理论极限带宽 = 频率 * 宽度 * 数量 当读和写创建的新条目过多，缓存快要塞不下时，他会把 最不常用的那个条目移除，这个现象称为失效（ invalid ）。 如果那个条目是被标记为脏的，则说明是当时打算写入的 数据，那就需要向主内存发送写入请求，等他写入成功， 才能安全移除这个条目。 • 如有多级缓存，则一级缓存失效后会丢给二级缓存。 连续访问与跨步访问 • 如果访问数组时，按一定的间距跨步访问，则效率如何？ • 从 1 到 16 都是一样快的， 32 开始才按 ？原来现在操作系统管理内存是用分页 （ page ），程序的内存是一页一页贴在地址空间中的， 有些地方可能不可访问，或者还没有分配，则把这个页设 为不可用状态，访问他就会出错，进入内核模式。 • 因此硬件出于安全，预取不能跨越页边界，否则可能会触 发不必要的 page fault 。所以我们选用页的大小，因为本 来就不能跨页顺序预取，所以被我们切断掉也无所谓。 • 另外，我们可以用 _mm_alloc

TDengine Rust • OOXML - Excel 解析库 • xlsx2csv - Excel 转 CSV 工具 • Unqlite - 单文件非关系型数据库 • Wisecondor - 生物信息 CNV 分析 • mdsn - A Multi-address DSN(Data Source Name) parser. TDengine 应用开发组 • Python/Rust/Go 连接器 serde + arrow taosX - 数据汇聚 CONTENTS 自 我 介 绍 T D e n g i n e t a o s X R u s t 使 用 Why Rust ? • 安全性 • 高性能 • 跨平台兼容 • 强大的类型系统和抽象表达能力 • 优秀的 Rust 生态和开发工具链 • C FFI 互操作能力 • async/await 异步编程 Rust - Crates Tokio - Notes • 使用非阻塞或并发 / 异步数据结构 • 使用异步锁和异步 Channel 。 • 使用 spawn_blocking 提交耗时任务 • C FFI 调用时，要关注上下文的线程安全性。 • 多个运行时之间使用 Channel 通信，降低锁使用范围。 Tokio - Graceful Stop • futures::future::Abortable 可用于短路一个 stream

C++11 引入了 auto ，使用 auto 定义的变量，其类型会自动根据等号右边的值来确定 ： 自动类型推导：一些局限性 • 不过 auto 也并非万能，他也有很多限制。 • 因为需要等号右边的类型信息，所以没有 = 单独声明一个 auto 变量是不行的： • 而且，类成员也不可以定义为 auto ： 自动类型推导：函数返回值 • 除了可以用于定义变量，还可以用作函数的返回类型： • 使用 如果说 int & 相当于 int * ，那么 int const & 就相当于 int const * 。 • const 修饰符的存在，使得 ref 不能被写入（赋值）。 • 这样的好处是更加安全（编译器也能够放心大胆地做自动优化）： 自动类型推导：定义引用（ auto & ） • 当然， auto 也可以用来定义引用，只需要改成 auto & 即可： 自动类型推导：定义常引用（ auto 之外还可以用 *ret 获 取 optional 容器中的值，不过他不会 去检测是否 has_value() ，也不会抛出 异常，更加高效，但是要注意安全。 • 请确保在 has_value() 的分支内使用 *ret ，否则就是不安全的。 • 如果 optional 里的类型是结构体，则 也可以用 ret->xxx 来访问该结构体的 属性。 optional ： operator

的包，找不到不报错，事后可以通过 ${OpenCV_FOUND} 查询是否找到。 • find_package(OpenCV QUIET) • 查找名为 OpenCV 的包，找不到不报错，也不打印任何信息。 • find_package(OpenCV REQUIRED) # 最常见用法 • 查找名为 OpenCV 的包，找不到就报错（并终止 cmake 进程，不再继续往下执行）。 • find_package(OpenCV ），这个配置文件里包含了包的具体信息， 包括动态库文件的位置，头文件的目录，链接时需要开启的编译选项等等。而且某些库都 具有多个子动态库，例如 Qt 就有 libQt5Core.so 、 libQt5Widgets.so 、 libQt5Network.so 。因此 CMake 要求所有第三方 库作者统一包装成一个 Qt5Config.cmake 文件包含所有相关信息（类似于 nodejs 的 package 的安装程序 或 apt install 等）会自动放到 /usr/lib/cmake/XXX/XXXConfig.cmake 这个路径（其中 XXX 是包名），供 CMake 用户找到并了解该包的具体信息。 • /usr/lib/cmake 这个位置是 CMake 和第三方库作者约定俗成的，由第三方库的安装程序 负责把包配置文件放到这里。如果第三方库的作者比较懒，没提供 CMake 支持（由安装

64GB ） 。 • 64 位计算机反而是因为 16777216 TB 太大，内存地址被阉割到了 39 位（ 512GB ）。 • 64 位计算机：小丑竟是我自己 lscpu 命令查看处理器相关信息 C 语言中的整数类型 C 语言的基础整数类型 类型 Unix 32 位 Unix 64 位 Windows 32 位 Windows 64 位 char 8 位 8 位 8 位 8 位 short long 的大小应该和系统架构位数一样， 32 位系统上就 32 位， 64 位系统上就 64 位。 Windows 认为 long 不论 32 位系统还是 64 位系统都一样应该为 32 位，认为这样安全。 因此我们在编写 C 语言程序时，应该避免使用 long 类型，他会导致你的程序难以跨平台。 除了 long 之外的其他类型则没有区别，可以放心使用。 无符号整数： unsigned 修饰 有符号版本 用途举例：假如一个参数类 Params 非常复杂 ，然后函数是 func(Params *pars) ，这样只要 给 pars 传一个空指针，就表示“用户不想指定 这个参数”的意思。 C++ 可以用更安全的 func(std::optional pars) 来替代。 NULL 的定义为什么是这样的？ • 如果你看过标准库的头文件内容，会看到 NULL 的 本质无非是一个宏。那为什么要这样定义呢？