从稀疏数据结构到量化数据类型 by 彭于斌（ @archibate ） 往期录播： https://www.bilibili.com/video/BV1fa411r7zp 课程 PPT 和代码： https://github.com/parallel101/course 本课涵盖：稀疏矩阵、 unordered_map 、空间稀 疏网格、位运算、浮点的二进制格式、内存带宽优 化 面向人群：图形学、 有了无边界的稀疏网格，再也不用担心二维数组要分配多大了。 坐标可以无限延伸，甚至可以是负数！比如 (-1,2) 等…… 他会自动在写入时分配 16x16 的子网格，称之为叶节点 (leaf node) ，而这里的 unordered_map 就是充当根节点 (root node) 。 图片解释稀疏的好处 传统稠密二维数组 无边界稀疏分块哈希表 此外，还是按需分配内存，即使被写入的部分奇形怪状也不会浪费内存。 存。 这些被写入的部分被称为激活元素 (active element) ，反之则是未激活 (inactive) 。 这就是稀疏的好处，按需分配，自动扩容。 分块则是利用了我们存储的数据常常有着空间局域性的特点，减轻哈希表的压 力，同时在每个块内部也可以快乐地 SIMD 矢量化， CPU 自动预取之类的。 第 2 章：位运算 稀疏的好处：坐标可以是负数 这样即使坐标为负数，或者可以是任意大的坐标，都不会产生越界错误。

新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 企业级数据解决方案专家 为建行、工行、交行、招行、上交所、深交所、中国人寿等 70+ 银行证券保险 企业、公安部、上海市公安局、武汉市公安局等 100+ 公安机构，国家电网、 国信通产业集团等电力能源行业提供数据智能产品解决方案及长期服务。 海致专注为政府、金融、能源等客户提供大数据处理、分析、挖掘服务，在互 联网技术基础上，打造专业、易用的企业级大数据实战应用产品及解决方案。 北京中关村总部 北京中关村总部 武汉运维中心 深圳研发中心 上海应用中心 专注于数据智能技术赋能中国数字经济发展 海致高性能图计算院士专家工作站 郑纬民 - 海致科技首席科学家 中国工程院院士、清华大学计算机科学与技术系教 授、中国计算机学会前理事长，中国计算机系统结构 的学科带头人，我国高性能计算和存储系统等方面的 泰斗和先行者。 2021 年 3 月 25 日，海致科技与清华大学计算机科学与技术系共同建设高性能图计算院士专家工作站

被忽视的访存优化：内存带宽与 cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， scan ，矩阵乘法等 10.存储大规模三维数据的关键：稀疏数据结构 11.物理仿真实战：邻居搜索表实现 pbf 流体求解 12.C++ 在 ZENO 中的工程实践：从 primitive 说起 13.结业典礼：总结所学知识与优秀作业点评 I 硬件要求： 窗口才能刷新一遍 ，导致解算过程中基本别想做事，这一定程度上归功于 opengl 原始的单线程设计。 • 正面教材： zeno 可以在解算过程中，随时拖动滑块看前几帧的结果，编辑场景图，修改 节点间的连接，为下一次解算做准备，同时当前已经启动的物理解算还能在后台继续正常 运行。虽然 zeno 也用了 opengl ，但他用多进程成功在 opengl 的百般拖后腿下实现了 并发。 第 2 章：异步 不接受参数，仅仅作为同步用， 不传递任何实际的值。 第 3 章：互斥量 多线程打架案例 • 两个线程试图往同一个数组里推数据。 • 奔溃了！为什么？ • vector 不是多线程安全（ MT-safe ）的容 器。 • 多个线程同时访问同一个 vector 会出现 数据竞争（ data-race ）现象。 std::mutex ：上锁，防止多个线程同时进入某一代码段 • 调用 std::mutex

的物联网和时序数据传输及 转换工具 霍琳贺 涛思数据 Rust China Conf 2023 CONTENTS 自 我 介 绍 T D e n g i n e t a o s X R u s t 使 用 TDengine Rust • OOXML - Excel 解析库 • xlsx2csv - Excel 转 CSV 工具 • Unqlite - 单文件非关系型数据库 • 连接器 • 数据可视化 • 数据库运维工具 • 第三方数据源接入 • BI 系统接入 https://taosdata.com/ https://github.com/zitsen CONTENTS 自 我 介 绍 T D e n g i n e t a o s X R u s t 使 用 TDengine: 时序数据库 TDengine 是一款开源、云原生的时序数据库（ Time ），专为物联网、工业互联网、金融、 IT 运维监控等场景设计并优化，具有极强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等 系统功能，能大幅减少系统设计的复杂度，降低研发和运营成本，是一个极简的时序数据处理平台。 采用关系型数据库模型  需要建库、建表，  为提升写入和查询效率，要求一个数据采集点一张表  为实现多表聚合，引入超级表概念  子表通过超级表创建，带有标签，通过标签实现多表

queue Tokio 采用了如右图这种 GMP 模式： • 一核可以绑定多线程，每个线程拥有一个 Worker ，每个 Worker 拥有一个任务队列 • 但线程拥有相同优先级 • Worker 只持有一个本地 FIFO 队列 移动端诉求：优先级 • 任务区分优先级： UI 显示 vs 后台下载 • 大小核调度 Incompatibility of the third party Runtime 并行迭代器异步化  可以对 Rust 常规数据容器生成并行迭代器，对容 器内的数据进行异步并行的操作 Fusion of IO/CPU intensive IO & CPU 融合 Fusion of IO/CPU intensive IO & CPU 融合 Fusion of IO/CPU intensive 南向调度融合：异步并行迭代器  将数据容器内的数据进行递归二分，对左 半和右半分别生成一个异步任务。最终对 半和右半分别生成一个异步任务。最终对 单个数据执行用户业务逻辑 IO & CPU 融合 南向调度融合  IO & CPU 通过设置不同优先级，进 入不同线程池调度  线程池根据负载监控（任务平均等待 时间等数据）进行线程池动态扩缩 容。  任务窃取 Fusion of IO/CPU intensive 结构化并发 Structured Concurrency 核心在于通过一种父子结构化的

位长的整数能表示的范围是 0 到 2^32-1 ，也就是 0 到 4294967295 。 • 64 位长的整数能表示的范围是 0 到 2^64-1 ，也就是 0 到 [ 数据删除 ] 。 • 这就是为什么现在的计算机都升级到 64 位了，因为能表示更大范围的 [ 数据删除 ] 嘛。 有符号整数 vs 无符号整数 • 有时候我们是需要表示负数的。而刚刚那种二进制的做法，只能表示正数和零。 • 怎么办？可能有的同 刚刚说的让 10000000 表示 -1 ， 11111111 表示 -128 的方法就叫做反码表示法。 • 但是这样还有一个问题，那就是硬件电路上，需要完全重新设计，对符号位做一些特殊判 断，才能支持有符号整数的加减法，因此如今的计算机都采用了一种更聪明的表示法： • 他们让 11111111 表示 -1 ， 10000000 表示 -128 ，也就是大名鼎鼎的补码表示法。 • 这样做的目的是，利用加法器的“溢出”机制，例如 会采用当前硬件架构的字节序，比如在 x86 上就会变成小端字节序。 Java 这种虚拟机语言会采用大端字节序，因此在小端字节序的硬件上会比较低效，需要额外的字节序转换工作。 为了统一，互联网标准规定，协议包头中传输的数据类型（但凡是多个字节组成的）必须是大端字节序。 假如 x=0x01234567 ，则： int 类型对应的指针类型： int* • 指针，顾名思义，就是“指向”一个内存中的变量。 • 语法规定：任何类型

提供高效，低成本的数字银行服务 关于我们： Airwallex 从设计架构到实现细节 项目介绍 分布式账务系统 Fintech 互联网 正确性 bug= 资损 bug 不可怕，快速迭代 可靠性 丢数据 = 资损 允许数据丢失 性能 超低延迟 + 高吞吐 超高吞吐 交易日志 审计，监管 调试使用 分布式账务系统 Fintech 领域中的软件与互联网软件的不同 需求分析 支付处理： ● 转账 ● ● 冻资 / 解资 ● 账户限额 ● 批处理事务 正确性：无双花或少付 审计监管：交易日志不可篡改，交易历史可回溯 条件事务：根据一定的条件决定事务执行与否 高可用：在部分节点失效的情况下，依旧可以提供正确的 服务 超低延迟：实时交易，超低响应延迟 水平扩展性：利用分布式事务实现钱包集群的的水平扩 展，应对高达 100 万 TPS 的流量 可演化性：业务逻辑与底层 API 解耦，当业务发生改变 执行转账计划 ○ 分发账户变动请求 ● Auticuro 账户层 ○ 使用账户 id 进行分区 ○ 执行账户变动请求 ○ 更新账户余额 分布式账务系统 性能展示 8 vCPUs * 5 节点 SSD 磁盘 当 TPS = 10K 时， 延迟 P99 < 20ms 分布式账务系统 高吞吐，超低延迟 账户层： Auticuro 分布式账务系统 账户层： Auticuro

Zeno 节点系统 1.0 Zeno 节点系统 2.0 • Zeno 2.0 所在的分支： https://github.com/zenustech/zeno/tree/zeno2 • Zeno 1.0 所在的分支： https://github.com/zenustech/zeno/ Zeno 中的基本类型 • IObject 一切对象的公共基类。 • INode 一切节点的公共基类。 就这样把 C++ 的四大特殊函数变成了多 态的虚函数，这就是被小彭老师称为自动 虚克隆 (auto-vitrual-clone) 的大法。 Zeno 中对 OpenVDB 对象的封装 • 开源的体积数据处理库 OpenVDB 中有许多“网格”的类（可以理解为多维数组），例如： • openvdb::Vec3fGrid ， FloatGrid ， Vec3IGrid ， IntGrid ， PointsDataGrid 那个实现了擦除的包装类。 Zeno 节点系统 • 节点在 Zeno 中所扮演的角色，实际上相当于函数式编程中的函数。 • 节点输入若干个对象，并输出若干个对象。 Zeno 节点系统 • 节点的输出可以连线到另一个节点的输入上，相当于函数的调用和返回。 • 众多节点的组合，可以形成更强大的功能，这就是 Zeno 的 dataflow-programming 。 节点在 UI 中的表现 节点在 UI 中的表现

自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN 代码变更 xN 配置变更 xN 部署测试环境 xN 部署预发环境 xN 部署生产环境 xN 部署 / 灰度上线 xN 监控 / 告警 xN 版本归档 xN 交付追踪 xN 数据度量 xN 服务、工单管理 事件、缺陷管理 想 法 用 户 运行阶段 贡献者流程优化 2022 年 9 月 场 景 深 化 能 力 增 强 Helm/K8s YAML/ 托管场景接入流程优化 UX/UI 升级，工程师一线体验优化 推出效能看板，实时客观度量工程数据指标 效 率 优 化 、 开 发 者 体 验 增 强 2023 年 面向生态伙伴开放场景 面向开发者提供 IDE 插件 / 自测环境 通用工作流广泛链接生态赋能开发者 企业解决方案和最佳实践内置 组织能力提升 业务负责人 研发不透明，规划凭感觉： • 发版时间靠运气 • 团队熬夜冲进度 研发透明化：不同项目清晰可见的效率、质量、进度 进度管理：根据团队客观数据，预测和确定项目规划 迭代进度一目了然 项目从无到有可核算 管理有数据科学依据 解放管理，更多时间花在 业务创新 平台运维 业务压力大，能力建设缓慢： • 大量工作花在工具链维护 • 项目间依赖复杂，环境管理难 • 交付版本依赖工单，发布风险高

被忽视的访存优化：内存带宽与 cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， scan ，矩阵乘法等 10.存储大规模三维数据的关键：稀疏数据结构 11.物理仿真实战：邻居搜索表实现 pbf 流体求解 12.C++ 在 ZENO 中的工程实践：从 primitive 说起 13.结业典礼：总结所学知识与优秀作业点评 I 硬件要求： 编译器默认生成的构造函数：初始化列表（妙用，处理函数的复杂类型参 数） • 还有，函数的参数，如果是很复杂的类型 ，你不想把类型名重复写一遍，也可以利 用 {} 初始化列表来简化： • zeno 的节点定义函数 defNodeClass 中就大量用到了这种简 化。 有自定义构造函数时仍想用默认构造函数： = default • 一旦我们定义了自己的构造函数，编译器就不会再生成默认的无参构造函数。 模式也好；自定义的拷贝构造函数 也好； RAII 保证异常安全也好；都是在为 面向对象思想的“封装：不变性”服务。 • 即：保证任何单个操作前后，对象都是处于 正确的状态，从而避免程序读到错误数据 （如空悬指针）的情况。 三五法则：拷贝赋值函数 • 区分两种拷贝可以提高性能。 • int x = 1; // 拷贝构造函数 • x = 2; // 拷贝赋值函数 •