图自编码器 图查询及其应用场景 图查询 • 使用图数据库的查询语言进行点边的关联查询，可以快速完成传统数据库难以完成的 多度点边关 联 当前图的典型应用场景 路径识别 群体挖掘 节点识别 相似节点 链接预测 连接强度 一致行动人 同事关系 实际控制人 可能认识的人 上下游 同爱好的人 亲属关系 …  人与人、企业与企业、企业与人之间的 复杂、潜在关系推导和挖掘  为已有的分析模型增加“关系特征”维 Graph Query Language) ，类 SQL 的图查询 语言，内置上百种分析函数， 面向分析师友好，拥抱标准， 基于 openCypher 向 ISO GQL 迈进 实时大图 支持万亿节点存储及流式计算 引擎的结合，最新数据实时入 库构图，为在线业务决策分析 提供有力支撑 AtlasGraph 架构及实现 新一代图技术应用特征简介 Takeaway AtlasGraph 架构概览 务实现，在保障一致性的前提下，提供优 秀的分析性能 分布式事务技术方案 MVOCC 处理流程 全面的算法支持  覆盖全部常用算法 • 路径计算、社区检测、相似度计算 等  丰富的自研图算法 • 环路识别、链路识别、节点间全路径、 发散子图识别、汇聚子图识别、金字塔 子图识别 与图数据库的深度结合  使用 cypher 语句直接调用  支持在用户筛选出的子图上计算  灵活的参数设定 自研图计算系统架构、极致的性能优化

安全测试 xN 数据变更 xN 代码变更 xN 配置变更 xN 部署测试环境 xN 部署预发环境 xN 部署生产环境 xN 部署 / 灰度上线 xN 监控 / 告警 xN 版本归档 xN 交付追踪 xN 数据度量 xN 服务、工单管理 事件、缺陷管理 想 法 用 户 运行阶段 需求阶段 研发阶段 现代软件交付挑战：开发 境不稳定出了问题，所有人吃大锅饭 “ 开发无法本地联调自测，集成测试环境 脏， ” 乱，差 极不稳定，总被其他人干扰 测试同时验证多个分支，集成合并冲突不断，自 动化测试遥遥无期，测试全靠人工验证 运维无脑排障、重启、删节点，沦为工具人…… “ “ ” ” 一系列问题（来自社区的声音）： 1. 业务边界清晰 2. 权限得到控制 3. 环境公开透明 4. 更新过程可追溯 Zadig — 托管项目方案

里面第一部分，也就是初始化语句： it = map.begin() 代表从最左节点开始出发。 • 第二部分，也就是判断是否退出的条件： it != map.end() 判断是否抵达最右节点的下一个 。 • 第三部分，也就是每次循环后执行的更新语句： ++it 会让迭代器往下一个节点移动。 • 所以人话就是：从根节点出发，不断向下一个移动，直到没有节点可遍历了。 • 而 for 里面的循环体，会对每个不同的 it 然后从程序员的黑盒视角看来，就是对于所有 map 中的 K-V 对执行了一遍循环体。 迭代器 operator++ 的移动方向 • 迭代器的 ++ 是中根遍历，先左子节点，然后根节点，最后右子节点。 • 为什么是中根遍历？因为刚刚说了二叉排序树的规则是：左子节点＜父节点＜右子节点。 • 这刚好是中根遍历的顺序，左中右。所以迭代器的 ++ 方向刚好是 K 越来越大的方向。 • 结论：遍历时，总是会按 K 从小到大的顺序。 1 待插入的数 4 5 8 7 set 查找为什么高效 • 刚刚的构建方法是平衡二叉树。而实际 set 中采用的是更为高效的红黑树。 • 区别就是每个节点上多挂了一个 bool 类型的 flag 变量，表示这个节点是红是黑。 • 总之这样三下五除二下来他的插入效率比平衡二叉树高出一个常数，但复杂度还是 O(logn) 。 • 红黑树的具体异同我会放到最后再细讲，一下子讲太深都睡着了，反正只有插入和删除的

Zeno 节点系统 1.0 Zeno 节点系统 2.0 • Zeno 2.0 所在的分支： https://github.com/zenustech/zeno/tree/zeno2 • Zeno 1.0 所在的分支： https://github.com/zenustech/zeno/ Zeno 中的基本类型 • IObject 一切对象的公共基类。 • INode 一切节点的公共基类。 那个实现了擦除的包装类。 Zeno 节点系统 • 节点在 Zeno 中所扮演的角色，实际上相当于函数式编程中的函数。 • 节点输入若干个对象，并输出若干个对象。 Zeno 节点系统 • 节点的输出可以连线到另一个节点的输入上，相当于函数的调用和返回。 • 众多节点的组合，可以形成更强大的功能，这就是 Zeno 的 dataflow-programming 。 节点在 UI 中的表现 节点在 UI 中的表现 中的表现 节点在 UI 中的表现 节点在 UI 中的表现 main 函数第一个执行？ • 众所周知， main 函数是 C/C++ 程序中 第一个执行的函数，是程序的入口点。 • 但，他真的是第一个执行的吗？ 全局变量初始化的妙用 • 我们可以定义一个 int 类型全局变量 helper ，然后他的右边其实是可以写一个表达 式的，这个表达式实际上会在 main 函数之 前执行！

界面化操作，用户提供代码地址和执行命令即可 – 系统内建支持安装 pip 依赖 – 自制存储插件支持分布式文件系统存储用户数据 – 支持官方镜像，不需要 JDOS 提前协助制作镜像 – 提供 tensorboard 作为训练监控实时查看训练状态 – 用户训练完成后释放 GPU 资源，提高 GPU 利用率 – Job 调度 （部门 quota 限制 + 优先级） • 创建训练 – 用户选择集群提供代码地址和执行命令即可 用户选择集群提供代码地址和执行命令即可 – 选择所用框架（镜像）：支持官方，亦可自制 （提供 dockerfile 生成镜像服务） – 选择存储来源：对接了内部的存储 – 填写代码地址，执行的命令等 – 可以选择是否监控训练，提供 tensorboard 任务列表 可以指定 git 的 commit-id 发起任务 任务详情 可以查看具体的容器列表，以及查看容器的日志和事件 Serving 服务 提供统一便捷的 GPU 利用率 创建 Serving 与训练集成 • 用户只需要简单选择机房和 镜像填写模型名即可完成 Serving 服务创建 自有模型 • 用户只需要填写模型地址即 可 GPU 监控 • 容器监控服务，自适 应 GPU 容器，可根据 容器 IP 查询记录 , 便 于用户查看服务状态 ，亦可作为 HPA 的数 据源 • 采集项 name,index,fan.speed,te mperature

● 转账 ● 冻资 / 解资 ● 账户限额 ● 批处理事务 正确性：无双花或少付 审计监管：交易日志不可篡改，交易历史可回溯 条件事务：根据一定的条件决定事务执行与否 高可用：在部分节点失效的情况下，依旧可以提供正确的 服务 超低延迟：实时交易，超低响应延迟 水平扩展性：利用分布式事务实现钱包集群的的水平扩 展，应对高达 100 万 TPS 的流量 可演化性：业务逻辑与底层 API 执行转账计划 ○ 分发账户变动请求 ● Auticuro 账户层 ○ 使用账户 id 进行分区 ○ 执行账户变动请求 ○ 更新账户余额 分布式账务系统 性能展示 8 vCPUs * 5 节点 SSD 磁盘 当 TPS = 10K 时， 延迟 P99 < 20ms 分布式账务系统 高吞吐，超低延迟 账户层： Auticuro 分布式账务系统 账户层： Auticuro Raft 共识，等待 events 被多数节点保存 ○ 共识：基于 raft-rs 的可靠消息队 列 ○ 存储： Rocksdb with Rust 账户层： Auticuro 分布式账务系统 1 2 3 4 ● 1. 接受转账请求，转换成 events ● 2. 将 events 送入 Raft 共识，等待 events 被多数节点保存 ● 3. 处理被共识的 events

有了无边界的稀疏网格，再也不用担心二维数组要分配多大了。 坐标可以无限延伸，甚至可以是负数！比如 (-1,2) 等…… 他会自动在写入时分配 16x16 的子网格，称之为叶节点 (leaf node) ，而这里的 unordered_map 就是充当根节点 (root node) 。 图片解释稀疏的好处 传统稠密二维数组 无边界稀疏分块哈希表 此外，还是按需分配内存，即使被写入的部分奇形怪状也不会浪费内存。 图片解释：指针数组的原理 1 nul nul 2 3 nul nul nul nul 表示 nullptr （空指针） 图片解释：指针数组的稀疏 这样指针表中为 null 的部分，稠密叶节点的内存就省掉 了 垃圾回收 (garbage-collect) • 如果是运行的仿真，则液体可能会移动到 别的地方去。这时液体曾经存在过的地方 也仍然处于激活状态，可以每隔若干帧及 时释放掉这些不用的指针块以节省内存。 处理起来方便很多。 OpenVDB 的设计：如果用 SNode 来表示 • hash().pointer(5).pointer(4).dense(3) ZENO 中就大量使用了 OpenVDB ，并且以节点的形式提供给用户调用 • github.com/zenustech/zeno ZENO 中的流体仿真，就是基于 OpenVDB 的稀疏体积 • github.com/zenustech/zeno

按需使用，如果是纯内存计算的时候，使用 blocking mutex 比较好。 生产实践 – Mixed workload Write Read Compact Runtimes 问题： CeresDB 监控写 OSS 耗时高， OSS 监控看耗时低。 生产实践 – Mixed workload runtime.spawn(task0) runtime.spawn(task1) runtime.spawn(task2)

s t 使 用 TDengine: 时序数据库 TDengine 是一款开源、云原生的时序数据库（ Time Series Database ），专为物联网、工业互联网、金融、 IT 运维监控等场景设计并优化，具有极强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等 系统功能，能大幅减少系统设计的复杂度，降低研发和运营成本，是一个极简的时序数据处理平台。 采用关系型数据库模型

将数据容器内的数据进行递归二分，对左 半和右半分别生成一个异步任务。最终对 单个数据执行用户业务逻辑 IO & CPU 融合 南向调度融合  IO & CPU 通过设置不同优先级，进 入不同线程池调度  线程池根据负载监控（任务平均等待 时间等数据）进行线程池动态扩缩 容。  任务窃取 Fusion of IO/CPU intensive 结构化并发 Structured Concurrency 核心在于通