CHINA CONF 2023 第三届中国 Rust 开发者大会 6.17-6.18 @Shanghai ## PromQL Got a BOOST: 用 Rust 重写 Prometheus 的查询引擎 Ruihang Xia @greptime.com ## I ABOUT ## Ruihang GitHub: waynexia Losing hair at Greptime Wanna

应用层：ClickHouse 采用的是计算和存储节点强耦合的架构，架构复杂，组件依赖严重，牵一发而动全身，容易出现集群稳定性问题，对于我们来说，同时维护 ClickHouse 和 Elasticsearch 两套引擎的连接与查询，成本和难度都比较高。 除此之外，ClickHouse 由国外开源，交流具有一定的语言学习成本，遇到问题无法准确反馈、无法快速获得解决，与社区沟通上的阻塞也是促进我们进行架构升级的因素之一。 ### 协议，并且使用标准 SQL。 支持丰富的数据模型，可满足多种数据更新方式，支持部分列更新。 - 支持对 Hive、Iceberg、Hudi 等数据湖和 MySQL、Elasticsearch 等数据库的联邦查询分析。 - 导入方式多样，支持从 HDFS/S3 等远端存储批量导入，也支持读取 MySQL Binlog 以及订阅消息队列 Kafka 中的数据，还可以通过 Flink Connector 实时/批次同步数据源（MySQL 加速层：该层主要将大宽表拆为小宽表，根据更新频率配置不同的分区策略，减小数据冗余带来的存储压力，提高查询吞吐量。Doris 具备多表查询和联邦查询性能特性，可以利用多表关联特性实现组合查询。 - 应用层：DataSet 统一指向 Doris，Doris 支持外表查询，利用该特性可对 ES 引擎直接查询。 ### 架构 2.0 存在的问题： - DataSet 灵活度较高，数据分析师可对指标和标

构建支撑千亿级数据量的高可用查询引擎 演讲人：蔡岳毅 1. 为什么选择ClickHouse/StarRocks; 2. ClickHouse/StarRocks 的高可用架构； 3. 如何合理的应用ClickHouse的优点，StarRocks如何来补充ClickHouse的短板； 4. ClickHouse的调优，运维介绍； 5. 应用总结； ## 根据实际业务场景需要来选择 1. 不固定的查询条件，不固定的汇总条件； c14ade/p5_1.jpg) ## StarRocks的特点 ## 优点： 1. 支持标准的SQL语法，兼容MySQL协议； 2. MPP架构，扩缩容非常简单方便； 3. 支持高并发查询； 4. 跨机房部署，实现最低成本的DR ## 缺点： 1. 不支持大规模的批处理； 2. 支持insert into，但最理想的是消费Kafka;  ## 采用ClickHouse后平台的查询性能 ### system.query_log表，记录已经执行的查询记录 query：执行的详细SQL，查询相关记录可以根据SQL关键字筛选该字段 query duration ms: 执行时间 memory usage: 占用内存 read_

ServiceMeshExtension API。 ####### 1.2.2.4.3. ROSA 支持 此发行版本引进了对 AWS(ROSA)上的 Red Hat OpenShift 的服务网格支持，包括多集群联邦。 ####### 1.2.2.4.4. istio-node DaemonSet 重命名 在此发行版本中，istio-node DaemonSet 被重命名为 istio-cni-node，以匹配上游 Federation 添加了新的自定义资源定义(CRD)以支持联邦服务网格（federating service mesh）。服务网格可以整合到同一集群中或跨不同的 OpenShift 集群。这些新资源包括： - ServiceMeshPeer - 使用单独的服务网格定义联邦，包括网关配置、root 信任证书配置和状态字段。在一对联邦网格中，每个网格将定义自己的独立 ServiceMeshPeer Service Mesh 故障排除功能 ☐ control plane 和网关监控 ☐ 代理同步状态 Envoy 配置视图 ☐ 显示 Envoy 代理和应用程序日志处于交集的统一视图 支持联邦服务网格视图的命名空间和集群选择 新的验证、向导和分布式追踪增强 ####### 1.2.2.13. Red Hat OpenShift Service Mesh 2.0.11.1 的新功能 此

- 多方安全计算框架 - 可信联邦学习 - 接口与消息定义 - 配置说明 - 命令行工具 - XuperDB - 背景和目标 - 特点和优势 - 架构设计 - 功能介绍 - 如何使用 - Crypto - 数据隐私保护 - 机器学习算法 - 纵向联邦学习 团队 - 我们的团队 参与开发 建模，联合发挥数据的最大价值。 ## 主要特征 PaddleDTX的主要特征如下： 支持多个学习过程并行运行的多方安全计算框架，集成多种横向联邦学习和纵向联邦学习算法 - 支持多个学习过程并行运行的多方安全计算框架，集成多种横向联邦学习和纵向联邦学习算法 • 安全存储高敏感数据，防止隐私泄漏，支持故障容错，抵御存储作弊 - 去中心化管理存储节点，支持无上限数据纳管 • 保证多方数据联合建模的全链路可信 算）网络。计算需求节点将任务发布到区块链网络，任务执行节点确认后执行任务。数据持有节点对任务执行节点的计算数据做信任背书。 SMPC是一个支持多个学习过程并行运行的框架，会陆续集成更多纵向联邦学习、横向联邦学习算法。 ### 1.2 去中心化存储网络 数据持有节点将自己的隐私数据进行加密、切分、副本复制后分发到存储节点，存储节点通过应答数据持有节点的挑战证明自己持有数据分片。通过这些机制，实

多方安全计算框架 - 可信联邦学习 - 模型评估 - 动态模型评估 - 接口与消息定义 - 配置说明 - 命令行工具 - XuperDB - 背景和目标 - 特点和优势 - 架构设计 - 功能介绍 - 如何使用 - Crypto - 数据隐私保护 - 机器学习算法 - 纵向联邦学习 团队 建模，联合发挥数据的最大价值。 ## 主要特征 PaddleDTX的主要特征如下： 支持多个学习过程并行运行的多方安全计算框架，集成多种横向联邦学习和纵向联邦学习算法 - 支持多个学习过程并行运行的多方安全计算框架，集成多种横向联邦学习和纵向联邦学习算法 • 安全存储高敏感数据，防止隐私泄漏，支持故障容错，抵御存储作弊 - 去中心化管理存储节点，支持无上限数据纳管 • 保证多方数据联合建模的全链路可信 算）网络。计算需求节点将任务发布到区块链网络，任务执行节点确认后执行任务。数据持有节点对任务执行节点的计算数据做信任背书。 SMPC是一个支持多个学习过程并行运行的框架，会陆续集成更多纵向联邦学习、横向联邦学习算法。 ### 1.2 去中心化存储网络 数据持有节点将自己的隐私数据进行加密、切分、副本复制后分发到存储节点，存储节点通过应答数据持有节点的挑战证明自己持有数据分片。通过这些机制，实

安全交换，助其突破数据孤岛，共同建模，联合发挥数据的最大价值。 ### 1.1 主要特征 PaddleDTX 的主要特征如下: 支持多个学习过程并行运行的多方安全计算框架，集成多种横向联邦学习和纵向联邦学习算法 • 安全存储高敏感数据，防止隐私泄漏，支持故障容错，抵御存储作弊 - 去中心化管理存储节点，支持无上限数据纳管 • 保证多方数据联合建模的全链路可信 ### 1.2 架构概览 SMPC（多方安全计算）网络。计算需求节点将任务发布到区块链网络，任务执行节点确认后执行任务。数据持有节点对任务执行节点的计算数据做信任背书。 SMPC 是一个支持多个学习过程并行运行的框架，会陆续集成更多纵向联邦学习、横向联邦学习算法。 ##### 1.2.2 1.2 去中心化存储网络 数据持有节点将自己的隐私数据进行加密、切分、副本复制后分发到存储节点，存储节点通过应答数据持有节点的挑战证明自己持有数据分片。 任务由计算需求节点发布到区块链网络，由数据持有节点确认数据使用权，由任务执行节点最终执行。 ### 2.4 算法 PaddleDTX 中的算法，一般指的是经过分布式改造的机器学习算法，即联邦学习算法。 目前开源了纵向联邦学习算法，包括多元线性回归和多元逻辑回归。 ### 2.5 训练样本和预测数据集 PaddleDTX 中的训练样本和预测数据集都是以文件的形式存储于中心化存储网络，在发布训练任务