CHINA CONF 2023 第三届中国 Rust 开发者大会 6.17-6.18 @Shanghai ## PromQL Got a BOOST: 用 Rust 重写 Prometheus 的查询引擎 Ruihang Xia @greptime.com ## I ABOUT ## Ruihang GitHub: waynexia Losing hair at Greptime Wanna

13 - application/json 14 paths: 15 /v4/{project}/registry/version: 16 get: 17 description: I 18 查询服务中心版本信息。 19 parameters: 20 - name: x-domain-name 21 in: header 22 type: string 23 default: default 的通信模型演进—Reactor  ## 什么才叫阻塞？ ■ Thead.sleep() ■ 等待一个锁 ■ 等待一个互斥信号或监视器（例如同步的代码块） ☑ 执行一个长时间数据库操作并等待其结果 ☑ 执行一个复杂的计算，占用了可感知的时长 jpg) ## ServiceComb非阻塞线程模型  □ 与传统流程不同的是，所有功能都在 eventloop 中执行，并不会进行线程切换 ☐ 橙色箭头走完后，对本线程的占用即完成了，不会阻塞等待应答，该线程可以处理其他任务 ☐

构建支撑千亿级数据量的高可用查询引擎 演讲人：蔡岳毅 1. 为什么选择ClickHouse/StarRocks; 2. ClickHouse/StarRocks 的高可用架构； 3. 如何合理的应用ClickHouse的优点，StarRocks如何来补充ClickHouse的短板； 4. ClickHouse的调优，运维介绍； 5. 应用总结； ## 根据实际业务场景需要来选择 1. 不固定的查询条件，不固定的汇总条件； c14ade/p5_1.jpg) ## StarRocks的特点 ## 优点： 1. 支持标准的SQL语法，兼容MySQL协议； 2. MPP架构，扩缩容非常简单方便； 3. 支持高并发查询； 4. 跨机房部署，实现最低成本的DR ## 缺点： 1. 不支持大规模的批处理； 2. 支持insert into，但最理想的是消费Kafka;  ## 采用ClickHouse后平台的查询性能 ### system.query_log表，记录已经执行的查询记录 query：执行的详细SQL，查询相关记录可以根据SQL关键字筛选该字段 query duration ms: 执行时间 memory usage: 占用内存 read_

控，其主要监控两个指标：运营位数及每个运营位的配置总数。这样做可以带来以下几个好处： 1. 对接入的业务数及机器数进行统计。 2. 通过SDK的配置总数监控，防止数量超过最大限制。 同时，对于非SDK的其他性能指标，我们采用统一的监控平台—CAT进行监控，其中包括：APPKIT中心服务的调用QPS，机器的性能，网络流量等通用指标。 ## 五、 底层模型—灵活性设计 ### 5.1 从一个例子切入 ID获取广告信息。每次请求都从远端的键值存储数据库中获取广告信息，请求耗时非常长。随着业务发展，QPS呈现巨大的增长趋势，在这种高并发的应用场景下，将广告信息从远端键值存储数据库中迁移到本地以减少 查询耗时是常见解决方案。另外服务本身的内存占用要稳定在一个安全的区间内。面对持续增长的广告信息，引入LruCache + 键值存储数据库的机制来达到提高系统性能，维持内存占用安全、稳定的目标。 ## LruCache 引入LruCache，将远端存放于Redis的信息本地化存储。LruCache可以预设缓存上限，这个上限可以根据服务所在机器内存与服务本身内存占用来确定，确保增加LruCache后，服务本身内存占用在安全范围内；同时可以根据查询操作统计缓存数据在实际使用中的命中率。 下图是增加LruCache结构前后，且增加LruCache后命中率高于95%的情况下，针对持续增长的QPS得出的数据获取平均耗时(ms)对比图： ![Im