全球敏捷运维峰会 广州站 基于ClickHouse+StarRocks 构建支撑千亿级数据量的高可用查询引擎 演讲人：蔡岳毅 全球敏捷运维峰会 广州站 1. 为什么选择ClickHouse/StarRocks； 2. ClickHouse/StarRocks的高可用架构； 3. 如何合理的应用ClickHouse的优点，StarRocks 如何来补充ClickHouse 的短板； 的短板； 4. ClickHouse的调优，运维介绍； 5. 应用总结； 全球敏捷运维峰会 广州站 根据实际业务场景需要来选择 1. 不固定的查询条件，不固定的汇总条件； 2. 数据量日益增量，每天要更新的数据量也不断增大； 3. 业务场景不断增多，涉及面越来越广； 4. 需要保证高可用并秒出； 5. 从Sql，Es， CrateDB， Kylin，Ingite，MongoDB，Hbase 相关配置文件； 全球敏捷运维峰会 广州站 StarRocks的特点 优点： 1. 支持标准的SQL语法，兼容MySql协议； 2. MPP架构，扩缩容非常简单方便； 3. 支持高并发查询； 4. 跨机房部署，实现最低成本的DR 缺点： 1. 不支持大规模的批处理； 2. 支持insert into，但最理想的是消费Kafka； 全球敏捷运维峰会 广州站 ClickH

rights reserved. OpenPie Confidential @2024 OpenPie. All rights reserved. OpenPie Confidential 云时代下多数据计算引擎的设计与实现 郭罡 CTO 拓数派（OpenPie） @2024 OpenPie. All rights reserved. OpenPie Confidential 关 于 拓 数 派 核心团队来自于各大厂名校，有丰富的数据库（Greenplum，DB2，ClickHouse等）研发 和产业经验. • 产品 πDataCS：多计算引擎，包括自研分布式数据库PieCloudDB，自研分布式向量数据库 等. • PieCloudDB 存储底座是各计算引擎的载体. • 已落地或者正在落地：IoT、金融、新能源、医疗等行业. @2024 OpenPie. All rights reserved reserved. OpenPie Confidential 云时代 数据计算 多数据模态支持 广泛的生态支持 “一份数据，多引擎计算”的述求 让数据流动起来 @2024 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 简介 一款云原生分布式 分析型数据库 • 元数据、用户数据、计算完全分离. • 用户数据（code

. . 22 解析引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 路由引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 改写引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 执行引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 归并引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 目标 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 3.10 测试引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 3.10.1 集成测试

来 的数据生产成本较高和查询效率偏低的问题，他们通过引入Apache Doris引擎优化生产方案，实 现了低成本生产与高效查询的平衡。并以此分析不同业务场景下，基于Kylin的MOLAP模式与基于 Doris引擎的ROLAP模式的适用性问题。希望能对大家有所启发或者帮助。 本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。在开源的大环境下，各种数据 引擎百花齐放，但由于业务的复杂 引擎百花齐放，但由于业务的复杂性与多样性，目前并没有哪个引擎能够适配所有业务场景，因 此希望通过我们的业务实践与思考为大家提供一些经验参考。美团外卖数仓技术团队致力于将数 据应用效率最大化，同时兼顾研发、生产与运维成本的最小化，建设持续进步的数仓能力，也欢 迎大家多给我们提出建议。 数仓交互层引擎的应用现状 目前，互联网业务规模变得越来越大，不论是业务生产系统还是日志系统，基本上都是基于Hado op/Spark分布式大数 在数据应用交互层面，由于时效性的要求，数据最终的展现查询还是需要通过DBMS（MySQL） 、MOLAP（Kylin）引擎来进行支撑。如下图所示： 如果想及时了 解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop 汇总数据的交互 业务团队日常经营分析最典型的场景就是各种维度下的自定义查询，面对如此灵活可变、所见即

2.1 连接：打造数据库上层标准 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.2 增强：数据库计算增强引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3 可插拔：构建数据库功能生态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 查询辅助列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 模糊查询列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428 测试环境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428 测试引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428 11.4.2 使用指南 .

2.1 连接：打造数据库上层标准 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.2 增强：数据库计算增强引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3 可插拔：构建数据库功能生态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 查询辅助列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 模糊查询列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407 测试环境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407 测试引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407 11.4.2 使用指南 .

2.1 连接：打造数据库上层标准 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.2 增强：数据库计算增强引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3 可插拔：构建数据库功能生态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 查询辅助列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 模糊查询列 . . . . . . . . . . . . . . . . . . . . . . . . . . . Logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 8.11 联邦查询 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 8.11.1 背景

3 1.2.1 连接：打造数据库上层标准 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2.2 增强：数据库计算增强引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2.3 可插拔：构建数据库功能生态 . . . . . . . . . . . 41 密文列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 查询辅助列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 明文列 . . . . . . . 300 测试环境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300 测试引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300 6.4.2 使用指南 .

. . 57 密文列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 查询辅助列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 明文列 . . . . . . . . . . . . . . . . . . . . . . . . . . 225 7.1.6 查询优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 7.1.7 解析引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 SQL 解析引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226 7.1.8 路由引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . .