rights reserved. OpenPie Confidential @2024 OpenPie. All rights reserved. OpenPie Confidential 云时代下多数据计算引擎的设计与实现 郭罡 CTO 拓数派（OpenPie） @2024 OpenPie. All rights reserved. OpenPie Confidential 关 于 拓 数 派 核心团队来自于各大厂名校，有丰富的数据库（Greenplum，DB2，ClickHouse等）研发 和产业经验. • 产品 πDataCS：多计算引擎，包括自研分布式数据库PieCloudDB，自研分布式向量数据库 等. • PieCloudDB 存储底座是各计算引擎的载体. • 已落地或者正在落地：IoT、金融、新能源、医疗等行业. @2024 OpenPie. All rights reserved reserved. OpenPie Confidential 云时代 数据计算 多数据模态支持 广泛的生态支持 “一份数据，多引擎计算”的述求 让数据流动起来 @2024 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 简介 一款云原生分布式 分析型数据库 • 元数据、用户数据、计算完全分离. • 用户数据（code

全球敏捷运维峰会 广州站 基于ClickHouse+StarRocks 构建支撑千亿级数据量的高可用查询引擎 演讲人：蔡岳毅 全球敏捷运维峰会 广州站 1. 为什么选择ClickHouse/StarRocks； 2. ClickHouse/StarRocks的高可用架构； 3. 如何合理的应用ClickHouse的优点，StarRocks 如何来补充ClickHouse 的短板；

最大、速度最快、性价比最好的数据库引擎产品和服务。 • Greenplum总部位于圣马蒂奥，加利福尼亚州，美国，成立于2003年6月。 • Greenplum 中国于2008年12月正式成立. 2010/4/8 官方网站： www.greenplum.com www.greenplum-china.com Greenplum：简介 Greenplum数据引擎软件为新一代数 据仓库所需的大规模数据和复杂查询功 在企业内创建统一的数据运算平台 • 企业所有者可以直接控制其数据实例 • 通过实体整合提供企业级数据访问功能 • 灵活的扩展和配置降低了投资的平均风险 源文件 源数据 源数据 源文件 数据仓库和分析应 用程序 Greenplum数据架构 商用硬件集群 分析 数据 市场 企业数 据仓库 企业数据集合：主要的优势 • 实体整合 • 提高服务器使用率 • 降低总硬件成本 • 降低能量成本 • 2008年亚洲南 部地区成就奖 “可能会成为数据仓库和数据 库管理系统市场的突破力量” Gartner的Donald Feinberg 17 通过Greenplum超级数据处 理引擎增强竞争优势 Greenplum数据引擎：内容和方式 价值主张 – 性价比： 性能可达到传统方案（Oracle、Teradata）的 10到100倍， 而成本只是其一小部分 – 可伸缩性：从较低的万亿字节扩展到千万亿字节

拓数派（ OpenPie）是立足于国内的基础数据计算领域高科技 创新机构； • 拥有强大的数据库内核研发团队、数据科学团队和数字化转型团 队； • 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎方向进 行创新，全面拥抱AI技术趋势。 目录 • 大模型应用和RAG • 向量近似搜索和向量数据库 • PieCloudVector架构设计与挑战 • 案例介绍 大模型 检索增强生成(RAG) P3 P4 P5 P6 （filtered） P7 P8 （filtered） P9 P10 （filtered） P2 （filtered） 向量数据库 • 存储向量和原始实体(文字/图像/语音)及元信息，并将它们关联起来 • 对向量数据建立索引，可以实现高效近似搜索 • 配套调用接口和生态工具 • 技术路线 • 从向量搜索及索引算法实现出发，为其搭配数据库功能 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持主流的ann算法，如ivf和hnsw等 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持向量编码和压缩如PQ等 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持二进制索引 • 支持多级索引如HNSW+IVF等 • CPU多核并行/GPU加速

. . 22 解析引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 路由引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 改写引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 执行引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 归并引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 目标 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 3.10 测试引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 3.10.1 集成测试

7.1.7 解析引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 抽象语法树 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 SQL 解析引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226 7.1.8 路由引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230 分片路由 . . . . . . . . . . . . . . . . 广播路由 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232 7.1.9 改写引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234 正确性改写 . . . . .

3 1.2.1 连接：打造数据库上层标准 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2.2 增强：数据库计算增强引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2.3 可插拔：构建数据库功能生态 . . . . . . . . . . 300 测试环境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300 测试引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300 6.4.2 使用指南 . 301 环境配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302 运行测试引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302 6.5 性能测试 . . . . .

7.2.7 解析引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227 抽象语法树 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227 SQL 解析引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228 7.2.8 路由引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232 分片路由 . . . . . . . . . . . . . . . . 广播路由 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234 7.2.9 改写引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236 正确性改写 . . . . .

7.2.7 解析引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222 抽象语法树 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222 SQL 解析引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223 7.2.8 路由引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227 分片路由 . . . . . . . . . . . . . . . . 广播路由 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229 7.2.9 改写引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231 正确性改写 . . . . .

7.2.7 解析引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238 抽象语法树 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238 SQL 解析引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239 7.2.8 路由引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243 分片路由 . . . . . . . . . . . . . . . . 广播路由 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245 7.2.9 改写引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247 正确性改写 . . . . .