Confidential │ ©2021 VMware, Inc. Greenplum 分布式数 据库内核揭秘 Greenplum内核开发工程师 2022-03-16 李正龙 Confidential │ ©2021 VMware, Inc. Agenda 2 - Greenplum 分布式数据库简介 - Greenplum 集群化概述 - 分布式数据存储与多态存储 - 分布式查询优化器与执行器 在合理的避免数据倾斜的分布键时，即可采用随机分布的方式。 随机分布与复制分布 复制分布则表示整张表在每个节点上都有一份完整的拷贝，假设我们有 100 个节点，复制表则会将 数据保存 100 份。复制表可避免生成分布式查询计划，而是生成本地计划，从而避免数据在集群的 不同节点间移动。 Confidential │ ©2021 VMware, Inc. 12 除了支持数据在不同的 segment 节

3.3.4 注意事项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4 可插拔架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4.1 背景 3.4.4 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 L2 功能层 . . . . 208 6.2.3 ShardingSphereYamlConstruct . . . . . . . . . . . . . . . . . . . . . . . . . . . 209 6.3 内核 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209 6

3.3.4 注意事项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4 可插拔架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4.1 背景 3.4.4 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 L2 功能层 . . . . 203 6.2.3 ShardingSphereYamlConstruct . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 6.3 内核 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 6

3.3.4 注意事项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 3.4 可插拔架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4.1 背景 3.4.4 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 L2 功能层 . . . . 212 6.2.3 ShardingSphereYamlConstruct . . . . . . . . . . . . . . . . . . . . . . . . . . . 212 6.3 内核 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213 6

3.3.4 注意事项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4 可插拔架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4.1 背景 3.4.4 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 L2 功能层 . . . . 220 6.2.3 ShardingSphereYamlConstruct . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 6.3 内核 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 6

ShardingSphere-Proxy 提供静态入口 以及异构语言的支持，独立于应用程序 部署，适用于 OLAP 应用以及对分片数 据库进行管理和运维的场景。 整 体 架 构 l L1 内核层：面向数据库内核， 包括数据库事务引擎，查询优 化器等； l L2 功能层：可定制化开发平 台。具有高定制化、高度内 聚、灵活扩展等特点； l L3 生态层：通过三个接口分别 实现数据库协议、 SQL 方言和 数据库存储对接，用于打造异 流）以及流量分析（可观察性、服 务质量分析）等。 可插拔 可插拔是 ShardingSphere 的设计 理念，架构内核是完全面向顶层接 口设计的，内核模块完全不感知具 体功能的存在。它为分库分表、读 写分离等每一个功能插件赋予单独 部署和协同配合的能力。 整 体 架 构 内 核 架 构 l ShardingSphere 可插拔架构提供了 数十个基于 SPI 的扩展点，开发者可 以十分方便的对功能进行定制化扩展； 实现了数据分片、读写分离、数据加 密、影子库压测、高可用等功能； 1. Apache ShardingSphere 5.0.0 架构解析 2. 5.0.0 应用实践 3. Database Plus 解决方案 目录 灵活可扩展 覆盖开发/测试/生产部署需求 运 行 模 式 D i s t S Q L 标准化 体系化 功能特色 • RDL（Resource & Rule Definition Language）负责资源

. . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2.3 可插拔：构建数据库功能生态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279 已知实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279 5.3 内核 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279 5 什么是 ShardingSphere 1.1.1 介绍 Apache ShardingSphere 是一款开源的分布式数据库生态项目，由 JDBC 和 Proxy 两款产品组成。其核心 采用微内核 + 可插拔架构，通过插件开放扩展功能。它提供多源异构数据库增强平台，进而围绕其上层 构建生态。 Apache ShardingSphere 设计哲学为 Database Plus，旨在构建异构数据库上层的标准和生态。它关注如

. . . . . . . . . . . . . . . . . . . . . . . 4 2.3 可插拔：构建数据库功能生态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3.1 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . 405 9.4.1 SQL 错误码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405 内核异常 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405 功能异常 . . . 面对数据库替换场景，ShardingSphere 可满足业务无需改造，实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下，对 DBA 学习、管理成本低，交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力，兼顾安全性及稳定性。 • 弹性扩展 具备计算、存储平滑在线扩展能力，可满足业务多变的需求。 • 开放生态 通过多层次（内核、功能、生态）插件化能力，为用户提供可定制满足自身特殊需求的独有系统。

. . . . . . . . . . . . . . . . . . . . . . . 4 2.3 可插拔：构建数据库功能生态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3.1 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . 385 9.4.1 SQL 错误码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385 内核异常 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386 功能异常 . . . 面对数据库替换场景，ShardingSphere 可满足业务无需改造，实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下，对 DBA 学习、管理成本低，交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力，兼顾安全性及稳定性。 • 弹性扩展 具备计算、存储平滑在线扩展能力，可满足业务多变的需求。 • 开放生态 通过多层次（内核、功能、生态）插件化能力，为用户提供可定制满足自身特殊需求的独有系统。

. . . . . . . . . . . . . . . . . . . . . . . 4 2.3 可插拔：构建数据库功能生态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3.1 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . 433 9.4.1 SQL 错误码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433 内核异常 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433 功能异常 . . . 面对数据库替换场景，ShardingSphere 可满足业务无需改造，实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下，对 DBA 学习、管理成本低，交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力，兼顾安全性及稳定性。 • 弹性扩展 具备计算、存储平滑在线扩展能力，可满足业务多变的需求。 • 开放生态 通过多层次（内核、功能、生态）插件化能力，为用户提供可定制满足自身特殊需求的独有系统。