Greenplum 开源MPP数据仓库介绍 李晓亮 Greenplum工程师、内核团队经理 Confidential │ ©2022 VMware, Inc. 2 Agenda Ø Greenplum简介 Ø Greenplum的MPP架构 Ø 分布式优化器: Postgres planner 和 ORCA Ø 分布式事务和执行 Ø Greenplum存储 Ø Greenplum 7 Confidential │ ©2022 VMware, Inc. 3 Greenplum简介：什么是Greenplum? 基于PostgreSQL、开源、分布式MPP、ACID完备、为OLAP优化的关系型数据仓库。 https://greenplum.org https://github.com/greenplum-db/gpdb Confidential 2003年，Luke Lonergan 和 Scott Yara 发起 Greenplum项目，从 PostgreSQL 8 分支，做成 MPP架构 Ø 2010年被EMC收购 Ø 2012年成为Pivotal的一部分 Ø 2015年开源，可能是世界上第一个成熟商用的开源 MPP数据仓库 Ø 2019年底跟随Pivotal被VMware收购 Confidential │ ©2022 VMware, Inc

Greenplum on Kubernetes 容器化MPP数据库 AGENDA 云数据库背景 云数据库实现方案 Greenplum on Kubernetes Greenplum Operator 总结 云数据库背景 云数据库背景 ● 资源变化 ○ 本地资源 → 云 ○ 静态资源 → 弹性需求 ● 数据变化 ○ 内部数据 → 多数据源 ○ 数据规模 → 不易预测 ○ 数据格式

开源 MPP 数据库的不二之选: Pivotal Greenplum 5.0 姚延栋 yyao@pivotal.io 开放源代码 SQL 企业级数据库 生态系统 MPP 高速数据加载 多态存储 表‘SALES’ 列存储 行存储 1月 一年前 二年前 外部表 12月 11月 4月

主机，并且成本很低，横向的扩展性还可带来系统良好 的成长性。 问 题 来 了， 在 X86 集 群 上 实 现 自 动 的 并 行 计 算， 无 论 是 后 来 的 MapReduce 计算框架还是 MPP（海量并行处理）计算框架，最终还 是需要软件来实现，Greenplum 正是在这一背景下产生的，借助于分 布式计算思想，Greenplum 实现了基于数据库的分布式数据存储和并 行计算（GoogleMapReduce Dispatch 分发（QD）、协调节点上 QE 执行器的并 行工作、负责数据分布、Pipeline 计算、镜像复制、健康探测等等诸 多任务。 在 Greenplum 开源以前，据说一些厂商也有开发 MPP 数据库的打算， 其中最难的部分就是在 Interconnect 上遇到了障碍，可见这项技术的 关键性。 Greenplum 集群架构 Big Date2.indd 3 16-11-22 03 OLAP window 函数），还可以用多种语言来写存储过程，对于 Madlib、R 的支持也很好。这一点上 MYSQL 就差的很远，很多分 析功能都不支持，而 Greenplum 作为 MPP 数据分析平台，这些功 能都是必不可少的。 2) Mysql 查询优化器对于子查询、复制查询如多表关联、外关联的支 持等较弱，特别是在关联时对于三大 join 技术：hash join、merge

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2489 17 14.3.5 使用 MPP 模式· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 4802 17.7.1 MPP · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Y Y Y Y Optimizer hints Y Y Y Y Y Y Y Y Y Y Y Y MPP 执行引擎 Y Y Y Y Y Y Y Y Y Y Y N 62 高级 SQL 功能 8.0 7.6 7.5 7.1 6.5 6.1 5.4 5.3 5.2 5.1 5.0 4.0 MPP 执行引擎 - compression exchange Y Y Y Y N N N N N N N

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2476 17 14.3.5 使用 MPP 模式· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 4804 17.7.1 MPP · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Y 通过系统变量 tidb_snapshot 读取历史数据 Y Y Y Y Y Y Y Y Y Optimizer hints Y Y Y Y Y Y Y Y Y MPP 执行引擎 Y Y Y Y Y Y Y Y Y MPP 执行引擎 - compression exchange Y Y Y N N N N N N TiFlash Pipeline 执行模型 Y Y N N N N N N

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2568 14.3.5 使用 MPP 模式· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 4984 17.7.1 MPP · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Server OOM #53312 @djshow832 – 改进对于 MPP 执行计划的列裁剪功能，以提升 TiFlash MPP 的执行性能 #52133 @yibin87 – 优化 IndexLookUp 算子在回表数据量较多（大于 1024 行）时的性能开销 #53871 @crazycs520 – 在 MPP 负载均衡时移除不包含任何 Region 的 Store #52313 @xzhangxian1008

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2391 14.3.5 使用 MPP 模式· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 4587 17.7.1 MPP · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 通过系统变量 tidb_snapshot 读取历史数据 Y Y Y Y Y Y Y Y Y Y Optimizer hints Y Y Y Y Y Y Y Y Y Y MPP 执行引擎 Y Y Y Y Y Y Y Y Y N MPP 执行引擎 - compression exchange Y Y N N N N N N N N 48 高级 SQL 功能 7.5 7.1 6.5 6.1 5.4 5

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2577 14.3.5 使用 MPP 模式· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 5069 17.7.1 MPP · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · tidb_snapshot 读取历史数据 Y Y Y Y Y Y Y Y Y Y Y Y Optimizer hints Y Y Y Y Y Y Y Y Y Y Y Y MPP 执行引擎 Y Y Y Y Y Y Y Y Y Y Y Y MPP 执行引擎 - compression exchange Y Y Y Y Y Y N N N N N N TiFlash Pipeline 执行模型 Y Y Y Y

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2595 14.3.5 使用 MPP 模式· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 5091 17.10.1 Massively Parallel Processing (MPP) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 5091 35 tidb_snapshot 读取历史数据 Y Y Y Y Y Y Y Y Y Y Y Y Optimizer hints Y Y Y Y Y Y Y Y Y Y Y Y MPP 执行引擎 Y Y Y Y Y Y Y Y Y Y Y Y MPP 执行引擎 - compression exchange Y Y Y Y Y Y N N N N N N TiFlash Pipeline 执行模型 Y Y Y Y