Greenplum 开源MPP数据仓库介绍 李晓亮 Greenplum工程师、内核团队经理 Confidential │ ©2022 VMware, Inc. 2 Agenda Ø Greenplum简介 Ø Greenplum的MPP架构 Ø 分布式优化器: Postgres planner 和 ORCA Ø 分布式事务和执行 Ø Greenplum存储 Ø Greenplum 7 Confidential │ ©2022 VMware, Inc. 3 Greenplum简介：什么是Greenplum? 基于PostgreSQL、开源、分布式MPP、ACID完备、为OLAP优化的关系型数据仓库。 https://greenplum.org https://github.com/greenplum-db/gpdb Confidential 2003年，Luke Lonergan 和 Scott Yara 发起 Greenplum项目，从 PostgreSQL 8 分支，做成 MPP架构 Ø 2010年被EMC收购 Ø 2012年成为Pivotal的一部分 Ø 2015年开源，可能是世界上第一个成熟商用的开源 MPP数据仓库 Ø 2019年底跟随Pivotal被VMware收购 Confidential │ ©2022 VMware, Inc

Greenplum on Kubernetes 容器化MPP数据库 AGENDA 云数据库背景 云数据库实现方案 Greenplum on Kubernetes Greenplum Operator 总结 云数据库背景 云数据库背景 ● 资源变化 ○ 本地资源 → 云 ○ 静态资源 → 弹性需求 ● 数据变化 ○ 内部数据 → 多数据源 ○ 数据规模 → 不易预测 ○ 数据格式

开源 MPP 数据库的不二之选: Pivotal Greenplum 5.0 姚延栋 yyao@pivotal.io 开放源代码 SQL 企业级数据库 生态系统 MPP 高速数据加载 多态存储 表‘SALES’ 列存储 行存储 1月 一年前 二年前 外部表 12月 11月 4月

主机，并且成本很低，横向的扩展性还可带来系统良好 的成长性。 问 题 来 了， 在 X86 集 群 上 实 现 自 动 的 并 行 计 算， 无 论 是 后 来 的 MapReduce 计算框架还是 MPP（海量并行处理）计算框架，最终还 是需要软件来实现，Greenplum 正是在这一背景下产生的，借助于分 布式计算思想，Greenplum 实现了基于数据库的分布式数据存储和并 行计算（GoogleMapReduce Dispatch 分发（QD）、协调节点上 QE 执行器的并 行工作、负责数据分布、Pipeline 计算、镜像复制、健康探测等等诸 多任务。 在 Greenplum 开源以前，据说一些厂商也有开发 MPP 数据库的打算， 其中最难的部分就是在 Interconnect 上遇到了障碍，可见这项技术的 关键性。 Greenplum 集群架构 Big Date2.indd 3 16-11-22 03 OLAP window 函数），还可以用多种语言来写存储过程，对于 Madlib、R 的支持也很好。这一点上 MYSQL 就差的很远，很多分 析功能都不支持，而 Greenplum 作为 MPP 数据分析平台，这些功 能都是必不可少的。 2) Mysql 查询优化器对于子查询、复制查询如多表关联、外关联的支 持等较弱，特别是在关联时对于三大 join 技术：hash join、merge

TiFlash Replicas · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3081 14.3.5 Use TiFlash MPP Mode · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3082 14.3.6 Use · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 6017 17.7.1 MPP · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Y Y Y Optimizer hints Y Y Y Y Y Y Y Y Y Y MPP execution engine Y Y Y Y Y Y Y Y Y N 62 Advanced SQL features 7.5 7.1 6.5 6.1 5.4 5.3 5.2 5.1 5.0 4.0 MPP execution engine - compression exchange Y Y

TiFlash Replicas · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3121 14.3.5 Use TiFlash MPP Mode · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3122 14.3.6 Use · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 6120 17.7.1 MPP · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · AUTO_ID_CACHE=1 #46324 @tiancaiamao • Fix the issue that the result of COUNT(INT) calculated by MPP might be incorrect #48643 @AilinKid • Fix the issue that executing ALTER TABLE ... LAST PARTITION

TiFlash Replicas · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3332 14.3.5 Use TiFlash MPP Mode · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3333 14.3.6 Use · · · · · · · · · · · · · · · · · · · · · · · · · · · 6726 17.10.1 Massively Parallel Processing (MPP) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 6726 17.10.2 Multi-version concurrency (tidb_snapshot) Y Y Y Y Y Y Y Y Y Y Y Y Optimizer hints Y Y Y Y Y Y Y Y Y Y Y Y MPP execution engine Y Y Y Y Y Y Y Y Y Y Y Y MPP execution engine - compression exchange Y Y Y Y Y Y N N N N N N TiFlash Pipeline

TiFlash Replicas · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3278 14.3.5 Use TiFlash MPP Mode · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3279 14.3.6 Use · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 6546 17.7.1 MPP · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Server OOM when setting it too large #53312 @djshow832 • Improve column pruning for MPP execution plans to improve TiFlash MPP exe- cution performance #52133 @yibin87 • Optimize the performance overhead of

TiFlash Replicas · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3316 14.3.5 Use TiFlash MPP Mode · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3317 14.3.6 Use · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 6702 17.7.1 MPP · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · (tidb_snapshot) Y Y Y Y Y Y Y Y Y Y Y Y Optimizer hints Y Y Y Y Y Y Y Y Y Y Y Y MPP execution engine Y Y Y Y Y Y Y Y Y Y Y Y MPP execution engine - compression exchange Y Y Y Y Y Y N N N N N N TiFlash Pipeline

TiFlash Replicas · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3286 14.3.5 Use TiFlash MPP Mode · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3287 14.3.6 Use · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 6603 17.7.1 MPP · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Y Y 66 Advanced SQL features 8.3 8.2 8.1 7.5 7.1 6.5 6.1 5.4 5.3 5.2 5.1 MPP execution engine Y Y Y Y Y Y Y Y Y Y Y MPP execution engine - compression exchange Y Y Y Y Y N N N N N N TiFlash Pipeline