Agenda Greenplum简介 Greenplum的MPP架构 > 分布式优化器: Postgres planner 和 ORCA > 分布式事务和执行 Greenplum存储 Greenplum生态 Greenplum 7 Greenplum简介：什么是Greenplum? 基于PostgreSQL、开源、分布式MPP、ACID完备、为OLAP优化的关系型数据仓库。 https://greenplum 2003年，Luke Lonergan 和 Scott Yara 发起 Greenplum 项目，从 PostgreSQL 8 分支，做成 MPP 架构 2010年被EMC收购 2012年成为Pivotal的一部分 2015年开源，可能是世界上第一个成熟商用的开源MPP数据仓库 ➢ 2019年底跟随Pivotal被VMware收购 ## 谁在用Greenplum? ➢ 500多付费企业客户 成千上万的开源用户 jpg)  ## Greenplum的MPP架构 ## Massively: ☐ PB级的数据，单台主机无法处理 ☐ 所以数据分布在多个主机上 ☐ 高效、灵活的数据分布，和实际业务相关 ## Parallel: ☐ 数据并行处理计算

## Greenplum on Kubernetes 容器化MPP数据库 ## AGENDA ## 云数据库背景 云数据库实现方案 Greenplum on Kubernetes Greenplum Operator 总结 ## 云数据库背景 ## 云数据库背景 ● 资源变化 ☐ 本地资源 → 云 ☐ 静态资源 → 弹性需求 ## ● 数据变化 ☐ 内部数据 → 多数据源

# 开源 MPP 数据库的不二之选: Pivotal Greenplum 5.0 姚延栋 yyao@pivotal.io ## 开放源代码    ## MPP  Master Servers Query

1.1 …… 40 2.5.2 TiDB TPC-C 性能对比测试报告 - v5.2.0 对比 v5.1.1 …… 46 2.5.3 TiDB TPC-H 性能对比测试报告 - v5.2 MPP 模式对比 Greenplum 6.15.0 以及 Apache Spark 3.1.1 …… 48 2.6 与 MySQL 兼容性对比 …… 51 2.6.1 不支持的功能特性 …… 52 Dual 表上移除 Union 算子的优化 #25614 - 优化聚合算子的代价常数 #25241 - 允许 MPP outer join 根据表行数选择构建表 #25142 - 支持 MPP 查询任务按 Region 均衡到不同 TiFlash 节点上 #24724 - 支持执行 MPP 查询后将缓存中过时的 Region 无效化 #24432 - 提升内置函数 str_to_date 在格式指定器中 INET6_NTOA() - 当 new collation 打开时，支持 MPP 模式下的 Shuffled Hash Join 和 Shuffled Hash Aggregation 运算 - 优化基础代码提升 MPP 性能 - 支持将 STRING 类型转换为 DOUBLE 类型 - 通过多线程优化右外连接中的非连接数据 - 支持在 MPP 查询中自动清理过期的 Region 信息 ## • Tools

... 50 2.5.2 TiDB TPC-C 性能对比测试报告 - v5.4.0 对比 v5.3.0 ..... 58 2.5.3 TiDB TPC-H 性能对比测试报告 - v5.4 MPP 模式对比 Greenplum 6.15.0 以及 Apache Spark 3.1.1 ..... 61 2.6 与 MySQL 兼容性对比 ..... 64 2.6.1 不支持的功能特性 Engine 作为 TiKV 的日志存储引擎（实验特性） · 优化备份对集群的影响 - 支持 Azure Blob Storage 作为备份目标存储 · 持续提升 TiFlash 列式存储引擎和 MPP 计算引擎的稳定性和性能 • 为 TiDB Lightning 增加已存在数据表是否允许导入的开关 · 优化持续性能分析（实验特性） • TiSpark 支持用户认证与鉴权 #### 2.2 用户生成一个初始的强密码，避免 root 用户使用空密码所带来的安全风险，增强数据库的安全性。 用户文档 ##### 2.2.2.3 性能 · 持续提升 TiFlash 列式存储引擎和 MPP 计算引擎的稳定性和性能 - 支持将更多函数下推至 MPP 引擎 * 字符串函数：LPAD()、RPAD()、STRCMP() $ ^{*} $ 日期时间函数：ADDDATE(string, real)、DATE_ADD(string

服务的架构图如下所示：  UDW 采用无共享的 MPP 架构，适用于海量数据的存储和计算。UDW 的架构如上图所示，主要有 Client、Master Node 和 Compute Node 组成。基本组成部分的功能如下： 1. Client: 访问 UDW testSchema; 删除非空模式： DROP SCHEMA testSchema CASCADE; ## 4、 表格设计 udw 的表格创建类似于 postgresql，由于 udw 采用 mpp 数据，创建表格的时候可以选择不同的数据分布策略，不同的存储方式等等。创建表格的时候可以定义下面信息： 数据类型 表约束 • 数据分布策略 • 表存储模型 • 分区策略 • 外部表: udwfile、udwhdfs 布（DISTRIBUTED BY(key)）和随机分布（DISTRIBUTED RANDOMLY）。如果不指定分布策略则默认按 primary key 或者第一个 column 做哈希分布。 在MPP环境下，查询的执行时间是由所有节点决定的。当数据出现倾斜时，会导致较低的性能以及内存溢出的情况。 当选择分布键时，考虑以下几个方面： 1. 为所有的表显示地指定哈希或随机分布,不要使用默认的。

3. GPDB数据透明加密方案设计 4. GPDB数据透明加解密流程 5. 总结 ## 我们所面临的问题 ## 什么是Greenplum数据库 GPDB 一款开源的HTAP数据库： • MPP架构 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 • 支持PB级文件 • 丰富的ETL和外部组件 • 支持Python/R/Java直接访问处理数据库数据 https://github 一款开源的HTAP数据库： • MPP架构 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 • 支持PB级文件 • 丰富的ETL和外部组件 • 支持Python/R/Java直接访问处理数据库数据 https://github.com/greenplum-db/gpdb ## pgcrypto的问题 Recall 一款开源的HTAP数据库： · MPP架构 完整的事务+ACID+标准SQL支持 一款开源的HTAP数据库： · MPP架构 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 支持PB级文件 丰富的ETL和外部组件 支持Python/R/Java直接访问处理数据库数据 https://github.com/greenplum-db/gpdb ## GPDB透明加密 Recall again 一款开源的HTAP数据库: - MPP架构 - 完整的事务+ACID+标准SQL支持

VMware Greenplum. ## Welcome to VMware Greenplum VMware Greenplum is a massively parallel processing (MPP) database server that supports next generation data warehousing and large-scale analytics processing was intermittently failing with the message "FATAL: Internal error: Using fd > 65535 in MPP_FD_SET". ## 32089 Resolves an issue where the server was failing to acquire resources on one cardinality when the query specified multiple predicates that included distribution keys. ## 30512 - MPP: Dispatch Resolves an issue where Greenplum Database hung while continuously retrying a primary-mirror

2019 年报告中，在经典数据分析领域 Greenplum 全球排名第三，实时分析领域全球排名并列第四。Greenplum 是两个领域中排名前十的产品中的唯一一款开源产品。 Greenplum 基于 MPP（大规模并行处理）架构构建，具有良好的弹性和线性扩展能力，并内置并行存储、并行通讯、并行计算和优化技术。同时，Greenplum 还兼容 SQL 标准，具备强大、高效、安全的 PB 级结构化、半结构 MADlib，Greenplum 可以在数据内部运行 50 多种数据分析和机器学习算法。MADlib 提供 SQL 接口进行数据分析，大大降低了数据分析的门槛；MADlib 内建于数据库内，使用 MPP 的优势，提高了分析的效率；MADlib 可以在全量数据而不是抽样数据上进行分析，提高了精度。 - 开放源代码且持续大力投入的平台：2017 年 Pivotal 在 github 的开源贡献列表中 基于世界上最先进的开源数据库 PostgreSQL。 2015 年 10 月 Pivotal 正式把投资超过 10 年的 Greenplum 开源，采用 Apache 2 协议，成为世界上第一款成熟的开源 MPP 数据库。开源之后，Greenplum 社区发展活跃，短短 2 年左右，在全球有上百来自美国、中国、俄罗斯、日本、英国、德国、芬兰、瑞士等国家的贡献者，获得社会各界的广泛关注。其中 Greenplum

GP的优势？ 与其他技术的对比？ 为什么上云？ ## ApsaraDB for GP的定位 MPP + 列存压缩 ApsaraDB for GP = 复杂SQL + 查询优化器 本地高效存储 + 高速网络 + 预置稳定资源 = 简单、高效解决大数据分析需求 ### GP vs. RDS? MPP处理举例 ## Select count(*) from customer group by city jpg) ### GP vs. RDS? MPP处理举例 ## Select count(*) from customer group by city  ### GP vs. RDS? MPP处理举例 ## Select count(*) 043d030148cb59ffb98d820fd24/p12_3.jpg) 子节点 子节点 子节点 子节点 子节点 子节点 子节点 ## ApsaraDB for GP的定位 MPP + 列存压缩 ApsaraDB for GP = 复杂SQL + 查询优化器 本地高效存储 + 高速网络 + 预置稳定资源 = 简单、高效解决大数据分析需求 # ApsaraDB for GP的内核优化