Agenda Greenplum简介 Greenplum的MPP架构 > 分布式优化器: Postgres planner 和 ORCA > 分布式事务和执行 Greenplum存储 Greenplum生态 Greenplum 7 Greenplum简介：什么是Greenplum? 基于PostgreSQL、开源、分布式MPP、ACID完备、为OLAP优化的关系型数据仓库。 https://greenplum 2003年，Luke Lonergan 和 Scott Yara 发起 Greenplum 项目，从 PostgreSQL 8 分支，做成 MPP 架构 2010年被EMC收购 2012年成为Pivotal的一部分 2015年开源，可能是世界上第一个成熟商用的开源MPP数据仓库 ➢ 2019年底跟随Pivotal被VMware收购 ## 谁在用Greenplum? ➢ 500多付费企业客户 成千上万的开源用户 jpg)  ## Greenplum的MPP架构 ## Massively: ☐ PB级的数据，单台主机无法处理 ☐ 所以数据分布在多个主机上 ☐ 高效、灵活的数据分布，和实际业务相关 ## Parallel: ☐ 数据并行处理计算

## Greenplum on Kubernetes 容器化MPP数据库 ## AGENDA ## 云数据库背景 云数据库实现方案 Greenplum on Kubernetes Greenplum Operator 总结 ## 云数据库背景 ## 云数据库背景 ● 资源变化 ☐ 本地资源 → 云 ☐ 静态资源 → 弹性需求 ## ● 数据变化 ☐ 内部数据 → 多数据源

# 开源 MPP 数据库的不二之选: Pivotal Greenplum 5.0 姚延栋 yyao@pivotal.io ## 开放源代码    ## MPP  Master Servers Query

服务的架构图如下所示：  UDW 采用无共享的 MPP 架构，适用于海量数据的存储和计算。UDW 的架构如上图所示，主要有 Client、Master Node 和 Compute Node 组成。基本组成部分的功能如下： 1. Client: 访问 UDW testSchema; 删除非空模式： DROP SCHEMA testSchema CASCADE; ## 4、 表格设计 udw 的表格创建类似于 postgresql，由于 udw 采用 mpp 数据，创建表格的时候可以选择不同的数据分布策略，不同的存储方式等等。创建表格的时候可以定义下面信息： 数据类型 表约束 • 数据分布策略 • 表存储模型 • 分区策略 • 外部表: udwfile、udwhdfs 布（DISTRIBUTED BY(key)）和随机分布（DISTRIBUTED RANDOMLY）。如果不指定分布策略则默认按 primary key 或者第一个 column 做哈希分布。 在MPP环境下，查询的执行时间是由所有节点决定的。当数据出现倾斜时，会导致较低的性能以及内存溢出的情况。 当选择分布键时，考虑以下几个方面： 1. 为所有的表显示地指定哈希或随机分布,不要使用默认的。

3. GPDB数据透明加密方案设计 4. GPDB数据透明加解密流程 5. 总结 ## 我们所面临的问题 ## 什么是Greenplum数据库 GPDB 一款开源的HTAP数据库： • MPP架构 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 • 支持PB级文件 • 丰富的ETL和外部组件 • 支持Python/R/Java直接访问处理数据库数据 https://github 一款开源的HTAP数据库： • MPP架构 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 • 支持PB级文件 • 丰富的ETL和外部组件 • 支持Python/R/Java直接访问处理数据库数据 https://github.com/greenplum-db/gpdb ## pgcrypto的问题 Recall 一款开源的HTAP数据库： · MPP架构 完整的事务+ACID+标准SQL支持 一款开源的HTAP数据库： · MPP架构 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 支持PB级文件 丰富的ETL和外部组件 支持Python/R/Java直接访问处理数据库数据 https://github.com/greenplum-db/gpdb ## GPDB透明加密 Recall again 一款开源的HTAP数据库: - MPP架构 - 完整的事务+ACID+标准SQL支持

2019 年报告中，在经典数据分析领域 Greenplum 全球排名第三，实时分析领域全球排名并列第四。Greenplum 是两个领域中排名前十的产品中的唯一一款开源产品。 Greenplum 基于 MPP（大规模并行处理）架构构建，具有良好的弹性和线性扩展能力，并内置并行存储、并行通讯、并行计算和优化技术。同时，Greenplum 还兼容 SQL 标准，具备强大、高效、安全的 PB 级结构化、半结构 MADlib，Greenplum 可以在数据内部运行 50 多种数据分析和机器学习算法。MADlib 提供 SQL 接口进行数据分析，大大降低了数据分析的门槛；MADlib 内建于数据库内，使用 MPP 的优势，提高了分析的效率；MADlib 可以在全量数据而不是抽样数据上进行分析，提高了精度。 - 开放源代码且持续大力投入的平台：2017 年 Pivotal 在 github 的开源贡献列表中 基于世界上最先进的开源数据库 PostgreSQL。 2015 年 10 月 Pivotal 正式把投资超过 10 年的 Greenplum 开源，采用 Apache 2 协议，成为世界上第一款成熟的开源 MPP 数据库。开源之后，Greenplum 社区发展活跃，短短 2 年左右，在全球有上百来自美国、中国、俄罗斯、日本、英国、德国、芬兰、瑞士等国家的贡献者，获得社会各界的广泛关注。其中 Greenplum

GP的优势？ 与其他技术的对比？ 为什么上云？ ## ApsaraDB for GP的定位 MPP + 列存压缩 ApsaraDB for GP = 复杂SQL + 查询优化器 本地高效存储 + 高速网络 + 预置稳定资源 = 简单、高效解决大数据分析需求 ### GP vs. RDS? MPP处理举例 ## Select count(*) from customer group by city jpg) ### GP vs. RDS? MPP处理举例 ## Select count(*) from customer group by city  ### GP vs. RDS? MPP处理举例 ## Select count(*) 043d030148cb59ffb98d820fd24/p12_3.jpg) 子节点 子节点 子节点 子节点 子节点 子节点 子节点 ## ApsaraDB for GP的定位 MPP + 列存压缩 ApsaraDB for GP = 复杂SQL + 查询优化器 本地高效存储 + 高速网络 + 预置稳定资源 = 简单、高效解决大数据分析需求 # ApsaraDB for GP的内核优化

Greenplum 5.0 release planned early 2017 ## Greenplum Database Overview - Massively Parallel Processing (MPP) database system - Scales out to hundreds $ ^{(*)} $ of nodes • Shared nothing architecture • [Image](/uploads/documents/3/5/b/d/35bdf6490021398609e9a18998557eb1/p5_1.jpg) MPP Segment Host MPP Segment Host MPP Segment Host ## PostgreSQL Heritage ## PostgreSQL ![Image](/uploads/docume

with Tanzu Greenplum. Welcome to Tanzu Greenplum Tanzu Greenplum is a massively parallel processing (MPP) database server that supports next generation data warehousing and large-scale analytics processing from was intermittently failing with the message “FATAL: Internal error: Using fd > 65535 in MPP_FD_SET”. 32089 Resolves an issue where the server was failing to acquire resources on one or more segments cardinality when the query specified multiple predicates that included distribution keys. 30512 - MPP: Dispatch Resolves an issue where Greenplum Database hung while continuously retrying a primary- mirror

Tanzu Greenplum. ## Welcome to Tanzu Greenplum Tanzu Greenplum is a massively parallel processing (MPP) database server that supports next generation data warehousing and large-scale analytics processing was intermittently failing with the message "FATAL: Internal error: Using fd > 65535 in MPP_FD_SET" . ## 32089 Resolves an issue where the server was failing to acquire resources on one cardinality when the query specified multiple predicates that included distribution keys. ## 30512 - MPP: Dispatch Resolves an issue where Greenplum Database hung while continuously retrying a primarymirror