Share-nothing 无共享架构上，让每一颗 CPU 和 每一块磁盘 IO 都运转起来，无共享架构将这种并行处理发挥到极致。 相比一些其它传统数据仓库的 Sharedisk 架构，后者最大瓶颈就是在 IO 吞吐上，在大规模数据处理时，IO 无法及时 feed 数据给到 CPU， CPU 资源处于 wait 空转状态，无法充分利用系统资源，导致 SQL 效 率低下： 一台内置 16 块 SAS 盘的 X86 服务器，每秒的 类系统的衡 量指标是 TPS，适用的系统是 OLTP 数据库或类似 GemFire 的内存数 据库。 5. Greenplum MPP 与 Hadoop MPP 和 Hadoop 都是为了解决大规模数据的并行计算而出现的技术， 两种技术的相似点在于： ·分布式存储数据在多个节点服务器上 ·采用分布式并行计算框架 ·支持横向扩展来提高整体的计算能力和存储容量 ·都支持 X86 开放集群架构 做为 DaaS 服务来提供，对于 Mesos 或其它云计算技术的爱好者，也可以考虑采用容器镜像技术 + 集群资源框架管理技术来部署 Greenplum, 从而可以实现在公共计算 资源集群上的 MPP 敏捷部署和资源共享与分配。 总之，相信沿着开放、开源、云计算的路线继续前行，Greenplum MPP 数据库在新的时代将保持旺盛的生命力，继续高速发展。 Big Date2.indd 19

年报告中，在经典数据分析领域 Greenplum 全球排名第三，实时分 析领域全球排名并列第四。Greenplum 是两个领域中排名前十的产品中的唯一一款开源产品。 Greenplum 基于 MPP（大规模并行处理）架构构建，具有良好的弹性和线性扩展能力，并内置 并行存储、并行通讯、并行计算和优化技术。同时，Greenplum 还兼容 SQL 标准，具备强大、 高效、安全的 PB 级结构化、半结构 2017 年 Pivotal 在 github 的开源贡献列表中全球排 名第四左右。 采用开源方案，不担心后门问题，不担心被锁定。开源还可以构建更好的 生态。 ● 采用敏捷软件开发方法开发的平台：Greenplum 采用敏捷方法开发，实现了快速迭代、持 续发布和质量内建。2017 年 Greenplum 发布了 10 个版本，以前发布一个版本需要 1 个 月左右，现在只需要十几个小时。 中文社区尤为活跃，目前约有半数的贡献来自中国开发者，社 区贡献者包括阿里云、中移动等大公司，也有诸多中小公司和数据库爱好者。 开源之后，Greenplum 把敏捷软件开发方法学引入到分布式数据库的开发中，通过使用站立会议、 回顾会议、结对编程、持续集成、测试驱动、单周迭代等敏捷方法建立了高效的快速反馈系统， 大大提高了产品的质量和客户的满意度。Greenplum 5.0 是开源之后发布的第一个稳定版本，大 约保持

Recursive CTEs (post GA) • gpload multi-byte delimiters (post GA) • PXF For Hadoop (post GA) 敏捷开发方法学 社区 社区 加入 Pivotal pivotalrnd_china_jobs@pivotal.io 未来计划

强大的灵活性、可扩展：PL/X、Extension、PXF、外部表机制 • 完善的标准支持：SQL、JDBC、ODBC • 集成数据平台：BI/DW、文本、GIS、图、图像、机器学习 • 开放源代码，持续大力投入 • 敏捷方法学：快速迭代、持续发布、质量内建 • 企业级稳定性，成熟生态系统 2017.thegiac.com Greenplum: 机器学习工具集 2017.thegiac.com

的一台独立的机器设备 Instance ： GP 的计算实例，很多时候也叫 Segment Primary ： GP 的主计算实例 Mirror ： GP 的镜像计算实例 MPP ： 大规模并行处理 算子 ： 执行计划中的运算操作 背景简介 多年前，编者翻译了 GP4.2.2 的 AdminGuide，如今，GP 已经历经了无数个版 本更新和迭代，编者也有了更多的感悟，放眼 ...................................................................................... - 346 - 管理大规模集群的数据重分布 .............................................................................. - 346 - 可用磁盘空间充足的系统 数据库已经开源多年，多年来一直由 Pivotal 公司商业运营，在 2020 年，Pivotal 被兄弟公司 VMWare 收购，由 VMWare 继续运营。近年来，Greenplum 在国内建立了一个较大规模的研发团队，越来越多的承担更重要的研发任务，包括 PostgreSQL 的版本合并等，从而，可以为国内商业用户提供更专业和更优质的本地 化服务，用户遇到问题，反馈给专业技术支持人员，或者专业售后服务团队，他们会同

reserved. Greenplum 架构 6 Pivotal Confidential–Inter nal Use Only 平台概况 产品特性 客户端访问和工具 多级容错机制 无共享大规模并行处理 先进的查询优化器 多态存储系统 客户端访问 ODBC, JDBC, OLEDB, etc. 核心MPP 架构 并行数据流引擎 高速软数据交换机制 MPP Scatter/Gather 文本分析，数据挖掘等 管理工具 GP Command Center GP Workload Manager 7 Pivotal Confidential–Inter nal Use Only MPP(大规模并行处理）无共享体系架构 从主节点 … 主节点 SQL • 主节点和从主节点，主节点负责协调整个集群 • 一个数据节点可以配置多个节点实例（Segment Instances) • 节点实例并行处理查询（SQL） Binary, Avro, Parquet 格式 6月 5月 10月 9月 8月 用户自定义数据存储格式 14 Pivotal Confidential–Inter nal Use Only 大规模并行数据加载 • 高速数据导入和导出 – 主节点不是瓶颈 – 10+ TB/小时/Rack – 线性扩展 • 低延迟 – 加载后立刻可用 – 不需要中间存储 – 不需要额外数据处理 • 导入/导出

2010/4/8 官方网站： www.greenplum.com www.greenplum-china.com Greenplum：简介 Greenplum数据引擎软件为新一代数 据仓库所需的大规模数据和复杂查询功 能所设计 3 推动数据依赖型企业的发展 全球各地的一些Greenplum客户 4 亚太地区 欧洲、中东、非洲 北美 中国的客户 5 金融 交通 互联网 其它 Teradata 安全度 • 查询、报告、分析的数量 • 数据的高度多样性 • 大量定制数据 • 监管要求 商务智能/数据仓库发展趋势 一切都在增长! 数据仓库工作量：数据膨胀 面临的新难题是如何处理大规模数据 过去的10年 现在 HPC 企业 SME 万亿字节 千兆字节 兆字节 千万亿字节 万亿字节 千兆字节 行业商务智能解决方案的实例 政府 电信 金融服务 公民服务 国家安全 2000万美元 40 总结 • Greenplum正在将强大的并行计算能力融入到大 规模数据仓库和分析领域 • 世界级的行业团队进行高性能计算和数据库系统的 前沿开发工作 • 为全球很多最大规模的数据仓库提供提供推动力 • 最先将SQL和Map-Reduce的功能整合到统一的数 据处理框架中 • 可以帮助企业采集所有数据，并在竞争中获得出色 的洞察力 41 Parallel Dataflow

的核心特征，及多年来围绕该平台发展出的生态系统。 摘要 Pivotal Greenplum 不受限于基础架构，这意味着它是一种可完全移植的分析数据库软件解决方案，可部署在多云环境（公 有云和私有云）中，也适用不同的本地配置。其大规模并行处理 (MPP) SQL 的设计核心是一个称为 GPORCA 的新一代查 询优化器。GPORCA 专为满足在多结构数据环境中进行高级分析的需求而设计，能够处理多种并发混合工作负载的复杂查 询。与旧式 PostGIS ANSI SQL 其他数据库 SQL ML/统计数据/图形 程序化 文本 地理空间 公有云 私有云 完全 托管云 本地 BI / 报告 自定义应用 机器学习 AI SQL 大规模 并行处理 (MPP) PB 级数据 加载 查询 优化器 (GPORCA) Workload Manager 多态存储 Command Center SQL 兼容性 (Hyper-Q) PostgreSQL 5：新一代数据平台 集成分析：改进后的全新分析接口 一直以来，客户都能在 Pivotal Greenplum 中做高级分析，无论是提供将应用逻辑向下推送至数据所在位置的方法，执行 分析功能，还是以大规模并行方式构建数据模型，都可以实现。Greenplum 5 支持适用于数据挖掘和数据科学工作的最全面、 最先进的分析程序包和扩展。 Greenplum 5 还针对最受欢迎的 Python 和 R 语言算法库提供简单易用的安装程序。

Greenplum 分布式数据库简介 Features Confidential │ ©2021 VMware, Inc. 4 Greenplum 是基于 PostgreSQL 所实现的大规模并行处理(MPP)开源数据平台，具有良好的弹性 和线性拓展能力，内置并行存储、并行通信、并行计算和并行优化功能，兼容 SQL 标准。拥有独 特的高效的 ORCA 优化器，具有强大、高效的 PB 级数据存储、处理和实时分析能力，同时支持

VS 分布式 简单易用 VS 结构化 半结构非结构化 VS 事务型 分析型 VS MPP - massively parallel processing - 大规模并行处理 master standby primary segment mirror segment 6 Pivotal Confidential–Internal Use Only 数据分布: