白皮书 开源 Greenplum 新篇章： 兼容欧拉开源操作系统的数据平台 支持国产生态的高级分析数据平台 作者：Greenplum 中文社区、 欧拉开源社区 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum 白皮书 .. 8 完善的生态工具链 ................................................................................................................................................................... 8 繁荣社区生态 ......... 近日，Greenplum 社区和欧拉开源社区深化合作，在欧拉开源操作系统（openEuler, 简称“欧拉”）编译测试了高级分 析数据平台 Greenplum，用实践证明了 Greenplum 与支持多样性计算的欧拉开源操作系统完全兼容，是 Greenplum 与中国本地 IT 厂商的深入合作的典型模板，大大丰富了中国本地国产化应用生态。本白皮书着眼介绍了欧拉开源操作系 统平台架构、创新性及核心特点，

● 开放源代码且持续大力投入的平台： 2017 年 Pivotal 在 github 的开源贡献列表中全球排 名第四左右。 采用开源方案，不担心后门问题，不担心被锁定。开源还可以构建更好的 生态。 ● 采用敏捷软件开发方法开发的平台：Greenplum 采用敏捷方法开发，实现了快速迭代、持 续发布和质量内建。2017 年 Greenplum 发布了 10 个版本，以前发布一个版本需要 具备企业级稳定性的平台：Greenplum 经过十多年发展，有大量活跃客户，大量数百节点 集群为全球 2000 强企业生产系统提供服务，稳定性非常高。 ● 具备成熟生态系统的平台：Greenplum 生态非常完善，有大量的合作伙伴。 发展历程 Greenplum 公司成立于 2003 年，2008 年发布 Greenplum 数据库产品。2010 年 Greenplum 被 Greenplum 从 EMC 独立出来创立 Pivotal，并获得通用电气、 福特汽车和微软的投资。2018 年 4 月 Pivotal 在纽约证券交易所上市，目前市值 60 多亿美元。 开源社区和生态 Greenplum 基于世界上最先进的开源数据库 PostgreSQL。 2015 年 10 月 Pivotal 正式把投资超过 10 年的 Greenplum 开源，采用 Apache

重点应该关注日常更新和删除操作的表。 ·报错信息：在日志中错误信息多种多样，大部分不是 DBA 需要关 注的。应该重点关注 PANIC、OOM、Internal error 等关键信息。 Greenplum 已经开源了，我们的生态圈在迅速地壮大，Greenplum 的 爱好者、拥护者人数也在不断地壮大。在使用和探索 Greenplum 的路 途中，我们通过一点经验介绍，希望让大家少走弯路。在产品实施过 程中的关键阶段，还应该更多地寻求专业顾问的支持。 PL/SQL 触发器机制可以更轻松地利用 pgcrypto，但是鉴于 Greenplum 的 MPP 架构，无法结合使用 pgcrypto 与触发器机制。所以，Pivotal 与 Protegrity 合作，一起简化了 Greenplum 中静态数据的加密操作。 Protegrity 可提供一组在专门的转型流程中加密数据的功能。启用功能 之后，物理数据将会采用新的格式保存在磁盘上以满足静态数据的加

成长，见证了 Greenplum 从闭源到开源的成长历程，一路给 Greenplum 做各种补丁 脚本，也看到了 Greenplum 的大幅进步，甚至我们以前的小技巧也不再需要，持续的 进步，带来的是生态的蓬勃发展。 Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 2 - 序言 术语约定 RANDOMLY或者DISTRIBUTED REPLICATED 子句，GP将会选择使用HASH分布，并依次考虑使用主键(假如该Table有的话)或者第 一个字段作为HASH分布的DK。几何类型或者自定义类型的Column是不适合作为GP的 DK的。如果一个Table没有一个合适类型的Column作为DK，该表将使用随机分布策略。 另外，如果设置了gp_create_table_random_default_distribution参数的值 并行备份 gpbackup 与 gprestore 虽然编者不用gpbackup和gprestore，但是，编者没有更合适的关于并行备份 恢复的工具可以讲解(虽然编者有一套备份恢复的工具，但不适合作为通用技术来讲 述)，所以，那就按照gpbackup和gprestore的文档来介绍一下。实际上，不管是现 在的gpbackup还是以前的gp_dump和gpcrondump，都是所有Primary并行将数据

Greenplum简介 Ø Greenplum的MPP架构 Ø 分布式优化器: Postgres planner 和 ORCA Ø 分布式事务和执行 Ø Greenplum存储 Ø Greenplum生态 Ø Greenplum 7 Confidential │ ©2022 VMware, Inc. 3 Greenplum简介：什么是Greenplum? 基于PostgreSQL、开源、分布 页面的概念，变长，行存、 列存、压缩，适合OLAP Ø 外部表: HDFS，S3，文件， 网络，命令，流式数据… Confidential │ ©2022 VMware, Inc. 16 Greenplum生态：Madlib Ø 在数据库内做机器学习 Ø 非常多的算法库 Confidential │ ©2022 VMware, Inc. 17 GPText Ø MPP化的Apache Solr，用于全文检索和文本分析

关于本白皮书 Pivotal 最近推出全球第一个开源、支持多云的高级分析数据平台——Pivotal Greenplum 5。本白皮书着眼介绍 Greenplum 5 的核心特征，及多年来围绕该平台发展出的生态系统。 摘要 Pivotal Greenplum 不受限于基础架构，这意味着它是一种可完全移植的分析数据库软件解决方案，可部署在多云环境（公 有云和私有云）中，也适用不同的本地配置。其大规模并行处理 Pivotal Network 分发的打包版本将具有相同的内核（只有个别微小差 别）。这是两年来致力于与 PostgreSQL 8.3.23 集成的成果，目的在于扩展和融入以 Greenplum 为中心的生态系统和社 区。为了更好地贴合 PostgreSQL 社区的模式，他们对代码库进行了重构，这样一来，便可以更轻松地从最新版本（未来 的 PostgreSQL 9.X 和 10）中纳入 PostgreSQL

最出色的性能 • 高度灵活性 • 逐步扩展计算能力 • 动态措施 • 数据访问： • 在一个系统中协调所有企业数据的位置 • 可以通过任何语言（SQL、M/R等）进行分析 14 强大并且不断扩展的合作伙伴网络 硬件供应商 商务智能工具 15 服务供应商 业内支持和认可 行业奖励 “ Greenplum能够让企业在两 个方面同时达到最满意的效果： 供程序员使用的MapReduce以 及供数据库管理使用的 • 数据规模 • 1万亿行事实数据表，每天增加 3TB • 硬件 • 40节点的Sun数据仓库设备 • 优势 • 可以通过控制支持快速膨胀的数据集 “Greenplum将成为我们不可或缺的合作伙伴，因为我们需要不断更新数据操作方式，使用户和广告商 通过我们的工作网络中获得更好的印象。” - FIM受众网络技术和运营部门的产品执行副总裁 Arnie Gullov-Singh 24 净数据规模

MPP 数据库的不二之选: Pivotal Greenplum 5.0 姚延栋 yyao@pivotal.io 开放源代码 SQL 企业级数据库 生态系统 MPP 高速数据加载 多态存储 表‘SALES’ 列存储 行存储 1月 一年前 二年前 外部表 12月 11月 4月

Segment节点检查及修复 ○ 自动执行gprecoverseg ○ 无需Segment Rebalance ● Node失效 ○ Node节点上Master/Segment节点自动修复 Kubernetes 生态集成 ● 日志收集 ○ Fluentd ● 监控及Metrics收集 ○ Prometheus ● 可视化 ○ Grafana ● …... 总结 Greenplum → Kubernetes

pg_waldump可以直接读取并显示预写日志 潜在风险（三） GPDB的数据安全 数据需要加密 • 机密数据 • 知识产权保护 • 审计要求 用户数据存在直接暴露的风险 • 非部门员工运维（原厂，主机厂或者合作伙伴） • 事后审计难度很大 • 服务器数据被盗（托管或云部署） 用户的问题 现有解决方案 基于操作的系统的硬盘加密 • 只能防范服务器硬盘被盗 • 对运维安全无能为力 基于pgcypto的加密