.................. - 295 - 第十四章：开启高可用 .......................................................................................................... - 297 - GP 数据库高可用概述 ................................. ............................................................................. - 324 - 恢复 Master 的高可用 ......................................................................................... - 325 - ................................... - 346 - 可用磁盘空间充足的系统 ...................................................................................... - 347 - 可用磁盘空间不足的系统 ...................................

Greenplum介绍 唐成 － 2011.02.17 汇 报 提 纲 Greenplum VS hadoop Greenplum架构 Greenplum的高可用方案 GP分布式数据库功能介绍 理解GP的查询处理 Greenplum VS hadoop 比较项 Greenplum Hadoop+hive 软件性质 商业软件 t。 Greenplum中的高可用方案 Segment的mirror 当配置了segment mirror，当segment primary不能写 的时候，greenplum会自动切换到mirror。当master不 能连接到一个segment instance时，会把这个instance 标记为invalid。 Greenplum中的高可用方案 默认情况下，greenplum的失败操作模式是“read- 群。 Greenplum中的高可用方案 对于Greenplum 3.X的版本，segment 的primary与 mirror之间是做的逻辑同步，mirror端的数据库实际上 也是可以读写的。而Greenplum4.0版本后，primary与 mirror实际上是物理同步，这时mirror一直处于恢复状 态，不能读也不能写。 高可用之Master Mirroring 对于Greenplum

可消除平台 / 供应商制约。用户可通过不同供应商获得针对 Greenplum 的服务和支持。 • Greenplum Database 在开发时采用的是以社区 / 客户为焦点的开发模式。客户可通过多种开放可用的方法对总 体产品方向产生影响，而这又会加快产品创新。 客户能够在群集中的一组初始服务器上部署 Pivotal Greenplum，并能在数据存储和用户需求增加时扩充配置中的服务器数 量，且无需卸 rpart、sandwich、scales、stringi、stringr、survival、tibble、tseries 和 zoo。 此外，Greenplum 5 还支持最新版 Apache MADlib（可用 SQL 进行机器学习和图分析），支持在 Apache Solr 数据库内实 施 GPText 完成索引和搜索功能，其中包含用于国际文本和社交媒体文本的自定义分词器和一个通用查询处理器（可接受 来自支持的 和内存管理方面。资 源组一经定义，便会将所有用户活动纳入管理范围，包括超级用户。某个超级用户执行的所有语句都会路由至一个默认资 源组，管理员可以根据需要调整该资源组，增加或减少其系统资源。如果队列中没有可用于某个查询的空位，或者内存不 足以运行该查询，它会自动排队，直到有能够成功执行的资源为止。 1. Marshall Presser，Data Warehousing with Greenplum:Open

Coordinator（Master），如果 Coordinator（Master）出现故障， 将自动把备用节点进行替换，把这一流程自动化，减少人工的干预，这一功能不但将解决现有用户的使用痛点，同时 也大大增加了系统高可用性，避免手工操作，极大方便了系统运维，而这对于运行关键业务应用十分重要。 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum PostgreSQL、 Rcpp、RcppEigen、RobustRankAggreg 等 R 语言算法库和程序包。 此外，Greenplum 还支持最新版 Apache MADlib（可用 SQL 进行机器学习、深度学习和图分析），它支持高并行 和基于 GPU 的深度学习模型训练，内置于集群硬件中的 GPU，能帮助 Greenplum 6 的用户获得超过 CPU 2 个数量 级的 在欧拉开源操作系统多硬件架构平台 上的功能完整性。 该移植的基线来自 Greenplum 开源社区，并由 Greenplum 中文社区开发者在欧拉开源操作系统上完善直至形成在 ARM 平台上可用的版本。 3. ARM 平台测试问题的修复 原本 Greenplum 开源社区配套的测试框架以及测试用例都是基于 X86 平台来进行适配的，对于新的硬件架构，在浮 点数、底层汇编指令

scalability），Greenplum 可以采用各种开发语言来扩展用户自定 义函数（UDF）（我个人是 Python 和 C 的 fans，后续章节与大家分享）。 这些自定义函数部署到 Greenplum 后可用充分享受到实例级别的并行 性能优势，我们强烈建议用户将库外的处理逻辑，部署到用 MPP 数 据库的 UDF 这种 In-Database 的方式来处理，你将获得意想不到的性 能和方便性；例如我们在某客户实现的数据转码、数据脱敏等，只需 Big Date2.indd 24 16-11-22 下午3:38 Greenplum 精粹文集 25 这样做的好处是，所有链路 设备同时对外提供服务，并 互相备份，网络设备达到了 最大的高可用和吞吐，任意 网络硬件故障都不会影响集 群的正常使用。 ·Greenplum 软件本身不支持 RDMA（Remote Direct Memory Access）协议，所以如果基于 Infiniband 先经过 master，所以 master 节点的可用性直接关系到集群的稳定， 但从实践经验来看，由于 master 节点只存元数据，只负责 SQL 的解析、 分发以及最终计算结果的展现，所以承担的负载一般都非常小，故障 率也极低，在我们维护阿里 Greenplum 集群 3 年的时间里，以及接触 到的客户中，基本上没有碰到由于 master 故障导致集群不可用的情况， 唯一一次，还是因为客户误操作同时将

Coordinator 是整个数据库的入口，客户端只会连接 至 Coordinator 节点，并执行相关的查询操作 l Standby 节点为 Coordinator 提供高可用支持 l Mirror 则为 Segment 提供高可用支持 7 Confidential │ ©2021 VMware, Inc. Greenplum 分布式数据存储与多态存储 Hash/Randomly/Replicated

3）使用更严格的内存提交策略overcommit_memory： 内核参数overcommit_memory ，指定内存分配策略 可选值：0、1、2。 0， 表示内核将检查是否有足够的可用内存供应用进程使用； 如果有足够的可用内存，内存申请允许；否则，内存申请 失败，并把错误返回给应用进程。 1， 表示内核允许分配所有的物理内存，而不管当前的内存 状态如何。 2， 表示内核允许分配超过所有物理内存和交换空间总和的

存储数据，share-nothing q 产生计算进程 Ø Libpq：控制信道 Ø Interconnect: 数据交换信道 Confidential │ ©2022 VMware, Inc. 8 Greenplum的高可用 Ø 数据存两份，Coordinator有standby Ø 自动同步数据 (WAL replication) Ø 自动灾难恢复 (FTS，主备切换) Confidential │ ©2022

， 譬如文本数据、GIS 数据、图数据等。 ● 具有强大内核的平台：Greenplum 具有强大的内核技术，包括数据水平分布、并行查询执 行、专业优化器、线性扩展能力、多态存储、资源管理、高可用、高速数据加载等。 ● 具备强大灵活性和可扩展性的平台： 支持扩展（Extension）、自定义类型和函数、PXF 和外部表技术。可以使用多种语言实现用户自定义函数和聚集，包括 PL/Python、PL/R、

分区表的分区键性能不佳 • 加载易出现问题 Ø 文件加载出现特殊字符 Ø 数据校验标准问题 35 Greenplum开发规范 业务库表设计规范 • GP中表的范围 Ø 最大时间为年表 Ø 数据量小，可用单表 • 多种表类型 Ø 堆表 （选好常用列作为三列键） Ø 分区表 （按照 yyyymmdd 分区，建议都添加 datenum int8） Ø append表 Ø 列存储表 Ø 多种表类型结合