Big Date 1123.indd 2 16/11/23 下午5:46 Big Date 1123.indd 3 16/11/23 下午5:46 Big Date 1123.indd 4 16/11/23 下午5:46 Greenplum 精粹文集 1 一、Greenplum 的前生今世 1. Greenplum 的起源 Greenplum 最早是在 10 GFS 分布式文件系统，另外一篇 是关于 MapReduce 并行计算框架的理论，分布式计算模式在互联网 行业特别是收索引擎和分词检索等方面获得了巨大成功。 Big Date2.indd 1 16-11-22 下午3:38 2 由此，业界认识到对于海量数据需要一种新的计算模式来支持，这种 模式就是可以支持 Scale-out 横向扩展的分布式并行数据计算技术。 当时，开放的X86服务器技 TD），说干就干，花了一年多的时间 完成最初的版本设计和开发，用软件实现了在开放 X86 平台上的分布 式并行计算，不依赖于任何专有硬件，达到的性能却远远超过传统高 昂的专有系统。 Big Date2.indd 2 16-11-22 下午3:38 Greenplum 精粹文集 3 大家都知道 Greenplum 的数据库引擎层是基于著名的开源数据库 Postgresql的（下面会分析为什么采用Postgresql，而不是mysql等等），

........... 11 Master 节点自动 Failover ................................................................................................................................................... 11 利用容器实现安全分析 调度算法保障在线业务对 CPU 的实时抢占及抖 动抑制，创新业务优先级 00M 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步 时间，提升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能 优于内核态 swap。 的管理体验。 • 安全容器方案：iSulad+shimv2+StratoVirt 安全容器方案，相比传统 docker+qemu 方案，底噪和启动时间 优化 40%。 • 双平面部署工具 eqqo：ARM/X86 双平面混合集群 0S 高效一键式安装，百节点部署时间<15min。 3. 探索场景创新 边缘计算：发布面向边缘计算场景的版本 openEuler21.09Edae.集成

................................................................................................ - 11 - 管理节点：Master ................................................................................... ....................................................................................... - 319 - 恢复双宕(double fault) ................................................................................ - 320 - 415 - Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 11 - 第一章：GP 数据库架构 目前 GP 数据库已经开源多年，多年来一直由 Pivotal 公司商业运营，在 2020 年，Pivotal 被兄弟公司 VMWare 收购，由 VMWare

数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 10 greenplum体系架构 postgresql体系结构 11 greenplum体系架构 postgresql体系结构 • pg结构组成 Ø 连接关系系统 Ø 编译执行系统 Ø 存储执行系统 Ø 事务系统 Ø 系统表 • pg逻辑和物理结构 Ø instance实例 如需扩展，有多种扩展方式可以选择 Ø 理论扩展方式，与建议扩展方式 • 常见扩展方式 Ø 对现有集群直接加服务器进行扩展（先要把握现有集群架构） Ø 在现有服务器和新服务器上，建立新集群然后扩展 Ø 新部署集群，与现有集群双跑运行，稳定扩展（建议方式） 42 Greenplum扩展规划 Greenplum集群规划 • 业务运营越来越重要 Ø OLAP是根据历史数据，进行准确的统计计算 Ø 考虑过去的问题，为现在的决策提供参考和依据

腾讯最具价值专家（TVP） • 计算机畅销书作家 • 贵州省省管专家 • 国家首批大数据高级职称 • 出版了技术专著《Oracle数据库精讲与疑难解析》 • 出版了技术专著《成功之路：Oracle 11g学习笔记》 • 出版了技术专著《IT架构实录》 微信号：laohouzi999 2018年PostgreSQL中国技术大会 微信号：laohouzi999 2018年PostgreSQL中国技术大会 /usr/pgsql-10/share/man/man1/pg_ctl.1 [root@tar1 ~]# find / -name pg_ctl /usr/pgsql-11/bin/pg_ctl [root@tar1 ~]# [root@tar1 ~]# /usr/pgsql-11/bin/pg_ctl status pg_ctl: cannot be run as root Please log in (using, e 1$ /usr/pgsql-11/bin/pg_ctl status pg_ctl: server is running (PID: 3642) /usr/pgsql-11/bin/postgres "-D" "/var/lib/pgsql/11/data" 2018年PostgreSQL中国技术大会 -bash-4.1$ cd /var/lib/pgsql/11/data -bash-4.1$

authenticated user; if that’s not configured just OS username Next and previous events 11 12 支持广泛的异构平台间数据复制 * HVR5.6还支持z/OS，Google Cloud Storage/Big Query 13 Compare Products 天天拍车是国 its landed in ODS id name balance 11 Tom $20 22 Dick $0 33 Harry $99 id name balance 11 Tom $20 22 Dick $0 33 Harry $99 id name balance timestamp deleted? 11 Tom $20 Jan 1st no 22 Dick $0 Jan Jan 1st no 33 Harry $99 Jan 3rd no id name balance timestamp change 11 Tom $20 Jan 1st insert 22 Dick $0 Jan 1st insert 33 Harry $99 Jan 1st insert time key plain replica soft delete HVR Slowly Changing

Machine Learning, and Geospatial Extensions 277 VMware Greenplum v6.19 Documentation VMware, Inc. 11 Procedural Language, Machine Learning, and Geospatial Extensions 0 Python Data Science Module Package supports these Java versions for PL/Java and PXF: Open JDK 8 or Open JDK 11, available from AdoptOpenJDK Oracle JDK 8 or Oracle JDK 11 Hardware and Network The following table lists minimum recommended Compatibility Component Package Version Additional Information PL/Java 2.0.4 Supports Java 8 and 11. Python Data Science Module Package 2.0.2 PL/R 3.0.3 (CentOS) R 3.3.3 (Ubuntu) You install R

Server and Client 283 Upgrading to Greenplum 6 285 VMware Greenplum v6.18 Documentation VMware, Inc. 11 Upgrading to Greenplum 6 0 Upgrading from an Earlier Greenplum 6 Release 286 Upgrading from an Earlier supports these Java versions for PL/Java and PXF: Open JDK 8 or Open JDK 11, available from AdoptOpenJDK Oracle JDK 8 or Oracle JDK 11 Hardware and Network The following table lists minimum recommended Compatibility Component Package Version Additional Information PL/Java 2.0.4 Supports Java 8 and 11. Python Data Science Module Package 2.0.2 PL/R 3.0.3 (CentOS) R 3.3.3 (Ubuntu) You install R

(Co-located) Joins 264 Data Skew 264 Processing Skew 265 VMware Greenplum v6.17 Documentation VMware, Inc. 11 Partitioning 267 Number of Partition and Columnar Storage Files 268 Indexes 269 Column Sequence supports these Java versions for PL/Java and PXF: Open JDK 8 or Open JDK 11, available from AdoptOpenJDK Oracle JDK 8 or Oracle JDK 11 Hardware and Network The following table lists minimum recommended Compatibility Component Package Version Additional Information PL/Java 2.0.4 Supports Java 8 and 11. Python Data Science Module Package 2.0.2 PL/R 3.0.3 (CentOS) R 3.3.3 (Ubuntu) You install R

Setting the Greenplum Database Timezone 272 VMware Tanzu Greenplum v6.20 Documentation VMware, Inc. 11 Setting Greenplum Environment Variables 272 To set up the gpadmin environment for Greenplum Database supports these Java versions for PL/Java and PXF: Open JDK 8 or Open JDK 11, available from AdoptOpenJDK Oracle JDK 8 or Oracle JDK 11 Hardware and Network The following table lists minimum recommended Compatibility Component Package Version Additional Information PL/Java 2.0.4 Supports Java 8 and 11. Python Data Science Module Package 2.0.2 PL/R 3.0.3 (CentOS) R 3.3.3 (Ubuntu) You install R