Instance Segment 5 (Mirror) 容器化Greenplum ? + = 容器化Greenplum ● 容器粒度 ○ Segment主机 VS. Segment实例 ● 容器资源分配 ○ CPU ○ 内存 ○ 磁盘 ● 容器间网络互联 ○ 本机网络 ○ 跨机网络 ● 容器化Greenplum部署策略 ○ Master部署策略 ○ Primary Segment部署策略 故障检测及恢复 ○ 升级扩容 ● 容器化Greenplum存储管理 ○ 容器本地存储易失性 容器化Greenplum ● 容器粒度 ○ Segment主机 VS. Segment实例 ● 容器资源分配 ○ CPU ○ 内存 ○ 磁盘 ● 容器间网络互联 ○ 本机网络 ○ 跨机网络 ● 容器化Greenplum部署策略 ○ Master部署策略 ○ Primary Segment部署策略 容器网络管理 容器资源管理 容器镜像管理 容器调度 容器监控及自 定义操作 容器存储管理 容器化Greenplum ● 容器粒度 ○ Segment主机 VS. Segment实例 ● 容器资源分配 ○ CPU ○ 内存 ○ 磁盘 ● 容器间网络互联 ○ 本机网络 ○ 跨机网络 ● 容器化Greenplum部署策略 ○ Master部署策略 ○ Primary Segment部署策略

提供强有力的分析改进。通过自动对数据进行分区和并行运行查询，它让 服务器群集能够以单一数据超级计算机的方式运行，且性能比传统数据库或其他同类平台高出数十甚至数百倍。其多种分 析扩展功能支持 ANSI SQL，并通过封装扩展提供多种内置语言和附加功能。Greenplum 能够管理各种规模的数据卷，数 据量从数 GB 到数 PB 不等。 pivotal.io/cn 白皮书 4 © Copyright 2017 GPORCA 实现性能提升。随着 GPORCA 的功能逐渐增多，传统查询优化器能够在性能上胜出 的情况将变得极为罕见。4 Greenplum资源组和Workload Manager 管理并发性能和用户资源分配是 Greenplum 的主要功能之一。这一版本不仅增强了 Workload Manager 的功能，还引入了 一种管理数据库查询的新方法——资源组，可让数据库管理员更好地控制用户活动，尤其是在 CPU

gpcrondump具体实现(1/2) 2017 年象行中国（杭州 站）第一期 gpcrondump具体实现(2/2) gpcrondump实际是对gp_dump的封装，具体步骤如下： 1. 读取参数，检测合理性 2. master执行对pg_class加锁操作 3. 封装并执行gp_dump命令 4. 检测每个segment备份状态 5. 其他操作，例如备份全局对象（角色和表空间）、 备份config文件、清理旧备份集以及VACCUM等

数据流转过程 • 1 业务数据的产生 —— OLTP • 2 业务数据的中转 —— ETL服务器 • 3 数据的存储和计算 —— OLAP集群 • 4 结果数据的展现 —— 数据集市 • 5 访问接口的封装 —— API接口服务器 • 6 最终数据的显示 —— 前端界面 • 7 结果数据的交互 —— OLTP，趋势分析 • 8 OLAP数据流转 —— dbsync平台 7 数据仓库体系架构 数据架构示意图 • greenplum内部存储过程调度 Ø大批量任务采用 kettle调度 Ø单个存储过程，可以在shell中 select func_name() 的方式调度 • 外部任务调度 Ø将整个过程封装成shell脚本，或 Python脚本 Ø用crontab在操作系统调用脚本 Ø用 opencron在图形界面调用脚本 32 Greenplum运维体系 Greenplum任务调度-opencron

.......................................................................................... - 74 - 分配 ROLE(User)到资源队列 ............................................................................... - 77 念用户(User)和组(Group)。一个 Role 可以是一个 DB User 或者一个 Group 或者 两者兼备。Role 可以是 DB 对象(例如 Table)的 Owner(只是一种权限的体现，不是 专有对象)并可以分配该对象的权限给其他 Role 从而实现对该对象的权限管理。Role 还可以成为其他 Role 的成员，因此 Role 可以继承其父级 Role 的对象权限。 每个 GP 系统都包含一系列的 Role(User 18616691889) 编写：陈淼 - 25 - 果系统中一个 SUPERUSER 都没了，可能就悲剧了(编者测试过，很悲剧)。  为每个登录的 User 分配不同的 Role。出于登录和审计的需要，每个被允许登录 到 GP 的使用者都应该分配一个属于自己的 Role。对于应用程序(APP)或者 Web 应用 来说，应该考虑为每个 APP 或者 Web Server 创建独立的 Role。

Confidential–Inter nal Use Only 调度器 本地存储 主节点Segment 系统表 分布式事务 Interconnect 执行器 解析器 发送查询计划给各 个Segments 分配处理查询需要 的集群资源，收集 并返回结果给客户 端 主节点 Segment 实例 本地事务 执行器 系统表 本地存储 Segment 主机 Segment 实例 Local TM Confidential–Inter nal Use Only 执行器 本地存储 主节点Segment 系统表 分布式事务 Interconnect 解析器 发送查询计划给各 个Segments 分配处理查询需要 的集群资源，收集 并返回结果给客户 端 主节点 Segment 实例 本地事务 执行器 系统表 本地存储 Segment 主机 Segment 实例 Local TM Confidential–Inter nal Use Only Interconnect 本地存储 主节点Segment 系统表 分布式事务 Interconnect 解析器 发送查询计划给各 个Segments 分配处理查询需要 的集群资源，收集 并返回结果给客户 端 主节点 Segment 实例 本地事务 执行器 系统表 本地存储 Segment 主机 Segment 实例 Local TM

mory： 内核参数overcommit_memory ，指定内存分配策略 可选值：0、1、2。 0， 表示内核将检查是否有足够的可用内存供应用进程使用； 如果有足够的可用内存，内存申请允许；否则，内存申请 失败，并把错误返回给应用进程。 1， 表示内核允许分配所有的物理内存，而不管当前的内存 状态如何。 2， 表示内核允许分配超过所有物理内存和交换空间总和的 内存 2018年PostgreSQL中国技术大会

特性，运行符合 ANSI 标准 的 SQL，可以让服务器群集能够以单一数据超级计算机的方式运行，且性能比传统数据库或其他同类平台高出数十甚 至数百倍。其多种分析扩展功能支持 ANSI SQL，并通过封装扩展提供多种内置语言和附加功能。Greenplum 能够 管理各种规模的数据容量，数据量从数 GB 到数 PB 不等。 Greenplum 环境适用性强与其开放性、真正开源、社区活跃有密不可分的关系，一方面

按照文件切片方式分布式存储（无模式）。 ·两者采用的数据分布机制不同，MPP 采用 Hash 分布，计算节点 和存储紧密耦合，数据分布粒度在记录级的更小粒度（一般在 1k 以下）；Hadoop FS 按照文件切块后随机分配，节点和数据无耦合， 数据分布粒度在文件块级（缺省 64MB）。 ·MPP 采用 SQL 并行查询计划，Hadoop 采用 Mapreduce 框架。 基于以上不同，体现在效率、功能等特性方面也大不相同。 技术，从硬件到软件到服务，都逃不过要接受云计算 的洗礼，不能赶上时代潮流的技术和公司都将被无情的淘汰。大数据 也要拥抱云计算，大数据将作为一种数据服务来提供（DaaS-Dataas A Service），依靠云提供共享的、弹性、按需分配的大数据计算和存 储的服务。 Greenplum MPP 数据库从已一开始就是开放的技术，并且在 2015 年 年底已经开源和成立社区（在开源第一天就有上千个 Download）， 可以说，Greenplum 服务来提供，对于 Mesos 或其它云计算技术的爱好者，也可以考虑采用容器镜像技术 + 集群资源框架管理技术来部署 Greenplum, 从而可以实现在公共计算 资源集群上的 MPP 敏捷部署和资源共享与分配。 总之，相信沿着开放、开源、云计算的路线继续前行，Greenplum MPP 数据库在新的时代将保持旺盛的生命力，继续高速发展。 Big Date2.indd 19 16-11-22

p_store_sales (date); 7、序列 、序列 通过使⽤序列，系统可以在新的纪录插⼊表中时，⾃动地按照⾃增⽅式分配⼀个唯⼀ID。使⽤序列⼀般就是为插⼊表中的纪录⾃动分配⼀个唯⼀标识符。您可以通过声明⼀个 SERIAL 类型 的标识符列，该类型将会⾃动创建⼀个序列来分配 ID。 创建序列 CREATE SEQUENCE myid START 0; 使⽤序列 INSERT INTO