知识是极其重要的。和很多 IT 技术一样，入门很容易，精通很难，编者认为，GP 入 门更容易，精通也更难，一般不要指望通过几个月的刻苦学习就能达到很深的造诣，甚 至有些人学习了多年，仍无法驾轻就熟的使用和调优，不过，也不要气馁，这就如同打 游戏，不断的学习和积累，终究会在某个点突破禁锢，登堂入室。 数据是如何存储的 要理解 GP 是如何在不同的 Instance 之间存储数据的，可以参考下图所示的简单 一亿条以下的表不允许分区)会比较合适，这样的分区粒度是适中的。如果对于列 存储的表来说，这个范围还可以再放大10倍甚至更高，因为列存储的表是按照每 个字段一个数据文件来存储的。  对目前的性能不满意？作为一种调优方案，应该在查询性能低于预期时再考虑对 表进行分区。分区不是万能的优化手段，GP已经是MPP架构，对于很多不是很大 的表，不分区的性能已经完全满足预期的情况下，分区是多余的。  查询条 为FALSE，则先将is_called改为TRUE，然后返回计数器的值。 nextval()函数是不回滚的。只要被调用就被认为返回的值已经被使用，即便是 事务在nextval()之后失败或者被回滚。这就意味着中断事务会使得有空缺的序列没 有被真正的使用。同样的setval函数也是不回滚的。 注意：如果启用的Mirror镜像，那么，在UPDATE和DELETE语句中不能使用nextval()

UCloud 优刻得 123/206 描述: 终⽌当前事务 语法: ROLLBACK [ WORK | TRANSACTION ] 命令: ROLLBACK TO SAVEPOINT 描述: 回滚到⼀个 savepoint 语法: ROLLBACK [ WORK | TRANSACTION ] TO [ SAVEPOINT ] savepoint_name 命令: SAVEPOINT 的函数⼀样， 调⽤者必须通过 as 语句来明确地定义 record 的结构。 UDW中Json类型 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 150/206 json_to_recordset(json) 根据⼀个由 JSON 对象组成的数组， 构建⼀个任意的 record 集合。 和所有返回 record 的函数⼀样， 调⽤者必须通过

Greenplum 中，曾经在一次 PoC 测试中，用户 提供的 22 条 Oracle SQL 语句，不做任何改动就能运行在 Greenplum 上。 最 后， 需 要 强 调 的 是：Greenplum 绝 不 仅 仅 只 是 简 单 的 等 同 于 “Postgresql+interconnect 并行调度 + 分布式事务两阶段提交”， Greenplum 还研发了非常多的高级数据分析管理功能和企业级管理模 mirror 实例之间只能执行全量恢复操作（gprecoverseg -F）。 上面所介绍的一些 GUC 参数，都是在修复系统表过程中临时增加的参 数，待集群恢复正常之后，请将所修改过的 GUC 参数值恢复回原有默 认状态。 Big Date2.indd 39 16-11-22 下午3:38 40 六、Greenplum 的开发和优化 1. 外部表加载性能分析 下图是 GP 用户很熟悉的

有更好的性能，但是怎么保证事务的原子性和持久 性？ ❏ No-Force: 事务提交，所修改的数据页没有刷回至持久存储，如果发生断电 或者系统崩溃。 ❏ Steal: Buffer Pool中未提交的事务所修改的脏页刷回到持久存储，如果发生 断电或者系统崩溃。 缓冲区管理策略 14 ■ No-Force → Redo Log 事务提交时，数据页不需要刷回持久存储，为了保证持久性，先把Redo Log写 入日志文件。Redo and Isolation Exploiting Semantics, 1993, IBM DB2 19 ● Steal + No-force ● redo log，没有undo log，事务回滚不需要做undo操作 • PG采用的是MVCC，更新操作不是in-place update，而是重新创建tuple， 可见性判断 • Robert Haas 2018, “DO or

本地存储 主节点Segment 系统表 分布式事务 Interconnect 执行器 解析器 主节点上的分布式 事务管理器协调 Segment上的提交和 回滚操作 Segments 有自己的 事务日志，确定合 适提交或回滚自己 的事务 主节点 Segment 实例 本地事务 执行器 系统表 本地存储 Segment 主机 Segment 实例 执行器Executor

每当有⼀个客户端连接⾄ PG 时，就会有⼀个⼦进程被创建出来。postmaster 进程和 postgres 进程之间采⽤共享内存进⾏通信 client 和 PG 之间的通信过程 client 调⽤ libpq 库向 PG 的 Postmaster 进程发起连接请求 PG fork 出⼀个 postgres 进程与该客户端建⽴连接，postmaster 进程不再处理与该客户端的相关请求

数据隔离 → 数据共享 ● 云数据库市场巨大 ● 云数据库增速巨大 ● DBasS的需求 ● 跨云的需求 云数据库实现方案 云数据库需求 ● DBasS ○ 自动化运维 ○ 自动化调优 ● 弹性资源管理 ○ 存储资源 ○ 计算资源 ● 安全 ○ 用户数据 ○ 临时文件 ○ 网络传输 ○ 权限控制 ● 跨云 ○ 公有云 ○ 私有云 云数据库实现方案 ● 全新数据库

实例的OOM有时很频繁，同时OOM很难提前监控 我们的办法 利用外部脚本监控cgroup中的内存统计 发生内存水位较高时，将实例移入公共 cgroup；同时发出cancel query信号给内核 水位下降时移回实例的cgroup 2016Postgres中国用户大会 Linux Box CGroup backend backend backend CGroup backend backend

常用可选参数：-a：直接停止，不提示终端使用者输入确认 -m：只停止master实例，与gpstart –m对应使用 -M fast | -f：停止数据库，中断所有数据库连接，回滚正在运行的事务  -u：不停止数据库，只加载pg_hba.conf 和postgresql.conf 中运行时参数，当改动参数配置时候使用。  -r： 重启数据库 Admin常用命令