2017 年象行中国（杭州 站）第一期 Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io 2017 年象行中国（杭州 站）第一期 Agenda • Greenplum数据库 • Resource Queue • Resource Group 2017 年象行中国（杭州 站）第一期 Greenplum数据库 • 基于PostgreSQL • 分布式 corruption => PANIC 2017 年象行中国（杭州 站）第一期 Resource Queue • Cost is tricky – 没有明确的定义 – 不同优化器不一致 – 优化器不能被纳入资源管理器 2017 年象行中国（杭州 站）第一期 Resource Queue • Priority is rough – 不能精确控制CPU – CHECK_FOR_INTERRUPTS – Resource Queue • Memory – Chaotic – 没有严格资源隔离 – 第三方库的malloc 2017 年象行中国（杭州 站）第一期 Resource Group • SQL语句并发控制 => 事务并发控制 • 基于cost的并发控制 • 基于优先级的CPU控制 => 精确CPU比例 • 内存控制 => 严格资源隔离 2017 年象行中国（杭州 站）第一期 Running Example

单节点架构： 适用于纯缓存场景，支持单节点集群弹性变配，满足高 QPS 场景，提供超高性价比。 双机热备架构：系统工作时主节点（Master）和备节点（Slave）数据实时同步，主节点故障时系统 自动秒级切换，备节点接管业务，全程自动且对业务无影响，主备架构保障系统服务具有高可用性。 集群架构：集群（cluster）实例采用分布式架构，每个节点都采用一主一从的高可用架构，自动容灾 6251003742218018" 29) "fragmentation" //内存碎片率 30) "1.1039986610412598" Peak memory: peak.allocated/total.allocated > 1.5，此时内存碎片率可能比较高 High fragmentation: fragmentation > 1.4，此时碎片率比较高 Big slave buffers: 每个slave 推出的一种新系列，采用单个数据库节点部署架构。与双副本版本相比，它只 包含一个节点，没有备用节点实时同步数据，不提供数据持久化和备份策略，适用于数据可靠性要求不高的纯 缓存业务场景使用。 云数据库 Redis 版 产品简介 9 特点 高性价比 Redis 标准版-单副本架构采用单节点部署。阿里云自研的 HA 高可用系统时时探测节点的服务情况 ，如果发现业务不可用，HA

gepage/enabled 一般不建议直接修改/boot/grub/grub.conf文件或者/boot/grub/menu.lst 常用数据库参数 参数名 Master节点值 Segment节点值 checkpoint_segments 32 32 max_connections 500 2500 max_prepared_transactions 500 Instance是GPDB的最小并行单元，每个Segment 节点一般配置4~8个Instance，初始化完成后很 难修改，需要提前规划； • 每个Instance都是一套独立的进程，当客户端 发起一个请求时，每个Instance都将FORK子进 程并行工作； • 对于并发请求高、面向于复杂的灵活查询的系 统，建议每个Segment配置4个或以下Instance， 这样来保证每个Instance所需资源，保证系统 系统运行稳定性，例如，减少OOM发生的概率； max_fsm_pages、max_fsm_relations放大这些参数  Vacuum Full/REORGANIZE：立即释放垃圾空间还给操作系统 Vacuum Full相当于碎片整理； Reorganize相当于重建表，数据表对应的文件名（pg_class -> relfilenode)将会发生改变。 Vacuum Full的处理性能非常低，一般情况下不

21 表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 数据节点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 计算节点过载保护 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 存储节点限流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 8.6.6 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 节点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 集群 . . . .

21 表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 数据节点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 计算节点过载保护 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 存储节点限流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 8.6.6 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 节点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 集群 . . . .

17 表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 数据节点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 计算节点过载保护 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 存储节点限流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 3.7.6 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 节点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 集群 . . . .

21 表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 数据节点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 计算节点过载保护 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 存储节点限流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 8.6.6 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 节点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 集群 . . . .

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 270 6 7.5.6 Node_exporter 主机报警规则 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 299 8.4 定位消耗系统资源多的查询· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 584 10.5.8 三节点混合部署的最佳实践· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 261 7.5.6 Node_exporter 主机报警规则 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 290 8.4 定位消耗系统资源多的查询· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 563 10.4.8 三节点混合部署的最佳实践· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 283 7.5.7 Node_exporter 主机报警规则 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 315 8.4 定位消耗系统资源多的查询· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 608 10.5.8 三节点混合部署的最佳实践· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·