Compute Node 上，当 Primary Segment 出现不可⽤的时候会⾃动切换到 Mirror Segment， 当 Primary Segment 恢复之后，Primary Segment 会⾃动恢复这期间的变更。 2. Master 节点是主从模式，当 Active Master 不可⽤时会⾃动切换到 Standby Master。 产品架构 Greenplum数据仓库 UDW DATABASE name RENAME TO newname ALTER DATABASE name OWNER TO new_owner 2.4 删除数据库 删除数据库 c template1 (切换到template1数据库) DROP DATABASE product; 3、模式管理 、模式管理 数据库模式(schema)是包含了⼀系列数据库对象（表，数据类型，⾃定义函数）集合的命名容 [⽬录名] 改变当前的⼯作⽬录 \encoding [编码] 显⽰或设置客⼾端编码 \h [名字] SQL命令的语法帮助 \set [名字 ［值］] 设置内部变量 \timing 查询计时开关切换（默认关闭） \unset 名字 取消（删除）内部变量 3. 查询缓冲区选项 开发指南 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 104/206

再通俗点说，Greenplum 主要定位在 OLAP 领域，利用 Greenplum MPP 数据库做大数据计算或分析平台非常适合，例如 : 数据仓库系统、 ODS 系统、ACRM 系统、历史数据管理系统、电信流量分析系统、移 动信令分析系统、SANDBOX 自助分析沙箱、数据集市等等。 Big Date2.indd 11 16-11-22 下午3:38 12 而 MPP 数据库都不擅长做 OLTP 下午3:38 14 ·Reduce 效率对比： 对比于 MPP 数据库的 SQL 执行器 -executor，Mapreduce 缺乏灵 活的 Join 技术支持；MPP 数据库可以基于 COST 来自动选择 Hash join、Merger join 和 Nestloop join， 甚 至 可 以 在 Hash join 通 过 COST 选择小表做 Hash，在 NestloopJoin 中选择 不是那么紧迫。 Big Date2.indd 16 16-11-22 下午3:38 Greenplum 精粹文集 17 ·节点退服方面 Hadoop 节点宕机退服对系统的影响较小，并且系统会自动将数据 在其它节点扩充到 3 份；MPP 数据库节点宕机时，系统的性能损 耗大于 Hadoop 节点。Pivotal 将 GPDB 的 MPP 技术与 Hadoop 分 布式存储技术结合，推出了 HAWQ

..................................................................................... - 14 - 冗余与故障切换 .................................................................................................. ............................................................................... - 15 - Instance 故障切换与恢复 .................................................................................... - 17 - Master ............................. - 309 - 6 版本故障切换的恢复过程 .................................................................................. - 311 - 6 之前版本故障切换的恢复过程 .......................................

Analyze 垃圾空间回收 • GPDB采用MVCC机制，UPDATE 或 DELETE并非物理删除，而只是对无效记 录做标记； • Update/delete操作后，数据库不会自动释放这些空间，这些垃圾空间的回收方 式： 1）Vacuum 2）Vacuum full 3）REORGANIZE • 不进行垃圾空间回收的影响 o 垃圾空间浪费存储空间 o GPDB中关闭了Autovacuum（GPDB 4.2.6 UPPER）  Age的监控：  xid_warn_limit:500000000（5亿）,AGE大于5亿自动告警  xid_stop_limit: 1000000000， AGE大于10亿停止工作，等待vacuum执行 数据库对象数上限的最佳实践  GPDB内部的对象：所有的表（包括分区表）、索引、视图等都称为对象 xlog日志等，需要说明的是，未得到support同意，不要用pg_resetxlog去修復xlog，否则可能导致数据不一致；  故障机器隔离 当发现有机器本身有故障，例如经常性自动重启、硬盘问题时，可以将机器进行隔离（关闭），Primary将自动切换到Mirror节点；  Vacuum系统表，修改错误page 如果系统表有故障，或者发现对系统表的操作（select count（*）from pg_

Confidential │ ©2022 VMware, Inc. 8 Greenplum的高可用 Ø 数据存两份，Coordinator有standby Ø 自动同步数据 (WAL replication) Ø 自动灾难恢复 (FTS，主备切换) Confidential │ ©2022 VMware, Inc. 9 分布式优化器：OLAP Ø OLTP系统的SQL语句相对简单（CURD）

greenplum最多1000个segment。 Greenplum中的高可用方案 Segment的mirror 当配置了segment mirror，当segment primary不能写 的时候，greenplum会自动切换到mirror。当master不 能连接到一个segment instance时，会把这个instance 标记为invalid。 Greenplum中的高可用方案 默认情况下，gre

法规实施和监管 人力资本管理 信息传播 合规性报告 资产组合分析 客户报表 电汇通知 分部记分卡 客户关系管理、收 购和盈利率 欺诈检测 欺诈分析 客户流失分析 响应时间 流量分析 产品关联/捆绑 零售 存储运营分析 客户忠诚度计划 协作规划和预估 预防亏损 优化供应链 当今的数据仓库方案 基于硬件 专有，昂贵 不可扩展 针对OLTP进行了优化 主流

数据恢复(2/2) 2017 年象行中国（杭州 站）第一期 虽然并行备份和恢复大大提高了备份和恢复的速度，但是仍 然存在很多问题： 1. 大量数据需要落盘 2. 使用dbid作为备份文件命名规则，在主备切换或者 primary和mirror后会出现问题 3. 可能会出现各个segment数据不一致的情况 …... 并⾏备份恢复存在的问题 2017 年象行中国（杭州 站）第一期 并⾏备份恢复优化(1/3) 并⾏备份恢复优化(1/3) OSS uploader uploader uploader 2017 年象行中国（杭州 站）第一期 并⾏备份恢复优化(2/3) 使用dbid作为备份文件命名规则，在主备切换或者primary 和mirror后会出现问题，例如： dbid=2 dbid=5 primary mirror test_gp_dump_0_2_20170206160253.gz master

2014原始阶段 2016.4全新报表界面：梳理业务、开发报表 2016.9自建GP集群，上线工作量统计 2018.3HDB4PG 2017.1报表全面迁移至GP 2017.6集群拆分 2018.9全面切换HDB4PG 2018.6ADB储备、2019.7上线 HDB4PG •数据压缩 •弹性扩容 •成熟稳定 •性能良好 •阿里云支持 THANKS 谢 谢 聆 听 2018.06.26 by

半结构化/无模式 ○ 数据隔离 → 数据共享 ● 云数据库市场巨大 ● 云数据库增速巨大 ● DBasS的需求 ● 跨云的需求 云数据库实现方案 云数据库需求 ● DBasS ○ 自动化运维 ○ 自动化调优 ● 弹性资源管理 ○ 存储资源 ○ 计算资源 ● 安全 ○ 用户数据 ○ 临时文件 ○ 网络传输 ○ 权限控制 ● 跨云 ○ 公有云 ○ 私有云 云数据库实现方案 m Operator ● 集群自动部署 ○ kube-scheduler → 自定义部署策略 ● 集群动态扩容 ○ GreenplumCluster → primarySegmentCount参数 ● Master节点检测及修复 ○ 自动执行gpactivatestandby ○ 重定向Service路由 ● Segment节点检查及修复 ○ 自动执行gprecoverseg ○ ○ 无需Segment Rebalance ● Node失效 ○ Node节点上Master/Segment节点自动修复 Kubernetes 生态集成 ● 日志收集 ○ Fluentd ● 监控及Metrics收集 ○ Prometheus ● 可视化 ○ Grafana ● …... 总结 Greenplum → Kubernetes Native Database