单、⾼效，为互联⽹、物联⽹、⾦融、电信等⾏业提供丰富的业务分析能⼒。⽀持MADlib扩展，客⼾可以在udw上使⽤MADlib的扩展功能，从⽽让机器学习变得简单，⽀持PostGIS，可以⽅便 的⽀持空间、地理位置应⽤。最新⽀持greeplum6.2.1版本。 云数据仓库产品架构 云数据仓库产品架构 云数据库仓库 UDW 服务的架构图如下所⽰： UDW 采⽤⽆共享的 MPP 架构，适⽤于海量数据的存储和计算。UDW DATABASE product; 3、模式管理 、模式管理 数据库模式(schema)是包含了⼀系列数据库对象（表，数据类型，⾃定义函数）集合的命名容器。⼀个数据库可以有多个模式。不同模式不共享命名空间。public 模式是在创建数据库之后就 会默认创建的，每个⽤⼾都有权限在这个 schema 创建对象，如果不指定 schema 那么就会默认创建到这⾥。 创建⼀个模式: CREATE SCHEMA Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 82/206 udw 的数据类型和 postgresql 基本⼀致，在选择数据类型的时候应该尽可能占⽤空间⼩，同时能够保证存储所有可能的数值并且最合理地表达数据。 使⽤字符型数据类型保存字符串，⽇期或者⽇期时间戳类型保存⽇期类型，数值类型来保存数值。 使⽤ VARCHAR 或者 TEXT 来保存⽂本类数据。不推荐使⽤

客户报表 电汇通知 分部记分卡 客户关系管理、收 购和盈利率 欺诈检测 欺诈分析 客户流失分析 响应时间 流量分析 产品关联/捆绑 零售 存储运营分析 客户忠诚度计划 协作规划和预估 预防亏损 优化供应链 当今的数据仓库方案 基于硬件 专有，昂贵 不可扩展 针对OLTP进行了优化 主流 10 数据库行业所面临的挑战 0 1 2 3 4 5

...................... - 85 - 创建与管理表空间 ............................................................................................................ - 85 - 创建文件空间 .................................... ....................... - 87 - 创建表空间 ................................................................................................................ - 89 - 使用表空间存储 DB 对象 ........................... ............................... - 90 - 查看现有的表空间和文件空间 ................................................................................ - 91 - 删除表空间和文件空间 ..............................................

垃圾空间回收 • GPDB采用MVCC机制，UPDATE 或 DELETE并非物理删除，而只是对无效记 录做标记； • Update/delete操作后，数据库不会自动释放这些空间，这些垃圾空间的回收方 式： 1）Vacuum 2）Vacuum full 3）REORGANIZE • 不进行垃圾空间回收的影响 o 垃圾空间浪费存储空间 o 垃圾空间影响查询性能 all用truncate代替，truncate无需回收垃圾空间 垃圾空间回收  Vacuum：标记垃圾空间为可再利用 Vacuum用于将数据表垃圾空间标记到FSM（自由空间映射），一般也不回收空间，当往该表插入新数据时，数据库会重 新这些空间。 FSM驻留在内存中，FSM的大小必须足够标记数据库中的所有过期记录。如果尺寸不够大,超出自由映像空间的过期记录 占用的空间将无法被VACUUM命令 占用的空间将无法被VACUUM命令标记。可通过修改max_fsm_pages、max_fsm_relations放大这些参数  Vacuum Full/REORGANIZE：立即释放垃圾空间还给操作系统 Vacuum Full相当于碎片整理； Reorganize相当于重建表，数据表对应的文件名（pg_class -> relfilenode)将会发生改变。 Vacuum Full的处理性能非常

SQL Apache MADlib Python. R、 Java、Perl、C Apache SOLR PostGIS ANSI SQL 其他数据库 SQL ML/统计数据/图形 程序化 文本 地理空间 公有云 私有云 完全 托管云 本地 BI / 报告 自定义应用 机器学习 AI SQL 大规模 并行处理 (MPP) PB 级数据 加载 查询 优化器 (GPORCA) Workload 查询处理器的采用混合语法的查询）。PostGIS 程序包是 PostgreSQL 的空间数据库扩展，可让地理信息 系统 (GIS) 对象存储在数据库中。Pivotal Greenplum PostGIS 扩展包括支持使用基于 GiST 的 R 树空间索引和函数分析和处 理 GIS 对象。 图 3：Pivotal Greenplum 5：集成的分析。 地理空间 图分析库 聚类分析 传统BI分析 分类分析 回归分析

是如何的方便，另外，开发新的功能模块、新的数据类型、新的索 引类型等等非常方便，只要按照 API 接口开发，无需对 PG 重新编译。 PG 中 contrib 目录下的各个第三方模块，在 GP 中的 postgis 空间 数据库、R、Madlib、pgcrypto 各类加密算法、gptext 全文检索都 是通过这种方式实现功能扩展的。 4) 在诸如 ACID 事物处理、数据强一致性保证、数据类型支持、独特 的 MVCC 的 SQL-On-Hadoop 系统。 4) 选择 MPP 还是 Hadoop ？ HadoopMapReduce和SQL-On-Hadoop技术目前都还不够成熟， 性能和功能上都有很多待提升的空间。相比之下，MPP 数据在数 据处理上更加 SMART，要填平或缩小与 MPP 数据库之间的性能 和功能上的差距，Hadoop 还有很长的一段路要走。就目前来看， 我们认为这两个系统都有其适用的场景。 卡并未将其标记为 down，导 致坏盘在读写性能非常差的情况下仍然对外提供服务，最终将整个 集群拖慢。 ·如果客户的实际应用还存在大量较高并发的小 IO 操作，比如随机 查询，可以考虑 SSD+SAS+ 表空间的方式，并将随机 IO 类应用对 应的表放在 SSD 设备上，从而有效的隔离底层 IO，达到更好 SLA。 某电信用户存在大量对 400 个字段以上大宽表的随机查询场景，之 前由于 IO 资源争用，

12 [1, 5] [7, 10] [9, 12] Brin Heap Confidential │ ©2021 VMware, Inc. Brin的优势和劣势 优势： 占用空间小 创建快 劣势： 只有在数据具有一定分布特点时才有用 Confidential │ ©2021 VMware, Inc. Brin的体积 Brin tuple: 20bytes 1- 0.000045 Confidential │ ©2021 VMware, Inc. Brin的使用场景 表非常大 数据有一定的分布特性 我们不想再index上付出太多存储空间 Confidential │ ©2021 VMware, Inc. Brin Scan select * from t where a > 1 and a < 8; 1, 3, 2, brin-bitmapscan: 2241.363 ms btree-bitmapscan: 2141.896 ms Confidential │ ©2021 VMware, Inc. 空间占用 ao: 180,198,032 atidx-btree: 222,920,704 abidx-brin: 6,553,600 30 Confidential │ ©2021 VMware

包括每个segment的数据文件（可以流式输出）、master产 生的post_data文件包含indexes, triggers, primary key constraints等数据 库对象，master产生的全局对象包含角色和表空间等 2. Regular files 包括各类辅助文件，例如存储着create database语句的文 件，备份状态报告文件等 其中最核心的每个segment的数据文件，命名格式如下： xx 读取参数，检测合理性 2. master执行对pg_class加锁操作 3. 封装并执行gp_dump命令 4. 检测每个segment备份状态 5. 其他操作，例如备份全局对象（角色和表空间）、 备份config文件、清理旧备份集以及VACCUM等 2017 年象行中国（杭州 站）第一期 gp_dump具体实现 2017 年象行中国（杭州 站）第一期 非并行数据恢复 如果恢复

instance实例 - user - tablesapce Ø database - schema - table,view,function - data row Ø 物理文件 - oid - 表空间 - 数据文件命名 12 greenplum体系架构 greenplum的体系结构 13 greenplum体系架构 greenplum的体系结构 14 greenplum体系架构 没有事务性工作 Ø 只有针对每个业务需求的架构新、探索性、创新性工作 41 Greenplum扩展规划 现有集群功能扩展方式 • 现有集群支撑能力 Ø 根据集群的支撑能力和规划，三年内有足够的空间和计算能力 Ø 如需扩展，有多种扩展方式可以选择 Ø 理论扩展方式，与建议扩展方式 • 常见扩展方式 Ø 对现有集群直接加服务器进行扩展（先要把握现有集群架构） Ø 在现有服务器和新服务器上，建立新集群然后扩展

提高max_wal_size和checkpoint_timeout的值可以减少校验点发生的 频率 2018年PostgreSQL中国技术大会 微信号：laohouzi999 1）增加物理内存或调整SWAP交换空间； 2）调整work_mem、max_connections参数； 2018年PostgreSQL中国技术大会 微信号：laohouzi999 3）使用更严格的内存提交策略overcommit_memory： 如果有足够的可用内存，内存申请允许；否则，内存申请 失败，并把错误返回给应用进程。 1， 表示内核允许分配所有的物理内存，而不管当前的内存 状态如何。 2， 表示内核允许分配超过所有物理内存和交换空间总和的 内存 2018年PostgreSQL中国技术大会 微信号：laohouzi999 2018年PostgreSQL中国技术大会 微信号：laohouzi999 5.故障排查步骤总结