Sharedisk 架构，后者最大瓶颈就是在 IO 吞吐上，在大规模数据处理时，IO 无法及时 feed 数据给到 CPU， CPU 资源处于 wait 空转状态，无法充分利用系统资源，导致 SQL 效 率低下： 一台内置 16 块 SAS 盘的 X86 服务器，每秒的 IO 数据扫描性能约在 2000MB/s 左右，可以想象，20 台这样的服务器构成的机群 IO 性能 是 40GB/s，这样超大的 IO master，所以 master 节点的可用性直接关系到集群的稳定， 但从实践经验来看，由于 master 节点只存元数据，只负责 SQL 的解析、 分发以及最终计算结果的展现，所以承担的负载一般都非常小，故障 率也极低，在我们维护阿里 Greenplum 集群 3 年的时间里，以及接触 到的客户中，基本上没有碰到由于 master 故障导致集群不可用的情况， 唯一一次，还是因为客户误操作同时将 master 和 均匀为第一大原则，选取更有业务意义的字段，并非必须选择原库 的主键（PK）。 ·压缩表使用： 大表都要采用压缩存储，既节省空间也节省 IO 资源。长远来看还可 降低阵列卡和磁盘的故障率。 ·行存还是列存： 列存储有更高的压缩率，合适于聚合运算，但不合适于宽表。一个 数据库中不应只有一种存储方式，每张表应依据实际情况设计存储 方式。 ·临时表： 对于程序中所使用到的临时表和中间表，上述 3 点规则同样适用。

表数据经常 insert； 查询中选择⼤部分的列； 列存储的应⽤场景： 列存储⼀般适⽤于宽表（即字段⾮常多的表）。在使⽤列存储时，同⼀个字段的数据连续保存在⼀个物理⽂件中，所以列存储的压缩率⽐普通压缩表的压缩率要⾼很多，另外在多数字段中筛 选其中⼏个字段中，需要扫描的数据量很⼩，扫描速度⽐较快。因此，列存储尤其适合在宽表中对部分字段进⾏筛选的场景。注意：列存储的表必须是追加表（Appendonly 表数据经常insert； 3. 查询中选择⼤部分的列； 列存储的应⽤场景： 列存储⼀般适⽤于宽表（即字段⾮常多的表）。在使⽤列存储时，同⼀个字段的数据连续保存在⼀个物理⽂件中，所以列存储的压缩率⽐普通压缩表的压缩率要⾼很多，另外在多数字段中筛 选其中⼏个字段中，需要扫描的数据量很⼩，扫描速度⽐较快。因此，列存储尤其适合在宽表中对部分字段进⾏筛选的场景。 列存储的表必须是追加表（Appendonly ⾼。对于压缩的数据，使⽤索引访问⽅法时，只有需要的数据才会被解压缩。 3. 避免在经常改变的列上创建索引：在经常更新的列上创建索引会导致每次更新数据时写操作⼤量增加。 4. 创建选择率⾼的 B-树索引，对于选择率较低的列，使⽤ Bitmap 索引。 5. 对参与连接操作的列创建索引：对经常⽤于连接的列（例如：外键列）创建索引，可以让查询优化器使⽤更多的连接算法，进⽽提⾼连接效率。 6. 对经常出现在

压缩速度：虽然说，quicklz与zlib相比，有更好的压缩解压速度，相对来说压 缩率差一些，但是，已经有ZSTD可以用了，谁还在乎这些呢。例如，quicklz与 zlib level 1的压缩相比，具有相当的压缩率，会有更好的性能，与zlib level 6相比，zlib level 6会有好很多的压缩率，当然性能也会有显著的下降。选择 ZSTD，通过选择压缩级别，就可以兼顾压缩率与性能。所以，在6版本之前，一 般选择zlib level (appendonly=true, compresstype=zstd, compresslevel=5); 检查 AO 表的压缩与分布情况 GP提供了内置的函数用以检查AO表的压缩率和分布情况。这两个函数可以使用对 象ID或者TABLE的NAME作为参数。表名可能需要带模式名。 函数 返回类型 解释 get_ao_distribution(name) ge get_ao_compression_ratio(name) get_ao_compression_ratio(oid) float8 计算出 AO 表的压缩率。如 果该信息未得到，将返回 -1 值。 压缩率得到的是一个常见的比值类型。例如，6.19，意思是该TABLE未压缩状态 下的储存尺寸是压缩状态下的储存尺寸的6.19倍。 分布信息展示的是每个Insta

~16x/迭代 ⼯工作流程优化 2017.thegiac.com 原始模型 改良后的模型 ● 模型精确度 = 99.7% ● 真正率(True Positive Rate) = 0% ● 模型精确度= 62.8% ● 真正率 = 66% 该模型善于预测不不会点击邮件的⽤用户， 但是⽆无法预测会点击邮件的⽤用户 该模型更善于预测会点击邮件的用户， 这样是用户真正关心的，能为公司带来

数据管理专业委员会(SIGMOD)发起、在数据库领域具有最高学术地位的国际性学术会议，SIGMOD 和另外 两大数据库会议 VLDB、ICDE 构成了数据库领域的三个顶级会议，其论文录取率是很低的，平均录取率大约仅为 15%-17%，值得一提的是此论文主要由中国研发团队完成，也说明了中国研发团队实力处于世界一流水平。在论文 中 Greenplum 团队提出一种全新的全局死锁检测器来减少独占锁

TB的Heap表只需要125M的Brin [1, 5] [7, 10] [9, 12] Brin Block Rang Confidential │ ©2021 VMware, Inc. Brin的选择率 BlockNum: B = 1000 TupleNum: N = 1000000 TuplePerblock: M = 1000 Selection: a = 1%

1. 24 个生产集群 2. 2个选项: 20个节点或 40个节点 3. 600+ 服务器, 13k+ 核, 81PB存储（增长 中） 4. 2.5PB 或 25PB 原始数据 按10x压缩率 1 2 3 4 Greenplum在摩根士丹利 OLTP - Online transaction processing - 联机事务处理 出色的OLTP特性 天生的优势 ● 行式存储

• 数据压缩对于高并发查询分析系统可以大幅降低IO消耗，提升并行处理、混合负载的性能 分布键使用： • 尽量采用一个常用关联字段作为分布键，例如账号、客户号，这个可以提高关联条件的命中率，减少关联时数据重分布 （主要对大表） • 选用分布键同时考虑数据平均分布（一个例子，日志号不是最好的分布键，大量的空值导致资料倾斜） 物理模型经验分享（续） 分区表使用：