Greenplum 官方微信公众号和加入官方社区技术讨论群： ©2020 Esena Chen(陈淼 miaochen@mail.ustc.edu.cn) 编者工作十几年，先后供职于民企，国企，外企，截止目前，已从事 Greenplum 技术工作 10 余年，10 余年来，专注在 Greenplum 和相关技术领域，主要工作职责是 售后支持，帮助我们的 售后支持，帮助我们的 Greenplum 用户解决生产需求和技术问题，我们坚持提供最专 业的建议和解决方案，提供最专业的技术支持服务，提供最专业的落地实施支持。 十多年来，参与过的项目不计其数，有 POC 测试，有开发支持，有故障支持，有 长期驻场支持，有临时的功能支持，甚至可能会作为用户看不见的后端支持，总之，我 们的目标是，努力解决用户的一切不违背自然规律的诉求，我们跟随着 Greenplum 的 成长，见证了 ................................................................................ - 347 - 重分布 AO 表和压缩表 ........................................................................................... - 348

互联网行业经过之前近 10 年的由慢到快的发展，累积了大量信息和数 据，数据在爆发式增长，这些海量数据急需新的计算方式，需要一场 计算方式的革命。 传统的主机计算模式在海量数据面前，除了造价昂贵外，在技术上也 难于满足数据计算性能指标，传统主机的 Scale-up 模式遇到了瓶颈， SMP（对称多处理）架构难于扩展，并且在 CPU 计算和 IO 吞吐上不 能满足海量数据的计算需求。 分布式存储和分布式计算理论刚刚被提出来，Google 1 16-11-22 下午3:38 2 由此，业界认识到对于海量数据需要一种新的计算模式来支持，这种 模式就是可以支持 Scale-out 横向扩展的分布式并行数据计算技术。 当时，开放的X86服务器技术已经能很好的支持商用，借助高速网络（当 时是千兆以太网）组建的 X86 集群在整体上提供的计算能力已大幅高 于传统 SMP 主机，并且成本很低，横向的扩展性还可带来系统良好 的成长性。 行工作、负责数据分布、Pipeline 计算、镜像复制、健康探测等等诸 多任务。 在 Greenplum 开源以前，据说一些厂商也有开发 MPP 数据库的打算， 其中最难的部分就是在 Interconnect 上遇到了障碍，可见这项技术的 关键性。 Greenplum 集群架构 Big Date2.indd 3 16-11-22 下午3:38 4 2. Greenplum 为什么选择 Postgreeql 做轮子

列式存储 分区、压缩 高级特性 递归查询、窗口函数 集成分析 多格式、多语言 Madlib: 机器学习 数据库内并行模型训练和预测、分类 ORCA 复杂查询优化器 成熟稳定 完备生态、支撑核心生产系统 13 Pivotal Confidential–Internal Use Only 列式存储 表‘SALES’ 表‘SALES’ ■ 更适合压缩 ■ 查询部分列时速度快 查询部分列时速度快 ■ 不同列可以使用不同压缩方式 amount cust_id 表 orders 14 Pivotal Confidential–Internal Use Only Segment 1A Segment 1B Segment 1C Segment 1D Segment 2A Segment 2B Segment 2D Segment 3A Segment 3B Segment 2C (compressed) 1. 24 个生产集群 2. 2个选项: 20个节点或 40个节点 3. 600+ 服务器, 13k+ 核, 81PB存储（增长 中） 4. 2.5PB 或 25PB 原始数据 按10x压缩率 1 2 3 4 Greenplum在摩根士丹利 OLTP - Online transaction processing - 联机事务处理 出色的OLTP特性 天生的优势 ●

2018年PostgreSQL中国技术大会 PostgreSQL和Greenplum 数据库故障排查 赵振平 zzp@taryartar.com 北京太阳塔信息科技有限责任公司 2018年PostgreSQL中国技术大会 自我介绍 微信号：laohouzi999 2018年PostgreSQL中国技术大会 • 赵振平，太阳塔技术总监 • 电子工业出版社签约作家 • 腾讯最具价值专家（TVP） 贵州省省管专家 • 国家首批大数据高级职称 • 出版了技术专著《Oracle数据库精讲与疑难解析》 • 出版了技术专著《成功之路：Oracle 11g学习笔记》 • 出版了技术专著《IT架构实录》 微信号：laohouzi999 2018年PostgreSQL中国技术大会 微信号：laohouzi999 2018年PostgreSQL中国技术大会 PG故障排查 微信号：laohouzi999 微信号：laohouzi999 2018年PostgreSQL中国技术大会 微信号：laohouzi999 1.安装时候的问题排查 2018年PostgreSQL中国技术大会 微信号：laohouzi999 1)关闭防火墙 service iptables stop service iptables status chkconfig --list iptables chkconfig --level 0123456

2016Postgres中国用户大会 ApsaraDB for GP的定位 GP的优势？ 与其他技术的对比？ 为什么上云？ 2016Postgres中国用户大会 ApsaraDB for GP的定位 ApsaraDB for GP = 简单、高效解决大数据分析需求 MPP + 列存压缩 复杂SQL + 查询优化器 本地高效存储 +高速网络 +预置稳定资源 = = 2016Postgres中国用户大会 2016Postgres中国用户大会 GP vs. RDS? Select count(*) from customer where status = valid group by city 列存与压缩原理举例 ….. ….. Name Id status city 列存块 ….. 列存块 列存 ≈索引 + index only 2016Postgres中国用户大会 GP vs. Tableau 应用服务器 2016Postgres中国用户大会 ApsaraDB for GP的定位 ApsaraDB for GP = 简单、高效解决大数据分析需求 MPP + 列存压缩 复杂SQL + 查询优化器 本地高效存储 +高速网络 +预置稳定资源 = = 2016Postgres中国用户大会 ApsaraDB for GP的内核优化 2016Postgres中国用户大会

—— 前端界面 • 7 结果数据的交互 —— OLTP，趋势分析 • 8 OLAP数据流转 —— dbsync平台 7 数据仓库体系架构 数据架构示意图 8 数据仓库体系架构 架构的具体技术实现 • 轻量级数据仓库 —— Inforbright – 与MySQL数据库结合，易使用，冷热分离 – 数据库归档，只能load，不支持DML – 对特定OLAP类查询有很好的支持作用 • 通用性数据仓库 master管理节点 Ø segment数据节点 • greenplum的核心功能 Ø 无共享MPP Ø 多态存储 Ø 高效数据加载 （gpfdist+外部表，每小时4TB+） Ø 分布分区 Ø 数据压缩 Ø 外部访问 15 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划

表数据经常 insert； 查询中选择⼤部分的列； 列存储的应⽤场景： 列存储⼀般适⽤于宽表（即字段⾮常多的表）。在使⽤列存储时，同⼀个字段的数据连续保存在⼀个物理⽂件中，所以列存储的压缩率⽐普通压缩表的压缩率要⾼很多，另外在多数字段中筛 选其中⼏个字段中，需要扫描的数据量很⼩，扫描速度⽐较快。因此，列存储尤其适合在宽表中对部分字段进⾏筛选的场景。注意：列存储的表必须是追加表（Appendonly (a) 4.6 压缩表 压缩表 开发指南 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 87/206 UDW 压缩表必须是追加表。UDW ⽀持两种级别的压缩：表级别和字段级别。⾏式表和列式表对压缩的⽀持也不⼀样。 ⾏式表⽀持表级别的压缩，⽀持的压缩算法有 ZLIB。 列式表⽀持表级别和字段级别的压缩，⽀持的压缩算法有 RLE_TYPE，ZLIB。 RLE_TYPE，ZLIB。 RLE_TYPE 的压缩级别 compresslevel 取值从1到4，级别越⾼压缩⽐越⾼。RLE_TYPE适合于有⼤量重复的数据记录。 ZLIB 的压缩级别 compresslevel 取值从1到9，⼀般选择5已经⾜够了。 压缩表的应⽤场景：业务上对表进⾏更新和删除操作⽐较少，⽤ truncate＋delete 就可以实现业务逻辑。不经常对表进⾏加字段或修改字段类型，对 ao

列存储能够提升查询性能，对于更新和全字段类操作性能反而会下降 • 对于少数频繁查询的宽表，例如交易表、帐户表、客户表等采用列存储，其它表采用行存储 数据压缩： • 在金融业，行压缩的数据压缩比在1:6左右，一般采用zlib5级压缩 • 数据压缩对于高并发查询分析系统可以大幅降低IO消耗，提升并行处理、混合负载的性能 分布键使用： • 尽量采用一个常用关联字段作为分布键，例如账号、 临时空间被无限制使用，可能导致系统空间撑爆，为了避免这种情况，建议设置以下参数 – gp_workfile_compress_algorithm zlib，设置该参数，所有的中间数据都被压缩，同时可减少IO消耗 – gp_workfile_limit_files_per_query 250GB？根据实际情况调整 – gp_workfile_limit_per_segment Greenplum运维常见问题  Greenplum运维常用命令  Greenplum日常检查和故障处理  Greenplum项目经验分享 个性化备份恢复 备份恢复命令  备份文件gz压缩  按表备份 – 每个表每个实例备单个文件  将分区表分别备成单独文件  缺省备份目录在db_dumps下建立日期路径，与缺省备份一致；也可指定备份路径  按照模式、表清单

Scatter/Gather 流处理 在线系统扩展 任务管理 服务 加载 & 数据联邦 高速数据加载 近实时数据加载 任意系统数据访问 存储 & 数据访问 混合存储引擎（行存&列存） 多种压缩，多级分区表 索引（B树，位图，GiST） 安全性 语言支持 标准SQL支持，SQL 2003 OLAP扩展 支持 MapReduce 扩展编程语言 (Python,R, Java, Perl gang gang gang 执行并行计划 13 Pivotal Confidential–Inter nal Use Only 多态存储 Ÿ 列存储更适合压缩 Ÿ 查询列子集时速度快 Ÿ 不同列可以使用不同压缩方式: gzip (1- 9), quicklz, delta, RLE Ÿ 访问多列时速度快 Ÿ 支持高效更新和删除 Ÿ AO 主要为插入而优化 表‘SALES’

库中的事实数据，不适合做频繁的更新、删除操作。 l Append-Optimized, Column Oriented 表：即 AOCO 表，在 Append-Optimized 的基础之 上按列进行存储，可对其使用不同的压缩算法进行压缩，对聚合查询有着天然的优势。 l 外部表：外部表的数据存储在外部，Greenplum 仅管理其元数据，支持多种外部数据源，例如 S3、HDFS、文件、Gemfire，以及多种数据格式譬如