Greenplum 编译安装和调试 本文先介绍如何从源代码编译安装Greenplum、初始化Greenplum集群。然后介绍SQL在 Greenplum中的典型执行路径，最后介绍一些调试技巧。 源代码使用 Greenplum 开源社区最新源代码 6X_STABLE 分支： https://github.com/greenplum-db/gpdb​，内核代码基于 PostgreSQL 首先下载 Greenplum 源代码 $ git clone https​:​//github.com/greenplum-db/gpdb Greenplum Database 编译和运行依赖于各种系统库和Python库。需要先安装这些依赖： $ sudo ​yum groupinstall 'Development Tools' # GCC, libtools etc $ sudo PORT_BASE​=​40000 # 根据需要，修改下面的路径和主机名 # 有几个DATA_DIRECTORY, 每个节点上便会启动几个segments declare ​-​a DATA_DIRECTORY​=(/​path​/​to​/​your​/​data ​/​path​/​to​/​your​/​data​) # master的主机名, 路径和端口 MASTER_HOSTNAME​=​your_hostname

2017.thegiac.com www.top100summit.com Greenplum机器器学习⼯工具集和案例例 姚延栋 Pivotal 研发技术总监 2017.thegiac.com • Greenplum ⼤大数据平台 • Greenplum 机器器学习⼯工具 • Greenplum 机器器学习案例例 ⼤大纲 2017.thegiac.com thegiac.com Greenplum: 机器学习工具集 2017.thegiac.com • PL/X：各种语言实现自定义函数（存储过程） • MADLib: 数据挖掘、统计分析、图（Graph）等算法 • GPText：文本检索和分析 • GeoSpatial：地理信息数据分析 • Image: 图像数据分析 Greenplum 机器器学习⼯工具集 2017 历史回顾 2017.thegiac.com 金融 保险 医疗 汽车 制造 科研 政府机构 互联网 娱乐和媒体 零售 MADlib ⽤用户和场景 2017.thegiac.com 功能 Data Types and TransformaJons Array and Matrix Operations Matrix FactorizaDon

2018年PostgreSQL中国技术大会 PostgreSQL和Greenplum 数据库故障排查 赵振平 zzp@taryartar.com 北京太阳塔信息科技有限责任公司 2018年PostgreSQL中国技术大会 自我介绍 微信号：laohouzi999 2018年PostgreSQL中国技术大会 • 赵振平，太阳塔技术总监 • 电子工业出版社签约作家 • 腾讯最具价值专家（TVP） 控制记录哪些SQL语句。none不记录，ddl记录所有数据定 义命令，比如CREATE,ALTER,和DROP 语句。mod记录所有ddl 语句,加上数据修改语句INSERT,UPDATE等,all记录所有执行的 语句，将此配置设置为all可跟踪整个数据库执行的SQL语句。 log_duration = off 记录每条SQL语句执行完成消耗的时间，将此配置设置为on, 用于统计哪些SQL语句耗时较长。 记录校验点的信息 2018年PostgreSQL中国技术大会 连接方式（type） 共有三种：local、host、hostssl、hostnossl local使用本地unix套接字 host使用TCP/IP连接（包括SSL和非SSL） “IPv4地址”使用IPv4方式 hostssl只能使用SSL TCP/IP连接 hostnossl不能使用SSL TCP/IP连接 数据库（database）

Greenplum中文社区 https://cn.greenplum.org 博文 资料 文档 项目 全新的问答论坛 分布式事务和 两阶段提交协议 6 ● 事务实现原理和Write Ahead Logging（WAL） ● 分布式事务和两阶段提交的原理 ● Greenplum两阶段提交协议的实现 ● Greenplum两阶段提交协议的优化 Outline 7 事务的属性：ACID 持久性 一个事务在提交之后，该事务对数据库的改变 是持久的。 Write Ahead Logging + 存储管理 Jim Gray于1981年VLDB描述了事务的原子性、一致性和持久性，在此基础上，Haerder和Reuter在1983年中提出了事务的隔离性并提出术语 “ACID”，自此，事务的ACID四个性质成为业内标准术语 8 Disk-Oriented DBMS Components /Jeffrey D.Ullman/Jennifer Widom《数据库系统实现》 查询编译器/ 优化器 事务管理器 DDL编译器 执行引擎 日志和恢复 并发控制 索引/文件/ 记录管理器 缓冲区管理器 缓冲区 锁表 存储管理器 存储 查询计划 对索引、文件和 记录的请求 页命令 事务命令 查询、更新 用户/ 应用 DDL命令 数据库管理员 数据、元数据、索引 日志页 读、写页

miaochen@mail.ustc.edu.cn) 编者工作十几年，先后供职于民企，国企，外企，截止目前，已从事 Greenplum 技术工作 10 余年，10 余年来，专注在 Greenplum 和相关技术领域，主要工作职责是 售后支持，帮助我们的 Greenplum 用户解决生产需求和技术问题，我们坚持提供最专 业的建议和解决方案，提供最专业的技术支持服务，提供最专业的落地实施支持。 十多年来，参与过的项目不计其数，有 的发展壮大多做那么一点点贡献，挤出一点时间，重新梳理和打磨这个文档，并完 全根据最新的版本特性进行重新整理，希望能对中文爱好者提供一些帮助，在编写过程 中，仍会参考官方文档，但绝不是简单的翻译，甚至有些内容会与官方文档不一致。 编者提醒，升级版本极其重要，4 版本早该淘汰了，5 版本和 6 版本都带来了极大 的性能和稳定性的提升。 声明 本文档的版权归[陈淼]个人所有，未经许可和授权不得抄袭和引用。 本文档中的绝大部分内容都经过编者重新考量和实测验证，有些观点与官方手册有 出入，仅代表编者本人观点，与官方手册无关。本书中可能会提及一些非官方的命令和 工具等，仅用于讲解相关知识，如有缺失相关细节的情况，请谅解。 致读者 如果您在阅读和参考本书的过程中发现有任何不妥之处，或者有任何的建议和意见， 欢迎联系编者，本书主要针对 GP 数据库的爱好者进行编写，包括产品的安装和使用说 明，以及最佳实践

....................................................................................7 Greenplum资源组和Workload Manager ................................................................................... 作为重要的新版本，Pivotal Greenplum 5 带来了多项产品改进和新增功能，在管理数据和对数据库中存储的信息应用数据 科学、分析、报告和数据洞察方法方面，这些功能对大多数客户都很有帮助。Greenplum 解决方案的架构设计目的是管理 非常复杂的查询，以及为符合 ANSI 标准的 SQL 提供强有力的分析改进。通过自动对数据进行分区和并行运行查询，它让 服务器群集能够以单一数据超级计算机的方式运行 是一个功能齐全、动态的、创新型分析数据平台，其产品路线图规划健全且充满活力，无论是短期内还 是未来长期时间里，都能满足客户的需求。 支持多种云不受限于基础架构的数据平台 Pivotal Greenplum 5 是首个内核百分百基于 Greenplum Database 开源项目及其相关源代码的版本。这意味着，可以通 过 greenplum.org 网站下载和编译的版本以及通过 Pivotal Network 分发的打包版本将具有相同的内核（只有个别微小差

下午5:46 Greenplum 精粹文集 1 一、Greenplum 的前生今世 1. Greenplum 的起源 Greenplum 最早是在 10 多年前（大约在 2002 年）出现，基本上 和 Hadoop 是同一时期（Hadoop 约是 2004 年前后出现的，早期的 Nutch 可追溯到 2002 年）。 互联网行业经过之前近 10 年的由慢到快的发展，累积了大量信息和数 据，数据在 模式遇到了瓶颈， SMP（对称多处理）架构难于扩展，并且在 CPU 计算和 IO 吞吐上不 能满足海量数据的计算需求。 分布式存储和分布式计算理论刚刚被提出来，Google 的两篇著名论文 发表后引起业界的关注，一篇是关于 GFS 分布式文件系统，另外一篇 是关于 MapReduce 并行计算框架的理论，分布式计算模式在互联网 行业特别是收索引擎和分词检索等方面获得了巨大成功。 Big Date2.indd 实现了基于数据库的分布式数据存储和并 行计算（GoogleMapReduce 实现的是基于文件的分布式数据存储和 计算，我们会在后面比较这两种方法的优劣性）。 话说当年 Greenplum（当时还是一个 Startup 公司，创始人家门口有 一棵青梅 ——greenplum，因此而得名）召集了十几位业界大咖（据 说来自 google、yahoo、ibm 和 TD），说干就干，花了一年多的时间 完成最初的版本设计和开发，用软件实现了在开放

Greenplum运维常见问题  Greenplum运维常用命令  Greenplum日常检查和故障处理  Greenplum项目经验分享 目录  Greenplum运维常见问题  Greenplum运维常用命令  Greenplum日常检查和故障处理  Greenplum项目经验分享 内核参数  通常情况下，内核参数 M10 M11 M12 M13 M14 M15 M16 M17 M18 M19 M20 M21 M23 M24 M22 统计信息收集  对于系统表和用户表需要收集统计信息，GPDB的查询计划是cost base的，统计信息的准确性对查询 计划的优劣有很大影响；  对于字段数较多的表，可关闭gp_autostate_mode (on_no_s uum analyze一次 • 查询视图GP_TOOLKIT.GP_BLOAT_DIAG可监控垃圾空间的膨胀系数 • REINDEX:回收索引的垃圾空间 AGE监控和管理  PostgreSQL的MVCC事务语意依赖于比较事务ID(XID)的数值： 一条带有大于当前事务的XID的插入 XID的行版本是―属于未来的‖， 并且不应为当前事务可见。  PostgreSQL使用特殊的

2、数据库管理 3、模式管理 4、表格设计 5、加载数据 6、分区表 7、序列 8、索引 9、 ANALYZE/VACUUM 10、常⽤SQL⼤全 12、常⽤SQL命令 13、⽤⼾⾃定义函数 ⽬录 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 3/206 128 132 132 132 139 139 139 141 191 192 udw优化指南 表膨胀 表膨胀 表膨胀的原因 如何避免表膨胀 UDW中 中Json类型 类型 Json相关操作 Json操作举例 Json相关函数 Json创建函数 Json处理函数 接⼊第三⽅ 接⼊第三⽅ BI ⼯具 ⼯具 ⼀、 UDW 接⼊ Zeppelin ⼆、 UDW 接⼊ SuperSet UDW 使⽤案例 使⽤案例 案例⼀ 利⽤ logstash+Kafka+UDW 1版本。 云数据仓库产品架构 云数据仓库产品架构 云数据库仓库 UDW 服务的架构图如下所⽰： UDW 采⽤⽆共享的 MPP 架构，适⽤于海量数据的存储和计算。UDW 的架构如上图所⽰，主要有 Client、Master Node 和 Compute Node 组成。基本组成部分的功能如下： 产品架构 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud

standby primary segment mirror segment 6 Pivotal Confidential–Internal Use Only 数据分布: 并行化的根基 最重要的策略和目标是均匀分布数据到各个数据节点。 43 Oct 20 2005 12 64 Oct 20 2005 111 45 Oct 20 2005 42 46 Oct 20 2005 64 77 Oct 20 12 Pivotal Confidential–Internal Use Only 卓越的OLAP特性 列式存储 分区、压缩 高级特性 递归查询、窗口函数 集成分析 多格式、多语言 Madlib: 机器学习 数据库内并行模型训练和预测、分类 ORCA 复杂查询优化器 成熟稳定 完备生态、支撑核心生产系统 13 Pivotal Confidential–Internal Use included_parts GROUP BY sub_part 16 Pivotal Confidential–Internal Use Only 窗口函数 表‘SALES’ 表‘SALES’ ■ 计算移动平均值或各种时间 间隔的总和 ■ 分组内重置聚合和排序 SELECT last_name, salary, department, rank() OVER