Greenplum，用实践证明了 Greenplum 与支持多样性计算的欧拉开源操作系统完全兼容，是 Greenplum 与中国本地 IT 厂商的深入合作的典型模板，大大丰富了中国本地国产化应用生态。本白皮书着眼介绍了欧拉开源操作系 统平台架构、创新性及核心特点， 同时介绍了 Greenplum 作为一款深受技术爱好者喜爱的、中立的纯开源软件，践行 “Run Everywhere”原则，用全新的HTA Greenplum 社区版同时能够支持 X86 和 ARM 架构的芯片，支持主流品牌的芯片和操作系统，也将支持越来越多样 化的芯片和操作系统，特别是中国的本地化的芯片和操作系统： 图 1：Greenplum 纯中立支持主流芯片和操作系统 另外随着越来越多的客户将其生产数据集迁移到公有云中，这种灵活性将成倍增长。Greenplum 目前不但可在国外 的 Amazon Web 腾讯云等，只需选择要在群集中调配的数据节点数量（不超过预定义的最大大小），然后选择一系列部署选项，群集 便会立即启动运行，可供客户使用，国内外有相当数量的客户已选择云上 Greenplum。 图 2：Greenplum 不受限于基础架构的软件架构 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum

公司，创始人家门口有 一棵青梅 ——greenplum，因此而得名）召集了十几位业界大咖（据 说来自 google、yahoo、ibm 和 TD），说干就干，花了一年多的时间 完成最初的版本设计和开发，用软件实现了在开放 X86 平台上的分布 式并行计算，不依赖于任何专有硬件，达到的性能却远远超过传统高 昂的专有系统。 Big Date2.indd 2 16-11-22 下午3:38 Greenplum 5 1) PG 有非常强大 SQL 支持能力和非常丰富的统计函数和统计语法 支持，除对 ANSI SQL 完全支持外，还支持比如分析函数（SQL2003 OLAP window 函数），还可以用多种语言来写存储过程，对于 Madlib、R 的支持也很好。这一点上 MYSQL 就差的很远，很多分 析功能都不支持，而 Greenplum 作为 MPP 数据分析平台，这些功 能都是必不可少的。 2) 计算的功能也无能为力，就其因估计还是受到 mysql 在这方面限制。 3) 扩展性方面，Postgresql 比 mysql 也要出色许多，Postgres 天生就 是 为 扩 展 而 生 的， 你 可 以 在 PG 中 用 Python、C、Perl、TCL、 PLSQL 等等语言来扩展功能，在后续章节中，我将展现这种扩展 是如何的方便，另外，开发新的功能模块、新的数据类型、新的索 引类型等等非常方便，只要按照 API

集成数据平台：BI/DW、文本、GIS、图、图像、机器学习 • 开放源代码，持续大力投入 • 敏捷方法学：快速迭代、持续发布、质量内建 • 企业级稳定性，成熟生态系统 2017.thegiac.com Greenplum: 机器学习工具集 2017.thegiac.com • PL/X：各种语言实现自定义函数（存储过程） • MADLib: 数据挖掘、统计分析、图（Graph）等算法 机器器学习⼯工具集 2017.thegiac.com Greenplum Procedure Language PLPython, PLR 2017.thegiac.com PL/Python 例例⼦子 ● CREATE TABLE sales (id int, year int, qtr int, day int, region text) DISTRIBUTED BY (id) ; region $$ language plpythonu; ● SELECT mypytest(2) ; 2017.thegiac.com 2017.thegiac.com PL/R 例例⼦子 ● CREATE OR REPLACE FUNCTION r_norm(n integer, mean float8, std_dev float8) RETURNS float8[

..................................................................................... - 361 - 清除扩容用的模式 ................................................................................................ 的自动 FailOver 效果，编者也实现了自动 切换命令，当 Master 出现无法正常工作的故障时，自动激活 Standby 来接管 Master 的任务。下面的流程图，是编者实现的 Master 和 Standby 自动切换的逻辑流程图， 可以供读者参考，不过，编者不方便公开实现的代码。 Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 是如何在不同的 Instance 之间存储数据的，可以参考下图所示的简单 逻辑关系，主键(Primary Key)被使用黑体标记，外键(Foreign Key)关系通过连 线标明。 用数据仓库的术语来说，这种数据模型称为星型模型。在这种数据库模型下，Order 表通常被称为事实表(Fact Table)，其他表(Customer、Vendor、Product)被称 为维表(Dimension

pivotal.io/cn 白皮书 4 © Copyright 2017 Pivotal Software, Inc.保留所有权利。 PIVOTAL GREENPLUM 5：新一代数据平台 图 1：Pivotal Greenplum 5：新一代数据平台。 以开源创新替代专有分析环境 为了支持 Greenplum 的后续发展，Pivotal 于 2015 年决定将其产品 Greenplum 云平台上运行，并且同时支持自带使用授权 (BYOL) 配置和以小时为单位的按需配置。只需选择要在群集中调配的数据节点数量（不超过预定义的最大大小），然后选择一系 列部署选项，群集便会立即启动运行，可供客户使用。 图 2：Pivotal Greenplum 5：不受限于基础架构的软件架构。 不受限于基础架构 裸机 私有云 公有云 pivotal.io/cn 白皮书 6 © Copyright 2017 、stringi、stringr、survival、tibble、tseries 和 zoo。 此外，Greenplum 5 还支持最新版 Apache MADlib（可用 SQL 进行机器学习和图分析），支持在 Apache Solr 数据库内实 施 GPText 完成索引和搜索功能，其中包含用于国际文本和社交媒体文本的自定义分词器和一个通用查询处理器（可接受 来自支持的 Solr 查询处理器的采用混合语法的查询）。PostGIS

postgres# SELECT version() 有关更详细的信息请参考 README.macOS.md。 1.2 在 Redhat/Centos 系统上编译 本小节以 RHEL7 为例介绍如何编译Greenplum。 首先下载 Greenplum 源代码 $ git clone https​:​//github.com/greenplum-db/gpdb Greenplum (cost=0.00..2.03 rows=2 width=12) Optimizer status: legacy query optimizer 使用 explain.pl 可以生成如下的查询计划图：(把上面的explain结果保存到一个名为 a.plainplan 的文件中） $ explain.pl -opt jpg < /tmp/a.plainplan > /tmp/a.jpg QD 的进程号。 常用的方法是通过执行2次 SQL，获得 QE 的进程号。 Greenplum 为了提高效率，降低创建 Gang/QEs 的代价，通常会重用已经创建的Gang/QEs。利 用这一特性，可以方便的找到每个 segment上 QE 的pid。 先执行一次想要调试的 SQL。然后使用下面的命令找出感兴趣的 QE 的pid。 这个例子中进程​38965是 QD 进程，41210

数据处理不同 • 时效速度不同 • 体系架构相同 • 年表划分相同 • 平台整体定位 • 定位不同，多集群配合形成逻辑大集群 20 Greenplum现状说明 Greenplum多层业务规划图 21 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 kettle调度 Ø单个存储过程，可以在shell中 select func_name() 的方式调度 • 外部任务调度 Ø将整个过程封装成shell脚本，或 Python脚本 Ø用crontab在操作系统调用脚本 Ø用 opencron在图形界面调用脚本 32 Greenplum运维体系 Greenplum任务调度-opencron 33 Greenplum现状说明 三 Greenplum体系架构

在企业内创建统一的数据运算平台 • 企业所有者可以直接控制其数据实例 • 通过实体整合提供企业级数据访问功能 • 灵活的扩展和配置降低了投资的平均风险 源文件 源数据 源数据 源文件 数据仓库和分析应 用程序 Greenplum数据架构 商用硬件集群 分析 数据 市场 企业数 据仓库 企业数据集合：主要的优势 • 实体整合 • 提高服务器使用率 • 降低总硬件成本 • 降低能量成本 • 可以预估的服务等级 DWA测试结果：完成应用的全过程仅耗时48分钟。 – 客户投产环境：客户11月份月度处理时，完成本项任务需要65小时。 结论：如果采用DWA替代现有环境，获得超过80倍的性能提升。 案例分享：阿里巴巴 • 业务用例 • 通过分析用户的网络点击日志，进行产品关联分析，让客户可以 快速的找到相近产品 • Existing Solution • Oracle • Facts • 6台华为-赛门铁克T3500服务搭建数据库阵列

外排序之归并排序 1 7 4 8 1 7 4 8 1 4 7 8 待排序数据 分割阶段 合并阶段 22 ● 问题一：分割阶段只需要顺序扫描一次外存，最简单的策略是读取外存数据，加 载到内存，当内存用满时，执行快速排序等内排序算法，生成一个顺串。之后清 空内存，继续读取外存数据，如此反复，直到所有外存数据处理完毕。该算法生 成的每一个顺串的大小都不会超过内存的大小，而顺串越小，合并阶段的代价 就越 22 7 6 10 10 30 ● 问题三：合并阶段，如何减少合并顺串过程中磁盘的读取的顺串数量。 归并排序的三个问题 31 ● 多路归并排序 32 ● 以两路归并排序为例，需要使用4个文件分别作为输入和输出文件来存储顺串， 两路归并排序需要文件中的顺串数呈现均匀的分布 多路归并排序 文件1 文件2 文件3 文件4 32 32 0 0 0 0 16(2) 16(2)

UCloud 优刻得 22/206 如出现以上内容，则表⽰psqlodbc配置成功。 其他⽅式 其他⽅式 1.udw客⼾端的⽅式访问 1.1 udw（greenplum）客⼾端⽅式访问（以Centos为例） 如果你选择的数据仓库类型是greenplum、可以采⽤下⾯的⽅式访问 1）下载greenplum客⼾端解压 快速上⼿ Greenplum数据仓库 UDW Copyright © 2012-2021 路径 4） 连接数据库 psql -h hostIP（或域名） –U username -d database -p port –W 1.2 udw（udpg）客⼾端⽅式访问（以Centos为例） 如果你选择的数据仓库类型是udpg、可以采⽤下⾯的⽅式访问 快速上⼿ Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 24/206 1）下载udw客⼾端 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 25/206 2.python客⼾端访问 $yum install python-psycopg2 ⽰例1. 连接UDW testconn.py #!/usr/bin/python import psycopg2 conn = psycopg2.connect(database="dev", user="username"