以其优越的性能为越来越多的客 户所理解与接受。作为中国大数据市场的探路先锋，Pivotal 将以一个 我们亲力打造的大数据项目为例，与大家一起分享 Greenplum 在项目 实施过程中为客户创造的那些真实的价值，如何与客户一起开拓大数 据之路。 在国内某大型金融机构的大数据处理平台，使用 Greenplum 数据库产 品支撑其 ODS 及各类集市应用。项目从 2013 年 6 月份开始到 2015 年底，生产环境已经由最初的一套集群发展到 践和真知灼见转化成能够为更多客户服务的宝贵价值！ Big Date2.indd 23 16-11-22 下午3:38 24 三、Greenplum 硬件选型篇 前 面 我 们 通 过 某 金 融 行 业 客 户 Greenplum 的 使 用 案 例 介 绍 了 Greenplum 产品在高吞吐、开放性、 易扩展等方面的卓越表现及其带 给客户的高价值。下面我们将从最佳实践方面介绍下 Greenplum Access）协议，所以如果基于 Infiniband 交换机对 Greenplum 集 群组网，必须在服务器上安装硬件厂商提供的网络驱动，并通过 IPoIB(InternetProtocol over InfiniBand) 协议进行转换，之前遇到某 客户因为驱动和服务器硬件兼容问题，压力一大，服务器自就会自 动重启，最后又将网络设备改回万兆交换机。 ·网卡绑定采用 mode=4 (802.3ad)，流量传输

算法充分利用 MPP 架构实现并行 • 更好的可扩展性 • 算法随着数据扩充而线性扩展 • 更高的预测精准度 • 适用更多数据，而不是抽样 • 顶级 ASF 开源项目 • 社区驱动开发模式 MADlib 特性 2017.thegiac.com 客户端 数据库服务器器 Master Segment 1 Segment 2 Segment n com 数据整理理 数据准备 信息价值和证据权 重 成对相关性 删除⾼高度相关变量量 逻辑回归 计算 KS 分值 模型验证 ⼿手动预测 1 2 3 4 5 6 7 8 原始⼯工作流程 2017.thegiac.com 数据整理理 特征⽣生成 验证 预测 信息价值 ⽅方差膨胀 因⼦子 成对相关性 439 特征 ● 4,517 ⾏行行代码 ● 100 分钟 ● 934 特征 ● 1,438 ⾏行行代码 ● 30 分钟 多 495 个特征，快 3.33x 信息价值 ● ~450 个变量量，~30分 钟计算结果并写⼊入 excel ● 在 GPDB 中花 58 秒计 算 ~200 个变量量的IV 13.7x/变量量 建模 ● < 50

版本和 6 版本。  使用标准数据库应用接口，例如 ODBC 和 JDBC，用户可以开发出自己的客户端程 序。由于 GP 基于 PostgreSQL 而来，可以直接使用 PostgreSQL 驱动访问 GP。  使用标准数据库应用接口的客户端程序，例如使用 ODBC 和 JDBC 的客户端程序， 可以通过配置的方式连接到 GP。 GP 的客户端应用程序 在 DB 应用程序接口 若需要开发针对GP的应用程序，PostgreSQL提供的一些通用的API同样可以应用 在GP上。这些驱动包并没有与GP一起发布，而是一些独立的项目，需要单独下载和安 装配置从而连接GP。有下面这些驱动可以获取： API PostgreSQL Driver 下载连接 ODBC pgodbc 可以从 GP 或者 PG 的官网获得。 使用通用API来访问GP的说明： 1. 下载相应的语言和对应平台的API文件。例如下载JDK和JDBC。 2. 编写相应的程序连接GP。需要注意SQL的语法支持问题。 下载合适的PostgreSQL驱动并配置到Master Instance的连接。 第三方客户端工具 很多第三方的ETL和BI工具使用标准的API如ODBC、JDBC，都可以通过配置连接 到GP。下面这些工具经过用户证实可以很好的协同GP一同工作：

UDW Copyright © 2012-2021 UCloud 优刻得 17/206 yum install postgresql-jdbc.noarch –y Windows 环境下 JDBC 驱动，将 jar 添加到⼯程的 BUILD PATH。 ⽰例程序1，java连接UDW，执⾏建表，插⼊操作 PostgreSQLJDBC1.java import java.sql.Connection; ODBC⽅式连接 ⽅式连接 Linux操作系统：CentOS 6.5 64位 1. 安装 postgresql odbc驱动 # yum install postgresql-odbc.x86_64 -y 2. 编辑/etc/odbcinst.ini⽂件，配置odbc驱动 Description = ODBC for PostgreSQL Driver = /usr/lib/psqlodbc Setup64 = /usr/lib64/libodbcpsqlS.so FileUsage = 1 3. 测试ODBC驱动是否安装成功 # odbcinst -q -d [PostgreSQL] 如果出现以上输出，代表在这台机器上已成功安装了PostgreSQL的ODBC驱动。 4. 编辑/etc/odbc.ini⽂件配置ODBC连接 快速上⼿ Greenplum数据仓库 UDW Copyright

2018年PostgreSQL中国技术大会 自我介绍 微信号：laohouzi999 2018年PostgreSQL中国技术大会 • 赵振平，太阳塔技术总监 • 电子工业出版社签约作家 • 腾讯最具价值专家（TVP） • 计算机畅销书作家 • 贵州省省管专家 • 国家首批大数据高级职称 • 出版了技术专著《Oracle数据库精讲与疑难解析》 • 出版了技术专著《成功之路：Oracle 11g学习笔记》

“可能会成为数据仓库和数据 库管理系统市场的突破力量” Gartner的Donald Feinberg 17 通过Greenplum超级数据处 理引擎增强竞争优势 Greenplum数据引擎：内容和方式 价值主张 – 性价比： 性能可达到传统方案（Oracle、Teradata）的 10到100倍， 而成本只是其一小部分 – 可伸缩性：从较低的万亿字节扩展到千万亿字节 – 开放式系统：在通用系统和开放源软件的基础上创建

区贡献者包括阿里云、中移动等大公司，也有诸多中小公司和数据库爱好者。 开源之后，Greenplum 把敏捷软件开发方法学引入到分布式数据库的开发中，通过使用站立会议、 回顾会议、结对编程、持续集成、测试驱动、单周迭代等敏捷方法建立了高效的快速反馈系统， 大大提高了产品的质量和客户的满意度。Greenplum 5.0 是开源之后发布的第一个稳定版本，大 约保持 1 个半月一个版本的发布速度。Greenplum

参考：https://mp.weixin.qq.com/s/zgCfcbMKOJRYROdxjW6RNA 16 Compare Products ➢ 支持全量同步，但增量同步延时，数据量越大，延时更久。 ➢ JDBC驱动强依赖。 ➢ 版本更新不及时，对GreenPlum新版本无法持续性支持，不稳定。 ➢ 需开发人员支持，二次开发或脚本支持，开发时间成本和人力成本高。 ➢ 支持数据库版本少，无法支持跨多版本的O

Greenplum数据库是基于PostgreSQL数据库的，所以 可以用PostgreSQL数据库的工具来连接Greenplum数 据库，如java程序可以使用PostgreSQL的jdbc驱动来 访问Greenplum数据库，也可以使用psql工具或 pgadminII来管理Greenplum。 Greenplum架构: Master介绍 Greenplum的Master数据库也是一个被改造过的