MPP、优化器、多态存储、灵活分区、高速加载、PG内核 • 强大的灵活性、可扩展：PL/X、Extension、PXF、外部表机制 • 完善的标准支持：SQL、JDBC、ODBC • 集成数据平台：BI/DW、文本、GIS、图、图像、机器学习 • 开放源代码，持续大力投入 • 敏捷方法学：快速迭代、持续发布、质量内建 • 企业级稳定性，成熟生态系统 2017.thegiac.com Greenplum: 机器学习工具集 2017.thegiac.com • PL/X：各种语言实现自定义函数（存储过程） • MADLib: 数据挖掘、统计分析、图（Graph）等算法 • GPText：文本检索和分析 • GeoSpatial：地理信息数据分析 • Image: 图像数据分析 Greenplum 机器器学习⼯工具集 2017.thegiac.com Greenplum 基于API日志的⾦金金融产品⽤用户分析 2017.thegiac.com 问题 ● 更更好地理理解不不同种 类的⽤用户 ● 更更好地了了解⽤用户与 APP的交互 ● 对实时API请求进 ⾏行行分类和安全检测 ● 数据量量⼤大，现有数 据分析团队缺乏技 能 客户 数据科学解决⽅方案 ● 某⼤大型跨国⾦金金 融服务公司 ● 移动应⽤用 API 分析 ● 使⽤用Madlib进⾏行行聚

Teradata SQL Apache MADlib Python. R、 Java、Perl、C Apache SOLR PostGIS ANSI SQL 其他数据库 SQL ML/统计数据/图形 程序化 文本 地理空间 公有云 私有云 完全 托管云 本地 BI / 报告 自定义应用 机器学习 AI SQL 大规模 并行处理 (MPP) PB 级数据 加载 查询 优化器 (GPORCA) Workload 此外，Greenplum 5 还支持最新版 Apache MADlib（可用 SQL 进行机器学习和图分析），支持在 Apache Solr 数据库内实 施 GPText 完成索引和搜索功能，其中包含用于国际文本和社交媒体文本的自定义分词器和一个通用查询处理器（可接受 来自支持的 Solr 查询处理器的采用混合语法的查询）。PostGIS 程序包是 PostgreSQL 的空间数据库扩展，可让地理信息 系统 (GIS) 扩展包括支持使用基于 GiST 的 R 树空间索引和函数分析和处 理 GIS 对象。 图 3：Pivotal Greenplum 5：集成的分析。 地理空间 图分析库 聚类分析 传统BI分析 分类分析 回归分析 全文检索 pivotal.io/cn 白皮书 7 © Copyright 2017 Pivotal Software, Inc.保留所有权利。 PIVOTAL GREENPLUM

Confidential–Internal Use Only 卓越的OLAP特性 列式存储 分区、压缩 高级特性 递归查询、窗口函数 集成分析 多格式、多语言 Madlib: 机器学习 数据库内并行模型训练和预测、分类 ORCA 复杂查询优化器 成熟稳定 完备生态、支撑核心生产系统 13 Pivotal Confidential–Internal Use Only 列式存储 表‘SALES’ 表‘SALES’ • Gist • GIN • BRIN (开发中) <10ms的访问 时间，即使是 上亿条记录 <~ 100 不同值 B-Tree Bitmap 地理空间 区域 Gist 文本倒排 索引 GIN 28 Pivotal Confidential–Internal Use Only Segment 1A Segment 1B Segment 1C Segment 1D

下面的例子展示如何编辑 Master 上的 pg_hba.conf 文件从而允许远程的客户 端通过加密认证的方式访问数据库。 编辑 pg_hba.conf 文件 1. 使用文本编辑器(例如 VI)打开$MASTER_DATA_DIRECTORY/pg_hba.conf 文 件，并进入编辑状态。 2. 为每类需要允许的连接添加一行记录。记录是被顺序读取的，所有记录应该被有序 。 GP数据库支持高速并行数据导入和导出，对于数据量很小的导入和导出场景，也 可以选择非并行的方式(原自PostgreSQL的COPY命令)。 GP支持导入和导出多种外部数据，比如，文本文件，Hadoop文件系统文件，Amazon S3，Web数据源等。  SQL命令中的COPY命令，可以支持从psql的客户端，Master服务器，Instance 服务器等位置，将文 式。COPY和CREATE EXTERNAL TABLE(gpload实际上只是外部表的包装，不再单 独介绍，有需要的话，可以查阅相关资料)命令都可以指定数据的格式，数据可以是带 分隔符的TEXT文本，逗号分隔的CSV格式等。只有正确的定义了数据的格式，在操作 这些数据时才能正确的处理。 行分隔符 GP数据库可以识别的行分隔符包括：换行(LF | 0x0A)、回车(CR |

个Greenplum集群或postgresql单实例 • 服务器资源 Ø 三大Greenplum集群，共使用 51 台服务器资源 Ø 12台虚拟机，39台物理机 17 Greenplum现状说明 三大Greenplum集群定位分类 • 公司IDC_01机房Greenplum体系 Ø 公司第一套Greenplum集群，网络环境为千兆网 Ø 数据来源为OLTP库，针对小数据量传输和计算，部分实时交互操作 Ø 以对账业务为主，统计计算为辅 Greenplum集群与postgresql集市备份 Ø 结果数据csv文件备份 Ø 结果数据到备份postgresql实例 28 Greenplum运维体系 数据库数据传输与同步 • 数据同步情况分类 Ø reader端与writer端 Ø 全量，id列增量，date列增量 Ø datax,csv,load,copy Ø 数据同步结果确认与显示 • 数据同步方式 Ø gpfdist+外部表 继续建设多样化的postgresql数据集市，满足不同需求 • 优化现有业务的调度实现 Ø 时间周期的考量 Ø 并发与功能实现的权衡 Ø 增强任务可控性和可度量性 • 支持符合条件的新业务 Ø 抽象业务模型，整合使用分类 Ø 简化上线模型，优化上线方式 40 Greenplum扩展规划 新业务上线流程 • 把握三个方面，解决三个问题 Ø 确认数据来源与传输，解决原始数据从那里来的问题 Ø 确认数据如何计算，解决数据存储和计算加工的问题

dispatcher)负责下发查询，QE(query executor)负责执行查询 Ø 查询的生命周期: 1) 客户端连接coordinator, coordinator fork出QD 2) QD 拿到纯文本的查询，解析、优化、生成一个树形结构的分布式计划 3) QD 生成slice结构，生成每个slice的一系列进程结构（Gang） 4) QD 连接segment节点，segment节点fork出QE，QE执行分布式计划 Greenplum生态：Madlib Ø 在数据库内做机器学习 Ø 非常多的算法库 Confidential │ ©2022 VMware, Inc. 17 GPText Ø MPP化的Apache Solr，用于全文检索和文本分析 Ø 举例: q 十个单词内包含Alan和Clinton：“Alan Clinton”~10 Confidential │ ©2022 VMware, Inc. 18 PL Languages/Container

HBase、S3、Gemfire、各种数据库和文件等，不需要移动数据，避免了数据加载的复杂 性，和其带来的数据不一致的问题。 ● 支持各种数据格式的平台：不管是结构化、半结构化（XML、JSON、KV）还是非结构化， 譬如文本数据、GIS 数据、图数据等。 ● 具有强大内核的平台：Greenplum 具有强大的内核技术，包括数据水平分布、并行查询执 行、专业优化器、线性扩展能力、多态存储、资源管理、高可用、高速数据加载等。 SQL 成为了数据平台的万向头，向上可以连接各种 BI 工具、可视化工具和数据分析工具， 向下可以连接各种 ETL 工具、各种数据源和各种格式的数据等。 ● 集成数据分析平台：支持商业智能（BI）、文本、GIS、图、图像等。流式支持也在开发 中。通过 Pivotal 开源的 Apache 顶级项目 MADlib，Greenplum 可以在数据内部运行 50 多种数据分析和机器学习算法。MADlib

Greenplum数据引擎 全球最强大的分析数据仓库 海量并行查询 • 可以比以往更快地获取 查询结果 • 在数据增长的同时确保 高性能分析 统一的分析处理功能 • 为数据仓库、市场、 ELT、文本挖掘、统计 运算提供统一的平台 • 可以使用SQL、 MapReduce、R等在 所有层次上对任何数 据进行并行分析 19 通过经济的方案扩展 到千万亿字节规模 • 不用担心数据增长或 者开始的规模太小 处理在任何地点存储的任何类型的数 据 • 将SQL的普遍性与MapReduce的灵 活编程模式结合起来 • 针对业务关键分析功能提供企业级集 成、支持和发布 • 为新一代分析处理技术开启了大门– 其中包括文本分析、图形分析、数据 挖掘、机器学习以及更多内容 客户实例：福克斯互动媒体 （Fox Interactive Media） • 业务问题 • 改进定位广告 • 竞争对手 • Teradata

CPU 2 个数量 级的性能加速，尤其对于可预测的分析用例和图像识别，这些功能将展现奇效。支持在 Apache Solr 数据库内实施 GPText 完成索引和搜索功能，其中包含用于国际文本和社交媒体文本的自定义分词器和一个通用查询处理器（可接 受来自支持的 Solr 查询处理器的采用混合语法的查询）。PostGIS 程序包是 PostgreSQL 的空间数据库扩展，可让地 理信息系统 (GIS)

建议在系统建设时，按照功能、权限划分为较为固定的数个角色组，新增对象时只要把权限Grant到 相应角色组 即可，不需要再按照使用者单独授权，这种方式对于查询用户较多的系统能简化权限管理。  同一个对象内的数据，如果需要分类授权（例如按照机构号，用户只能查看各自所属机构数据），采 用多个视图（视图也是一个对象）映像的方式进行权限划分，然后再将视图进行授权。 SQL被lock了怎么处理  当一个SQL 较长时间