pre-processing SQL Massively Parallel Processing ⼯工作原理理 2017.thegiac.com C API (Greenplum, PostgreSQL, HAWQ) 底层抽象层 (数组操作、类型转换、数值计算库等) 数据库内建函 数 ⽤用户接⼝口 ⾼高层抽象层 (迭代控制器器) 用户案例例2 基于API日志的⾦金金融产品⽤用户分析 2017.thegiac.com 问题 ● 更更好地理理解不不同种 类的⽤用户 ● 更更好地了了解⽤用户与 APP的交互 ● 对实时API请求进 ⾏行行分类和安全检测 ● 数据量量⼤大，现有数 据分析团队缺乏技 能 客户 数据科学解决⽅方案 ● 某⼤大型跨国⾦金金 融服务公司 ● 移动应⽤用 API 分析 • 数据 - API 访问⽇日志 - 客户数据 • 45 天区域数据 • 50亿条数据 • 上百万订购者 平台 建模⼯工具 PL/R, PL/PYTHON, PDLTools 可视化 数据和技术概览 2017.thegiac.com 会话识别 API 请求 ⽇日志 抽取会话特征 根据原始特征

打磨这个文档，并完 全根据最新的版本特性进行重新整理，希望能对中文爱好者提供一些帮助，在编写过程 中，仍会参考官方文档，但绝不是简单的翻译，甚至有些内容会与官方文档不一致。 编者提醒，升级版本极其重要，4 版本早该淘汰了，5 版本和 6 版本都带来了极大 的性能和稳定性的提升。 声明 本文档的版权归[陈淼]个人所有，未经许可和授权不得抄袭和引用。 本文档中的绝大部 Master 客户端的访问许可是通过一个叫做 pg_hba.conf(也是标准的 PostgreSQL 的 认证文件)的配置文件来控制的。关于该文件的细节可以参考 PostgreSQL 的文档。 在 GP 中，Master 的 pg_hba.conf 文件控制着客户端连接到 GP 系统的认证。 在 Instance 上也存在 pg_hba.conf 文件，通常此文件已经被正确配置为允许从 0/16 等价 authentication-m ethod 指定连接时使用的认证方法。例如 trust 为不需要密码，md5 为使用 md5 加密认证。更多细节可以查看 PostgreSQL 文档的认证方法部分。 编辑 pg_hba.conf 文件 下面的例子展示如何编辑 Master 上的 pg_hba.conf 文件从而允许远程的客户 端通过加密认证的方式访问数据库。

用 Python、C、Perl、TCL、 PLSQL 等等语言来扩展功能，在后续章节中，我将展现这种扩展 是如何的方便，另外，开发新的功能模块、新的数据类型、新的索 引类型等等非常方便，只要按照 API 接口开发，无需对 PG 重新编译。 PG 中 contrib 目录下的各个第三方模块，在 GP 中的 postgis 空间 数据库、R、Madlib、pgcrypto 各类加密算法、gptext 全文检索都 多种级别的信息。 还有plpythonu，这个是Greenplum自带的language，一些通用的函数， 用 plpythonu 来编写也是极其不错的选择。 关于这两种语言，可以参考 PostgreSQL 文档的【服务器端编程】章节， 以及 Perl 和 Python 语言。 Greenplum 是开放的数据库，又是开源的数据库，可以分享的知识其 实真的很多，如果你这方面的知识基础还不是很高，可以多读一些文

Inc. 1 Confidential │ ©2021 VMware, Inc. Greenplum中文社区 https://cn.greenplum.org 博文 · 资料 · 文档 · 项目 Confidential │ ©2021 VMware, Inc. 3 Confidential │ ©2021 VMware, Inc. Brin Index 在Greenplum

Greenplum中文社区 https://cn.greenplum.org 博文 资料 文档 项目 全新的问答论坛 分布式事务和 两阶段提交协议 6 ● 事务实现原理和Write Ahead Logging（WAL） ● 分布式事务和两阶段提交的原理 ● Greenplum两阶段提交协议的实现 ● Greenplum两阶段提交协议的优化 Outline 7 事务的属性：ACID

Greenplum中文社区 https://cn.greenplum.org 博文 · 资料 · 文档 · 项目 Greenplum内核揭秘之排序算法 5 ● 内排序算法 ● 外排序算法 ● Greenplum TupleSort ● 排序在Greenplum中的应用 Outline 6 ● 冒泡排序 ● 插入排序 ● 快速排序 ● 堆排序 ● 基数排序 内排序算法

x/7 ■ PostgreSQL合并：BRIN索引和并行扫描 ■ 锁和事务的优化 ■ 磁盘IO的资源管理 ■ 更多思路？ 资源 ■ 中文社区：http://greenplum.cn ■ 文档：https://gpdb.docs.pivotal.io/6-0Beta/main/index.html ■ 代码：https://github.com/greenplum-db/gpdb 由于微信群组规定限制，请首先添加这个入群

---------------+--------- ​0​ ​|​ ​501 ​1​ ​|​ ​499 有关如何安装多节点集群，请参考Greenplum官方安装文档。 2.2 集群初始化问题调试 有时候 gpinitsystem 会失败，但是不清楚失败原因是什么。 下面提供一些思路来 RCA： 2.2.1 使用 gpinitsystem 调试模式

Replicate an Existing Backup 569 Backup/Restore Storage Plugin API 569 Backup/Restore Storage Plugin API 0 Plugin Configuration File 569 Plugin API 570 Plugin Commands 571 Implementing a Backup/Restore Storage delete_backup 0 Synopsis 578 Description 578 Arguments 578 Exit Code 578 Example 578 plugin_api_version 579 plugin_api_version 0 Synopsis 579 Description 579 Return Value 579 restore_data 579 restore_data 1786 Server Programmatic Interfaces 0 Greenplum Partner Connector API 1786 Greenplum Partner Connector API 0 Using the GPPC API 1787 Requirements 1788 Header and Library Files 1788 Data Types 0

Replicate an Existing Backup 578 Backup/Restore Storage Plugin API 578 Backup/Restore Storage Plugin API 0 Plugin Configuration File 578 Plugin API 579 Plugin Commands 580 Implementing a Backup/Restore Storage delete_backup 0 Synopsis 587 Description 587 Arguments 587 Exit Code 587 Example 587 plugin_api_version 588 plugin_api_version 0 Synopsis 588 Description 588 Return Value 588 restore_data 588 restore_data 1798 Server Programmatic Interfaces 0 Greenplum Partner Connector API 1799 Greenplum Partner Connector API 0 Using the GPPC API 1800 Requirements 1800 Header and Library Files 1800 Data Types 0