39 40 43 44 45 46 47 ⽬录 ⽬录 ⽬录 ⽬录 概览 概览 产品架构 产品架构 云数据仓库产品架构 ⾼可⽤ 快速上⼿ 快速上⼿ ⼀、创建数据仓库 ⼆、连接数据仓库 操作指南 操作指南 关闭数据仓库 启动数据仓库 重启数据仓库 查看数据仓库详情 扩容数据仓库 更改数据仓库密码 续费 删除数据仓库 查看操作⽇志 查看监控 ⽬录 Greenplum数据仓库 数据导⼊ insert加载数据 copy加载数据 外部表并⾏加载数据 从hdfs加载数据 从mysql中导⼊数据 从oracle中导⼊数据 从ufile加载数据 开发指南 开发指南 1、连接数据库 2、数据库管理 3、模式管理 4、表格设计 5、加载数据 6、分区表 7、序列 8、索引 9、 ANALYZE/VACUUM 10、常⽤SQL⼤全 12、常⽤SQL命令 集群表数据写⼊ hdfs 3. 在⽬的 greenplum 集群中创建 hdfs pxf 可读表 4. 从 hdfs 外部表中读取数据并写⼊⽬的 greenplum 集群 FAQs 创建好数据仓库之后怎么连接到UDW？ UDW⽀持从mysql导⼊数据吗？ HDFS/Hive与UDW之间可以导⼊导出数据吗？ UDW中怎么kill掉正在执⾏的SQL语句？ 如何通过外⽹访问UDW？ 节点扩容时数量有没有什么限制？

Greenplum 集群通常由一个 Coordinator 节点、一 个 Standby Coordinator 节点以及多个 Segment 节点组成 l Coordinator 是整个数据库的入口，客户端只会连接 至 Coordinator 节点，并执行相关的查询操作 l Standby 节点为 Coordinator 提供高可用支持 l Mirror 则为 Segment 提供高可用支持 7 Confidential 种数据分布策略: l 哈希分布 (Hash Distribution) l 随机分布 (Randomly Distribution) l 复制分布 (Replicated Distribution) 数据分布策略 Confidential │ ©2021 VMware, Inc. 10 哈希分布是分布式数据库最为常用的数据分布方式。根据用户自定义的分布键计算哈希值，然后将 哈希结果映射到某个 Segment Segment 上。在 Greenplum 6 中，默认采用一致性哈希(Jump Consistent Hash)分布策略。 哈希分布 当增加一个新的节点时，需要对原有数据进行重新映射。一致性哈希则保证了在重新映射的过程追 中，tuple 要么保留在原有节点中，要么迁移至新的节点中，从而实现最小数据迁移。 Confidential │ ©2021 VMware, Inc. 11 随机分布则

Greenplum的聚集节点使用两种聚集方式：哈希聚集和分组聚集。 ● 分组聚集应用了排序的思想，如果数据基于分组键有序，那么聚集可以拆解为 若干个朴素聚集的组合。 ● SELECT avg(score) FROM student GROUP BY grade; 分组聚集 44 ● Greenplum连接算法包括：嵌套循环连接，哈希连接和归并连接。 ● 归并连接同样应用了排序的思想，如果数据基于排序键有序，那么两个表的连 序键有序，那么两个表的连 接可以通过归并的方式，仅遍历一次数据，就完成连接操作。 ● SELECT * FROM student, class_enroll where student.id = class_enroll.sid; 归并连接 45 ● 聚集中的去重操作同样可以基于排序算法完成 ● Step 1： 延时执行转移函数，tuplesort_putdatum(peraggstate->sortstate

两阶段提交（2PC）。 集群在线扩容 Greenplum 6 实现了不停库在线增加新节点, 期间不会中断正在运行的所有查询；另外采用了 Jump Consistent Hash 的一致性哈希算法, 在数据重分布期间，每个旧节点仅移动出需要移动的数据到新节点上, 得益于创新的分布式死锁检测， 对于大量小表做并行重分布性能提升非常明显。 Greenplum VACUUM 提升 （UDF），这样方便数据科学家可以在不需要 DBA 帮助的情况自由使用数据分析，同时大大提高了安全性，Docker 容器确保用户代码无法访问源主机的文件系统。此外，容器启动时网络访问受限，无法连接回 Greenplum 数据库或 打开任何其他外部连接。 集成分析：改进后的全新分析接口 一直以来，客户都能在 Greenplum 中做高级分析，无论是提供将应用逻辑向下推送至数据所在位置的方法，执行分 析功

Segment 3A Segment 3B Segment 3C Segment 3D 10 Pivotal Confidential–Inter nal Use Only 多级分区存储 • 哈希Distribution：数据均 匀的分布到各个数据节点 • 范围分区： 数据节点内部， 根据多种规则分区，降低扫 描量 数据集 Segment 1A Segment 1C Segment 1D Confidential–Inter nal Use Only 解析器 主节点Segment 系统表 优化器 分布式事务 调度器 执行器 解析器执行词法分 析、语法分析并生 成 解析树 客户端 主节点接受客户连接， 处理请求，执行认证 解析器 主节点 17 Pivotal Confidential–Inter nal Use Only 优化器 本地存储 主节点Segment 系统表 分布式事务

6中因为全局死锁检测的引入可以对heap表做并行更新 改进与实现 • 扩容期间对查询的影响 – 新增节点阶段无法修改catalog – 对于正在重分布的表的读写访问均会被阻塞 – 对于分布状态不相同的哈希分布表的Join无法做优化 Q&A Thank you

........................................................................................ - 34 - 允许连接到 Master .......................................................................................... ................... - 35 - 限制并发连接数量 ............................................................................................................ - 36 - 客户端/服务端间的加密连接 ................................ .......................................................................................... - 44 - 连接故障排除 ..............................................................................................

。用户 都是连接master服务器的，对于外部用户来说，他并不 与segment host服务器发生任何关系，外部用户的网络 只需要与master服务器连通就可以了，不需要访问 segment host服务器。 所有的用户连接都是直接连接到master服务器上的。 Greenplum数据库是基于PostgreSQL数据库的，所以 可以用PostgreSQL数据库的工具来连接Greenplum数 PostgreSQL数据库，它包含了整个分布 式数据库中的 所有元数据，如表结构定义、索引等等。但其并不存储 实际的数据，实际的数据是存储在segment 数据库 的。 master服务器接受从用户发来的连接，并做用户验证， 接收用户发来的sql，生成分布式执行计划，再把分布 执行计划分发到segment上执行，接收segment返回的 数据，最后返回给用户。 Greenplum架构: Segment介绍 Greenplum架构: 内部网络 Segment host与master是通过greenplum的内部网络互 联起来的，外部用户不需要访问这个内部网络的。 Segment 与Segment之间是有网络连接的，所以 Segment之间可以直接交互数据的。 Greenplum默认使用UDP协议，不过我们发现UDP有 时不稳定，我们一般都使用TCP协议。使用TCP协议， greenplum最多1000个segment。

用于统计哪些SQL语句耗时较长。 记录校验点的信息 log_checkpoints = on log_connections = off 是否记录连接日志 2018年PostgreSQL中国技术大会 微信号：laohouzi999 3.PostgreSQL连接问题 2018年PostgreSQL中国技术大会 微信号：laohouzi999 Connection refused. Check that 表示所有用户 10.10.56.17/32 表示需要连接到主机的IP地址，32表示IPV4 md5 表示验证方式 2018年PostgreSQL中国技术大会 连接方式（type） 共有三种：local、host、hostssl、hostnossl local使用本地unix套接字 host使用TCP/IP连接（包括SSL和非SSL） “IPv4地址”使用IPv4方式 “IPv4地址”使用IPv4方式 hostssl只能使用SSL TCP/IP连接 hostnossl不能使用SSL TCP/IP连接 数据库（database） 声明允许访问的数据库，多个数据库，库名 间以逗号分隔。 all表明该记录匹配所有数据库 用户名（user） USER指定哪个数据库用户（PostgreSQL正规 的叫法是角色，role）。 多个用户以逗号分隔。

写⼊。也就是说， 每当有⼀个客户端连接⾄ PG 时，就会有⼀个⼦进程被创建出来。postmaster 进程和 postgres 进程之间采⽤共享内存进⾏通信 client 和 PG 之间的通信过程 client 调⽤ libpq 库向 PG 的 Postmaster 进程发起连接请求 PG fork 出⼀个 postgres 进程与该客户端建⽴连接，postmaster 进程不再处理与该客户端的相关请求