203 204 205 206 访问 Hive 访问 HBase 使⽤ 使⽤ pg_dump 迁移数据 迁移数据 安装 greenplum-db-clients 使⽤ pg_dump 导出数据 使⽤ psql 重建数据 利⽤ 利⽤ hdfs 外部表迁移数据 外部表迁移数据 1. 在原 greenplum 集群中创建 hdfs pxf 可写外部表 2. 将原 greenplum 概览 产品架构 快速上⼿ 操作指南 访问UDW数据仓库 数据导⼊ 开发指南 udw优化指南 表膨胀 UDW中Json类型 接⼊第三⽅ BI ⼯具 UDW 使⽤案例 Pxf 扩展功能 迁移数据 使⽤ pg_dump 使⽤ pxf 外部表 FAQs 数据仓库价格 概览 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 6/206 34567 (3 rows) PXF 扩展 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 197/206 使⽤ 使⽤ pg_dump 迁移数据 迁移数据 安装 安装 greenplum-db-clients 为了获取 pg_dump ⼯具，需要安装 greenplum-db-clients，安装⽅法可以查看 https://gpdb.docs

一次打包到处运行的平台：部署灵活，不受限于硬件环境和平台，无论裸机、私有云、公 有云均可部署。硬件环境的普适性，提供了极大的灵活性，解放了硬件平台的制约和绑定， 从而允许客户灵活选择最适合的方案，降低未来的迁移代价，而开发、运维人员无需要学 习新的数据库处理技术，人力成本也能够大大降低。 ● 处理和分析各种数据源的数据的平台：支持各种数据源，包括 Kafka、Hadoop、HIVE、 HBase、 ableau、Anaconda、 Microstrategy、Boundless、Zattset、Datometry 等，涵盖 ETL、商业智能、高级分析、可视化、 集成分析、GIS 数据处理、迁移、安全和管理等各个领域。 更多信息请访问 greenplum.cn。

Consistent Hash)分布策略。 哈希分布 当增加一个新的节点时，需要对原有数据进行重新映射。一致性哈希则保证了在重新映射的过程追 中，tuple 要么保留在原有节点中，要么迁移至新的节点中，从而实现最小数据迁移。 Confidential │ ©2021 VMware, Inc. 11 随机分布则采用随机的方式将数据存储到不同的节点。当不确定一张表的哈希分布键，或者是不存 在合理的避免

分布式事务的创建、状态迁移等 • QD向QE发起两阶段提交 • 分布式快照 • QD向QE发送全局快照信息 • Writer QE和Reader QE共享本地快照信息 • distributed log：分布式事务提交日志 • 用于判断分布式事务是否提交，作用和PG 的commit log类似，基于simple LRU实现 • 分布式死锁检测 • 本地事务的管理：创建、提交、状态迁移 等 •

Embedded，镜像大小<5M，启动时间<5S。 4. 繁荣社区生态 友好卓面环境：UKUDDEXfce 卓面环境，丰富社区卓面环境生态。 • 欧拉 DevKit：支持操作系统迁移、兼容性评估、简化安全配置 secPaver 等更多开发工具。 Greenplum：新一代 HTAP 数据平台 Greenplum 自 2006 年发布第一个版本以来，就以精巧架 将支持越来越多样 化的芯片和操作系统，特别是中国的本地化的芯片和操作系统： 图 1：Greenplum 纯中立支持主流芯片和操作系统 另外随着越来越多的客户将其生产数据集迁移到公有云中，这种灵活性将成倍增长。Greenplum 目前不但可在国外 的 Amazon Web Services、Microsoft Azure 和 Google 云平台上运行，也可以运行在国内云平台上，如阿里云、

集群中最为常见的故障类型，而 SAS 盘相比 SATA 盘在性能和稳定 性上都明显的高于 SATA 盘 。 ·RAID 卡一定要带 cache，否则做完 RAID 后写的性能会非常差， 曾遇到一客户，把 GP 迁移到更大容量、更多磁盘的机器后，集群 性能反而下降，就是因为新采购的机器 RAID 卡没有 cache。 Big Date2.indd 26 16-11-22 下午3:38 Greenplum indd 30 16-11-22 下午3:38 Greenplum 精粹文集 31 2. 数据模型设计的重要性 实施 Greenplum 的项目，有的是从其他数据库产品迁移过来的数据模 型，有的是新设计的数据模型。无论是哪种情况，设计时请重点关注 Greenplum 的特性，要充分发挥 Greenplum 所长。 ·分布键： 均匀为第一大原则，选取更有业务意义的字段，并非必须选择原库

2016 2017 2018 2019 2014原始阶段 2016.4全新报表界面：梳理业务、开发报表 2016.9自建GP集群，上线工作量统计 2018.3HDB4PG 2017.1报表全面迁移至GP 2017.6集群拆分 2018.9全面切换HDB4PG 2018.6ADB储备、2019.7上线 HDB4PG •数据压缩 •弹性扩容 •成熟稳定 •性能良好 •阿里云支持 THANKS

Resource Group • What’s more? – ALTER RESOURCE GROUP • 延迟生效 • merge proposed value to real value – 动态迁移事务到其他group • 一致性 • 死锁 – Disk IO control? • buffered write? – Network IO control? – ... 2017 年象行中国（杭州

减少重分布数据移动量 – Jump Consistent Hash ▪ 均匀性：通过概率做到均匀分布 ▪ 稳定性：在相同集群大小下，同一个Tuple每次计算结果相同 ▪ 单调性：扩容过程中，旧节点之间没有数据迁移 ▪ 高效性：对于集群大小为N的时候，时间复杂度为Log(N) – 更多算法细节请参考链接。https://arxiv.org/pdf/1406.2294.pdf – 通过GUC gp_use_legacy_hashops

• 基于日志捕获技术的实时性非常高 • 支持从过去的某一指定时间开始捕获 • 条件过滤 • 支持触发器捕获技术作为补充 基于数据库事务日志的变化数据捕获 9 • 避免人为错误 • 在迁移结束前校验数据 • 支持异构 异构平台间数据校验域修复 10 内置监控与报警 • 实时监控HVR进程 • 自动告警 • 与第三方企业监控平台集成 • 丰富的统计报表 LDAP authenticated