Greenplum数据仓库 数据仓库 UDW 产品⽂档 2 6 7 7 8 10 10 16 38 38 39 39 39 40 43 44 45 46 47 ⽬录 ⽬录 ⽬录 ⽬录 概览 概览 产品架构 产品架构 云数据仓库产品架构 ⾼可⽤ 快速上⼿ 快速上⼿ ⼀、创建数据仓库 ⼆、连接数据仓库 操作指南 操作指南 关闭数据仓库 启动数据仓库 重启数据仓库 重启数据仓库 查看数据仓库详情 扩容数据仓库 更改数据仓库密码 续费 删除数据仓库 查看操作⽇志 查看监控 ⽬录 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 2/206 50 50 71 73 73 73 74 74 74 74 75 76 76 79 81 82 90 92 101 102 102 103 104 106 128 访问 访问UDW数据仓库 数据仓库 1 客⼾端⼯具访问UDW 2 图形界⾯的⽅式访问UDW 数据导⼊ 数据导⼊ insert加载数据 copy加载数据 外部表并⾏加载数据 从hdfs加载数据 从mysql中导⼊数据 从oracle中导⼊数据 从ufile加载数据 开发指南 开发指南 1、连接数据库 2、数据库管理 3、模式管理

............................................................. 13 openEuler 20.03 LTS SP1 & SP2 软件仓库中引入 Greenplum 6.17.0 版本 ............................................................. 13 完全兼容欧拉开源操作系统的 白皮书 8 白皮书 | 8 • 嵌入式：发布面向嵌入式领域的版本 openEuler 21.09 Embedded，镜像大小<5M，启动时间<5S。 4. 繁荣社区生态 友好卓面环境：UKUDDEXfce 卓面环境，丰富社区卓面环境生态。 • 欧拉 DevKit：支持操作系统迁移、兼容性评估、简化安全配置 年发布第一个版本以来，就以精巧架构、简单易用、运行稳定、优异性能、环境适应性强在 MPP 数据库领域独占鳌头，基于 Shared Nothing 的 MPP 高性能系统架构，Greenplum 可以将 PB 级的数据仓库负 载分解，并使用所有的系统资源并行处理单个查询。同时 Greenplum 具备数据库 ACID 特性，运行符合 ANSI 标准 的 SQL，可以让服务器群集能够以单一数据超级计算机的方式运行，

Host(主机) ： GP 的一台独立的机器设备 Instance ： GP 的计算实例，很多时候也叫 Segment Primary ： GP 的主计算实例 Mirror ： GP 的镜像计算实例 MPP ： 大规模并行处理 算子 ： 执行计划中的运算操作 背景简介 多年前，编者翻译了 GP4.2.2 的 AdminGuide，如今，GP 已经历经了无数个版 ................................................................................. - 15 - Instance 镜像................................................................................................... ................................................................................... - 17 - Master 镜像 ..................................................................................................

Postgresql 实例的高效协同和并行计算，Interconnect 承载了并行 查询计划生产和 Dispatch 分发（QD）、协调节点上 QE 执行器的并 行工作、负责数据分布、Pipeline 计算、镜像复制、健康探测等等诸 多任务。 在 Greenplum 开源以前，据说一些厂商也有开发 MPP 数据库的打算， 其中最难的部分就是在 Interconnect 上遇到了障碍，可见这项技术的 关键性。 ·可更新数据压缩表 ·行、列混合存储 ·数据表多级分区 ·Bitmap 索引 ·Hadoop 外部表 ·Gptext 全文检索 ·并行查询计划优化器和 Orca 优化器 ·Primary/Mirror 镜像保护机制 ·资源队列管理 ·WEB/Brower 监控 Big Date2.indd 7 16-11-22 下午3:38 8 3. Greenplum 的艺术 -- Parallel 式来设计。得益于这种无所不在的并行，Greenplum 在数据加载和数 据计算中表现出强悍的性能，某行业客户对此深有体会 : 同样 2TB 左 右的数据，在 Greenplum 中不到一个小时就加载完成了，而在用户传 统数据仓库平台上耗时半天以上。 在该用户的生产环境中，1 个数百亿表和 2 个 10 多亿条记录表的全表 关联中（只有 on 关联条件，不带 where 过滤条件，其中一个 10 亿 条的表计算中需要重分布），Greenplum

Greenplum 开源MPP数据仓库介绍 李晓亮 Greenplum工程师、内核团队经理 Confidential │ ©2022 VMware, Inc. 2 Agenda Ø Greenplum简介 Ø Greenplum的MPP架构 Ø 分布式优化器: Postgres planner 和 ORCA Ø 分布式事务和执行 Ø Greenplum存储 Confidential │ ©2022 VMware, Inc. 3 Greenplum简介：什么是Greenplum? 基于PostgreSQL、开源、分布式MPP、ACID完备、为OLAP优化的关系型数据仓库。 https://greenplum.org https://github.com/greenplum-db/gpdb Confidential │ ©2022 VMware, Inc. 4 Greenplum项目，从 PostgreSQL 8 分支，做成 MPP架构 Ø 2010年被EMC收购 Ø 2012年成为Pivotal的一部分 Ø 2015年开源，可能是世界上第一个成熟商用的开源 MPP数据仓库 Ø 2019年底跟随Pivotal被VMware收购 Confidential │ ©2022 VMware, Inc. 5 谁在用Greenplum? Ø 500多付费企业客户 Ø 成千上万的开源用户

Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 3 数据仓库体系架构 业务数据与数据使用归类 时间维度：过去 - 现在 - 未来 （数据的生命周期） • “现在”的数据 —— OLTP • “过去”的数据 —— OLAP • “未来”的数据 —— 趋势分析 4 数据仓库体系架构 业务数据与数据特点 Ø非实时，离线+在线流系统，趋势分析 Ø算法分析，持续计算 5 数据仓库体系架构 OLAP场景举例 • 业务相关场景 Ø用户状态 （注册数，活跃数，并发量，峰值） Ø金币状态 Ø道具/物品状态 Ø对账状态 Ø活动反馈 • 架构相关场景 Ø不同数据量，不同事务特点，不同查询需求 Ø历史数据归档与冷热分离 Ø实时与延时需求的权衡 6 数据仓库体系架构 数据流转过程 • 1 业务数据的产生 —— OLTP —— dbsync平台 7 数据仓库体系架构 数据架构示意图 8 数据仓库体系架构 架构的具体技术实现 • 轻量级数据仓库 —— Inforbright – 与MySQL数据库结合，易使用，冷热分离 – 数据库归档，只能load，不支持DML – 对特定OLAP类查询有很好的支持作用 • 通用性数据仓库 —— Greenplum – 独立的数据库仓库解决方案 – 可以很好支持各种方式的数据加载和DML操作

2010/4/8 官方网站： www.greenplum.com www.greenplum-china.com Greenplum：简介 Greenplum数据引擎软件为新一代数 据仓库所需的大规模数据和复杂查询功 能所设计 3 推动数据依赖型企业的发展 全球各地的一些Greenplum客户 4 亚太地区 欧洲、中东、非洲 北美 中国的客户 5 金融 交通 互联网 其它 Software-Based Commodity HW • 用户人数 • 安全度 • 查询、报告、分析的数量 • 数据的高度多样性 • 大量定制数据 • 监管要求 商务智能/数据仓库发展趋势 一切都在增长! 数据仓库工作量：数据膨胀 面临的新难题是如何处理大规模数据 过去的10年 现在 HPC 企业 SME 万亿字节 千兆字节 兆字节 千万亿字节 万亿字节 千兆字节 行业商务智能解决方案的实例 客户关系管理、收 购和盈利率 欺诈检测 欺诈分析 客户流失分析 响应时间 流量分析 产品关联/捆绑 零售 存储运营分析 客户忠诚度计划 协作规划和预估 预防亏损 优化供应链 当今的数据仓库方案 基于硬件 专有，昂贵 不可扩展 针对OLTP进行了优化 主流 10 数据库行业所面临的挑战 0 1 2 3 4 5 6 7 8 9 10 1995 2000

库 推 送 库 中 间 库 商 品 库 核 心 库 辅 助 库 推 送 库 中 间 库 商 品 库 核 心 库 辅 助 库 账 号 库 店 铺 库 其 他 库 业务系统 数据仓库 G P 1 G P 2 G P 2 5 交 换 库 •业务库 •分库分表 •一组五个数据库 •250组数据库+公共库 •每15到20天增加10组 •31个GP集群 •30个业务数据集群， •ETL处理，大部分在线 分析查询采用GP •极端复杂查询 拆分 •2019年7月上线ADB分 担极端复杂的在线分 析，有待验证 数据集市 报表 CRM 胜算 …… …… …… …… 数据仓库演变 2015 2016 2017 2018 2019 2014原始阶段 2016.4全新报表界面：梳理业务、开发报表 2016.9自建GP集群，上线工作量统计 2018.3HDB4PG

Gartner技术成熟度曲线 OLTP-OLAP独立部署 OLTP数据库 OLAP数据仓库 ■ 实时性 ■ 数据同步复杂性 ■ 应用复杂性 HTAP HTAP = ? ■ 卓越的OLAP特性 ■ 出色的OLTP特性 ■ 多态存储 ■ 有效的并发和资源管理 OLTP-OLAP独立部署 OLTP数据库 OLAP数据仓库 ■ 实时性 ■ 数据同步复杂性 ■ 应用复杂性 43 Pivotal

功能变得越来越难。1 2010 年底，Greenplum 开始在内部开发一款新型查询优化器，并在 Greenplum 4.3.5 版中首次推出，名为 GPORCA。 GPORCA 能够针对分析数据仓库中常见的一些复杂情况生成更高效的代码，因而非常实用。过去，系统默认使用传统查询 优化器，但自 Greenplum 5 起，GPORCA 将成为默认查询优化器。它能够通过并发的混合工作负载处理多种复杂查询， 管理实用程序现在均以版本 2.7 为基础。 总结 Greenplum 5 是 Pivotal 推出的新一代数据平台，在对经过十几年工程设计投入的产品进行改进的同时带来了多项新功能， 可以帮助组织满足其企业数据仓库和高级分析需求。这个新版本扩充了客户的部署选项，除了目前支持的本地平台以外， 还获得了其他几种云平台的认证。它提供了一个同时支持传统和新型分析工作负载的环境，可帮助客户消除分析孤岛。此外， 它通过有