Greenplum数据仓库 数据仓库 UDW 产品⽂档 2 6 7 7 8 10 10 16 38 38 39 39 39 40 43 44 45 46 47 ⽬录 ⽬录 ⽬录 ⽬录 概览 概览 产品架构 产品架构 云数据仓库产品架构 ⾼可⽤ 快速上⼿ 快速上⼿ ⼀、创建数据仓库 ⼆、连接数据仓库 操作指南 操作指南 关闭数据仓库 启动数据仓库 重启数据仓库 重启数据仓库 查看数据仓库详情 扩容数据仓库 更改数据仓库密码 续费 删除数据仓库 查看操作⽇志 查看监控 ⽬录 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 2/206 50 50 71 73 73 73 74 74 74 74 75 76 76 79 81 82 90 92 101 102 102 103 104 106 128 访问 访问UDW数据仓库 数据仓库 1 客⼾端⼯具访问UDW 2 图形界⾯的⽅式访问UDW 数据导⼊ 数据导⼊ insert加载数据 copy加载数据 外部表并⾏加载数据 从hdfs加载数据 从mysql中导⼊数据 从oracle中导⼊数据 从ufile加载数据 开发指南 开发指南 1、连接数据库 2、数据库管理 3、模式管理

> 岛 网 ioor mauaeaa 和 i Gartner: 数据库中国市场指南 传统数仓的痛点 很多受欢迎的数据库仓库均为分布式数据库，而典型 分布式数据库系统大多是 MPP (大规模并行计算) 架构。 MPP 架构的数据库以 PC 服务器为单位，通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录 把计算时间降低到单机部署的 1/n (n为机器数量) ，节省了海量数据的处理时间。 传统数据仓库架构 然而，随着数据量的不断尝升，企业对数据仓库的要求也越来越高，在使用过程中，传统 MPP 数据库解决方案迎来 了一系列的瓶颈: 传统数据仓库的计算和存情是| 容计算资源和存储资源，在扩缩容、运维、迁移上都存在一， 报表结! 传统数据仓库无法及时扩 导致大数据系统天 价值所带来的商业机会 用户在扩 必须同时扩 的云原生虚拟数仓 产品白皮书 传统数据仓库价格高昂的软硬件、开发运维人员的高晶薪资需要企业进行巨大的前期投入。传统数据仓库客户的生产 环境资源利用率，无论是存储或是计算资源往往都不尽人意。随着存储和工作负载需求的日益增长，面临数据库的扩 容和升级时，由于传统数据仓库架构存储和计算的紧密耦合，往往需要企业花费巨大的运维和时间成本，且操作繁 琐。 木桶效应 传统 MPP 数据仓库架构存在“木桶效应”，集群整

库整体市场的半数以上。 1 2 全 球 数 据 圈 预 测 IDC： 3 缺 乏 弹 性 然而，随着数据量的不断攀升，企业对数据仓库的要求也越来越高，在使用过程中，传统 MPP 数据库解决方案迎来 了一系列的瓶颈： 4 传统数仓的痛点 很多受欢迎的数据库仓库均为分布式数据库，而典型的传统分布式数据库系统大多是 MPP（大规模并行计算）架构。 MPP 架构的数据库以 PC 服务器为单位 把计算时间降低到单机部署的 1/n（n为机器数量），节省了海量数据的处理时间。 传统数据仓库的计算和存储是紧密耦合的，计算资源和存储资源按某一比例强绑定，因此用户在扩容时，必须同时扩 容计算资源和存储资源，在扩缩容、运维、迁移上都存在一定的挑战。当企业遇到负载高峰时刻或需要紧急得到某个 报表结果时，传统数据仓库无法及时扩资源，导致大数据系统无法弹性、快速地分析业务数据，错失了充分挖掘数据 价值所带来的商业机会。 本 高 昂 传统数据仓库价格高昂的软硬件、开发运维人员的高昂薪资需要企业进行巨大的前期投入。传统数据仓库客户的生产 环境资源利用率，无论是存储或是计算资源往往都不尽人意。随着存储和工作负载需求的日益增长，面临数据库的扩 容和升级时，由于传统数据仓库架构存储和计算的紧密耦合，往往需要企业花费巨大的运维和时间成本，且操作繁 琐。 木 桶 效 应 传统 MPP 数据仓库架构存在“木桶效应”

Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 3 数据仓库体系架构 业务数据与数据使用归类 时间维度：过去 - 现在 - 未来 （数据的生命周期） • “现在”的数据 —— OLTP • “过去”的数据 —— OLAP • “未来”的数据 —— 趋势分析 4 数据仓库体系架构 业务数据与数据特点 Ø非实时，离线+在线流系统，趋势分析 Ø算法分析，持续计算 5 数据仓库体系架构 OLAP场景举例 • 业务相关场景 Ø用户状态 （注册数，活跃数，并发量，峰值） Ø金币状态 Ø道具/物品状态 Ø对账状态 Ø活动反馈 • 架构相关场景 Ø不同数据量，不同事务特点，不同查询需求 Ø历史数据归档与冷热分离 Ø实时与延时需求的权衡 6 数据仓库体系架构 数据流转过程 • 1 业务数据的产生 —— OLTP —— dbsync平台 7 数据仓库体系架构 数据架构示意图 8 数据仓库体系架构 架构的具体技术实现 • 轻量级数据仓库 —— Inforbright – 与MySQL数据库结合，易使用，冷热分离 – 数据库归档，只能load，不支持DML – 对特定OLAP类查询有很好的支持作用 • 通用性数据仓库 —— Greenplum – 独立的数据库仓库解决方案 – 可以很好支持各种方式的数据加载和DML操作

2010/4/8 官方网站： www.greenplum.com www.greenplum-china.com Greenplum：简介 Greenplum数据引擎软件为新一代数 据仓库所需的大规模数据和复杂查询功 能所设计 3 推动数据依赖型企业的发展 全球各地的一些Greenplum客户 4 亚太地区 欧洲、中东、非洲 北美 中国的客户 5 金融 交通 互联网 其它 Software-Based Commodity HW • 用户人数 • 安全度 • 查询、报告、分析的数量 • 数据的高度多样性 • 大量定制数据 • 监管要求 商务智能/数据仓库发展趋势 一切都在增长! 数据仓库工作量：数据膨胀 面临的新难题是如何处理大规模数据 过去的10年 现在 HPC 企业 SME 万亿字节 千兆字节 兆字节 千万亿字节 万亿字节 千兆字节 行业商务智能解决方案的实例 客户关系管理、收 购和盈利率 欺诈检测 欺诈分析 客户流失分析 响应时间 流量分析 产品关联/捆绑 零售 存储运营分析 客户忠诚度计划 协作规划和预估 预防亏损 优化供应链 当今的数据仓库方案 基于硬件 专有，昂贵 不可扩展 针对OLTP进行了优化 主流 10 数据库行业所面临的挑战 0 1 2 3 4 5 6 7 8 9 10 1995 2000

............................................................................... 7 2.6 创建 HARBOR 仓库 .................................................................................................. ........................................................................... 10 2.8 推送镜像到 HARBOR 仓库 .................................................................................................. .............................................................. 12 2.11 推送 PDB 相关 CHART 到 HARBOR 仓库 ..................................................................................................

：通过 SHOW SNAPSHOT 命令查看到的 Snapshot 名称。 ：仓库名称。 子句指定快照中需要备份的表和分区。其中表名和分区名必须是备份快照中的名称，而 可以为表指定别名。最 终恢复的表会采用这个别名。分区名称不能修改。如果不指定分区，则默认恢复该表的所有分区。所指定的表和分区必须已 存在于仓库备份中。 ：指定恢复操作相关属性 ：指定恢复对应备份快照的哪个时间版本，必填。该信息可以通过 new_tbl，时间版本为 "2020-05-04-17-11-01"。默认恢复为 3 个副本： Keywords Keywords 最佳实践 最佳实践 1. 同一数据库下只能有一个正在执行的恢复操作。 2. 可以将仓库中备份的表恢复替换数据库中已有的同名表，但须保证两张表的表结构完全一致。表结构包括：表名、列、分 区、物化视图等等。 3. 当指定恢复表的部分分区时，系统会检查分区范围是否能够匹配。 4. 恢复操作的效率： 类型的表。 ：为本次备份的快照取个名字。 ：指定要备份的表或者分区。 ：指定一些参数 ：任务超时时间，默认为一天。单位秒。 Example Example 1. 备份 下的表 到仓库 中： max_filter_ratio max_filter_ratio strict_mode strict_mode BACKUP BACKUP SNAPSHOT SNAPSHOT

252 使用方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253 元数据持久化仓库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253 分片算法 . . . . . . . . . 运行模式类型。可选配置：Standalone、Cluster repository (?): # 久化仓库配置 overwrite: # 是否使用本地配置覆盖持久化配置 单机模式 mode: type: Standalone repository: type: # 持久化仓库类型 props: # 持久化仓库所需属性 foo_key: foo_value bar_key: bar_value ShardingSphere document, v5.2.0 集群模式 (推荐) mode: type: Cluster repository: type: # 持久化仓库类型 props: # 持久化仓库所需属性 namespace: # 注册中心命名空间 server-lists: # 注册中心连接地址 foo_key: foo_value bar_key: bar_value

408 使用方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409 元数据持久化仓库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409 分片算法 . . . . . . . . . type: # 运行模式类型。可选配置：Standalone、Cluster repository (?): # 持久化仓库配置 单机模式 mode: type: Standalone repository: type: # 持久化仓库类型 props: # 持久化仓库所需属性 foo_key: foo_value bar_key: bar_value 9.1. ShardingSphere-JDBC Apache ShardingSphere document 集群模式 (推荐) mode: type: Cluster repository: type: # 持久化仓库类型 props: # 持久化仓库所需属性 namespace: # 注册中心命名空间 server-lists: # 注册中心连接地址 foo_key: foo_value bar_key: bar_value

115 使用方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 元数据持久化仓库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 分片算法 . . . . . . . . . String 持久化仓库类型 props Properties 持久化仓库所需属性 Cluster 持久化配置 类名称：org.apache.shardingsphere.mode.repository.cluster.ClusterPersistRepositoryConfiguration 可配置属性： 名称 数据类型 说明 type String 持久化仓库类型 namespace namespace String 注册中心命名空间 serverLists String 注册中心连接地址 props Properties 持久化仓库所需属性 持久化仓库类型的详情，请参见内置持久化仓库类型列表。 5.1. ShardingSphere-JDBC 68 Apache ShardingSphere document, v5.1.1 数据源配置 ShardingSphere‐JDBC