Greenplum数据仓库 UDW 产品文档 优刻得科技股份有限公司 版权所有 ## 目录 目录 2 概览 6 产品架构 7 云数据仓库产品架构 7 高可用 8 快速上手 10 一、创建数据仓库 10 二、连接数据仓库 16 操作指南 38 关闭数据仓库 38 启动数据仓库 39 重启数据仓库 39 查看数据仓库详情 查看数据仓库详情 39 扩容数据仓库 40 更改数据仓库密码 43 续费 44 删除数据仓库 45 查看操作日志 46 查看监控 47 访问UDW数据仓库 50 1 客户端工具访问UDW 50 2 图形界面的方式访问UDW 71 数据导入 73 insert加载数据 73 copy加载数据 73 202 FAQs 203 创建好数据仓库之后怎么连接到UDW? 203 UDW支持从mysql导入数据吗? 203 HDFS/Hive与UDW之间可以导入导出数据吗? 203 UDW中怎么kill掉正在执行的SQL语句? 203 如何通过外网访问UDW? 204 节点扩容时数量有没有什么限制? 205 数据仓库价格 206 ## 概览 • 产品架构 快速上手

## 并行不悖 – OLAP 在互联网公司的实践与思考 ## 赵飞祥 一 数据仓库体系架构 二 Greenplum体系架构 三 Greenplum现状说明 四 Greenplum运维体系 五 Greenplum开发规范 六 Greenplum扩展规划 ## 业务数据与数据使用归类 时间维度：过去 - 现在 - 未来 （数据的生命周期） “现在”的数据 —— OLTP “过去”的数据 —— OLAP 非实时（T+1，或小时级），离线系统，分析决策 事务大，频率相对小，并发低 · 未来的数据 —— 趋势分析 非实时，离线+在线流系统，趋势分析 算法分析，持续计算 ## 数据仓库体系架构 ## OLAP场景举例 ## · 业务相关场景 ➢ 用户状态（注册数，活跃数，并发量，峰值） 金币状态 道具/物品状态 对账状态 活动反馈 ## • 架构相关场景 不同数据量，不同事务特点，不同查询需求 5 访问接口的封装 —— API接口服务器 • 6 最终数据的显示 —— 前端界面 · 7 结果数据的交互 —— OLTP，趋势分析 • 8 OLAP数据流转 —— dbsync平台 ## 数据仓库体系架构 ## 数据架构示意图 ## OLAP体系架构示意图 业务数据源端：OLTP环境 csv文件 数据展示端： Mis界面访问系统 图形化展示 OLAP数据统一入口 ETL服务器

Greenplum存储 Greenplum生态 Greenplum 7 Greenplum简介：什么是Greenplum? 基于PostgreSQL、开源、分布式MPP、ACID完备、为OLAP优化的关系型数据仓库。 https://greenplum.org https://github.com/greenplum-db/gpdb ![Image](/uploads/documents/c/1/6/ Greenplum 项目，从 PostgreSQL 8 分支，做成 MPP 架构 2010年被EMC收购 2012年成为Pivotal的一部分 2015年开源，可能是世界上第一个成熟商用的开源MPP数据仓库 ➢ 2019年底跟随Pivotal被VMware收购 ## 谁在用Greenplum? ➢ 500多付费企业客户 成千上万的开源用户 ➢ 支撑巨大的生产集群: ☐ 250+ servers

工、实现规模化发展。 同时，天天拍车也正在布局二手车金融、二手车保卖等创新业务。截至目前，天天拍车已在全国超过50个多城市设立线下交易服务中心。 ## 案例-天天拍车 ## 需求：利用GP自建数据仓库面临的数据集成问题 支持MySQL的全量以及增量备份 支持Oracle的全量以及增量备份 支持SQL Server的全量同步 对于增量备份可以支持准实时的同步也可以支持延时同步 同步软件不会对源库造成负载上升的问题

2017年10月19–21日 咨询热线：010-64738142 ·2015年至今 美团点评酒旅事业群 ·负责酒旅搜索排序推荐 ·负责酒旅数据仓库和数据产品建设 ·2014年之前 美团网技术部数据组 ·参与数据平台搭建 ·负责全平台数据仓库和数据产品建设 ·2011年 百度电子商务事业部 ·有啊商城的开发 ·2010年毕业于中科院计算所 ## 美国点评 技术团队 ## Outline 搜索少/无结果推荐 2016Q2 详情页推荐 2016Q3 酒旅交叉推荐 2016Q4 点评旅游推荐 酒店住宿 境内度假 境外度假 大交通 搜索/推荐 数据挖掘 数据产品 酒旅数据仓库 集团数据平台 ## 旅游推荐产品形态 上午10:49 ![Image](/uploads/documents/f/1/e/8/f1e818b436be25cd166e7ae6238e03c8/p8_1

21.jpg) GP25  数据仓库  ![Image](/uplo

/c/8/d/a/c8da7490ed438c168c9dd30fc6b7f850/p2_1.jpg) ## 缪长风 ● 2010年初加入支付宝，负责Oracle RAC和Greenplum数据仓库 ● 有幸参与了Oracle RAC到 Greenplum再到Hadoop以及最终到ODPS的架构演进工作。 ● 2012年起，转至阿里巴巴大数据团队，负责Hbase/OTS业务支撑，期间多次负责阿里大数据双11架构和稳定性工作 PostgreSQL 未来演进 ## AnalyticDB for PostgreSQL 在线MPP数据仓库服务 简单易用、海量扩展、兼容部分Oracle 语法生态、既支持在线交互分析，也支持离线数据处理。AnalyticDB for PostgreSQL（云Greenplum）低成本，快速构筑在线企业数据仓库。  ## 1 ：实时数仓场景 通过

## 传统数据仓库架构 然而，随着数据量的不断攀升，企业对数据仓库的要求也越来越高，在使用过程中，传统 MPP 数据库解决方案迎来了一系列的瓶颈： 传统数据仓库的计算和存储是紧密耦合的，计算资源和存储资源按某一比例强绑定，因此用户在扩容时，必须同时扩容计算资源和存储资源，在扩缩容、运维、迁移上都存在一定的挑战。当企业遇到负载高峰时刻或需要紧急得到某个报表结果时，传统数据仓库无法及时扩资源， 掘数据价值所带来的商业机会。 传统数据仓库价格高昂的软硬件、开发运维人员的高昂薪资需要企业进行巨大的前期投入。传统数据仓库客户的生产环境资源利用率，无论是存储或是计算资源往往都不尽人意。随着存储和工作负载需求的日益增长，面临数据库的扩容和升级时，由于传统数据仓库架构存储和计算的紧密耦合，往往需要企业花费巨大的运维和时间成本，且操作繁琐。 传统 MPP 数据仓库架构存在 “木桶效应”，集群整体执行速度取决于最 引擎和数据接口来实现湖仓一体化架构。通过云原生大数据服务以更低成本满足企业业务高弹性和敏捷性的需求。 PieCloudDB 打破了数据湖与数据仓库割裂的体系，架构上实现了将数据湖的灵活性、生态丰富与数据仓库的企业级能力充分融合，帮助企业构建数据湖和数据仓库融合的数据管理平台。PieCloudDB 内置的 foreign-data wrapper（FDW）模块，让用户可以访问 HDFS、MySQL、Oracle

98b3d2ca5ab52d44cfe0bd9d7d1dfbef/p2_3.jpg) ## Greenplum: 简介 ## 推动数据依赖型企业的发展 Greenplum数据引擎软件为新一代数据仓库所需的大规模数据和复杂查询功能所设计 ## 全球各地的一些Greenplum客户 ## 亚太地区 ## 欧洲、中东、非洲 ## 北美  ## 数据仓库工作量：数据膨胀 面临的新难题是如何处理大规模数据  ## 电信 欺诈分析 客户流失分析 响应时间 流量分析 产品关联/捆绑 ## 当今的数据仓库方案 主流 基于硬件 ORACLE $ ^{®} $ ![Image](/uploads/documents/9/8/b/3/98b3d2ca5ab52d44cfe0bd9d7d1dfbef/p10_1

的逻辑架构 ..... 11 2.2.2 MaxCompute 产品特性 ..... 11 3 MaxCompute 迁移场景分析 ..... 15 3.1 迁移基于 Hadoop 的数据湖/数据仓库业务负载 ..... 15 3.2 不同的网络环境及部署形态迁移 ..... 17 4 Hadoop 到 MaxCompute 迁移工具介绍 ..... 17 4.1 MMA (MaxCompute doop 越来越复杂的技术架构和运维成本、平台的稳定性和安全性、资源的弹性伸缩能力都遇到了瓶颈，严重阻碍了客户数据业务的发展。随着云计算技术的发展和普及，越来越多的企业客户选择数据上云，在云上构建数据仓库。以云数仓、云计算为核心的企业服务架构成为新一代大数据建站的主流趋势。MaxCompute 作为云数仓、云计算的核心引擎，承载了越来越多企业客户的数据业务和数据资产，免运维、低成本、高度安全和稳定 Hadoop 及开源生态与阿里云大数据生态对比 #### 2.1.1 主流大数据体系架构 Hadoop 及开源生态由一系列的开源组件共同组成，很多用户基于 Hadoop 及开源生态组件构建企业数据仓库/数据湖、机器学习、实时分析、BI 报表等大数据应用。我们常见的大数据架构的逻辑组件关系如下图所示： ![Image](/uploads/documents/7/d/f/8/7df8f3b54c