128 访问 访问UDW数据仓库 数据仓库 1 客⼾端⼯具访问UDW 2 图形界⾯的⽅式访问UDW 数据导⼊ 数据导⼊ insert加载数据 copy加载数据 外部表并⾏加载数据 从hdfs加载数据 从mysql中导⼊数据 从oracle中导⼊数据 从ufile加载数据 开发指南 开发指南 1、连接数据库 2、数据库管理 3、模式管理 4、表格设计 5、加载数据 6、分区表 使⽤案例 案例⼀ 利⽤ logstash+Kafka+UDW 对⽇志数据分析 案例⼆ 基于UDW实现⽹络流分析 PXF 扩展 扩展 配置 PXF 服务 创建 EXTENSION 读写 HDFS ⽬录 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 4/206 194 196 198 198 198 200 201 pg_dump 导出数据 使⽤ psql 重建数据 利⽤ 利⽤ hdfs 外部表迁移数据 外部表迁移数据 1. 在原 greenplum 集群中创建 hdfs pxf 可写外部表 2. 将原 greenplum 集群表数据写⼊ hdfs 3. 在⽬的 greenplum 集群中创建 hdfs pxf 可读表 4. 从 hdfs 外部表中读取数据并写⼊⽬的 greenplum 集群 FAQs

·扩展性方面 Hadoop 架构支持单独增加数据节点或计算节点，依托于 Hadoop 的 SQL-On-Hadoop 系统，例如 HAWQ、SPARK 均可单独增加 计算层的节点或数据层的 HDFS 存储节点，HDFS 数据存储对计算 层来说是透明的； MPP 数据库扩展时，一般情况下是计算节点和数据节点一起增加 的，在增加节点后，需要对数据做重分布才能保证数据与节点的紧 耦合（重新 Hash 数据），进而保证系统的性能；Hadoop 系统不同，HAWQ 支持完全的 SQL 语法 和 SQL2003 OLAP 语法及 Cost-Base 的算法优化，让用户 就像使用关系型数据库一样使用 Hadoop。底层存储采用 HDFS， HAWQ 实现了计算节点和 HDFS 数据节点的解耦，采用 MR2.0 的 YARN 来进行资源调度，同时具有 Hadoop 的灵活伸缩的架构特性 和 MPP 的高效能计算能力。 当然，有得也有所失，虽然 HAWQ 构规范中，云化 ETL 是一个重 要的组成部分。云化 ETL 就是构架在 Hadoop 集群之上。Greenplum 提供了专用产品模块 gphdfs，Greenplum 通过 gphdfs 可以直接与 HDFS 上的数据进行交互，并且可以同时发挥 Greenplum 和 Hadoop 两者并行处理的优势。 Big Date2.indd 30 16-11-22 下午3:38 Greenplum

through queries. TABLE ‘SALES’ Jun Column-oriented HEAP (row-oriented) Oct Year -1 Year -2 External HDFS, S3 ... Less accessed, archived data. Supported formats include CSV, Binary, Avro, Parquet, etc RANGE(sdate) ... Ø Heap: 源自PG，固定页面 大小, 适合OLTP Ø Append Optimized: 没有 页面的概念，变长，行存、 列存、压缩，适合OLAP Ø 外部表: HDFS，S3，文件， 网络，命令，流式数据… Confidential │ ©2022 VMware, Inc. 16 Greenplum生态：Madlib Ø 在数据库内做机器学习 Ø 非常多的算法库

Inc. 13 Greenplum 支持多态存储，即单张用户表，可以根据访问模式的不同而使用不同的存储方式存储 不同的分区。例如根据数据的新、旧程度决定将数据存储至本地硬盘还是以外部表的方式存储在 HDFS 或者是 S3 中。Greenplum 提供以下存储方式: l 堆表 (Heap Table)：默认存储方式，同时也是 PostgreSQL 的默认存储方式。支持高效的更新 和删除操作，通常用于 的基础之 上按列进行存储，可对其使用不同的压缩算法进行压缩，对聚合查询有着天然的优势。 l 外部表：外部表的数据存储在外部，Greenplum 仅管理其元数据，支持多种外部数据源，例如 S3、HDFS、文件、Gemfire，以及多种数据格式譬如 Text、CSV、Avro、Parquet 等。 多态存储 Confidential │ ©2021 VMware, Inc. 14 多态存储

LOCATION Clause 468 Mapping the FORMAT Options 469 Example gphdfs to pxf External Table Mapping for an HDFS Text File 470 Verifying Access with PXF 470 Removing the gphdfs External Tables 470 Revoking Privileges Windows Users 733 Examples 733 Loading Data Using an External Table 734 Loading and Writing Non-HDFS Custom Data 734 Using a Custom Format 734 Importing and Exporting Fixed Width Data 735 Examples and changed features: PXF has improved its performance when reading a large number of files from HDFS or an object store. PXF bundles newer tomcat and jackson libraries. The PXF JDBC Connector now

LOCATION Clause 474 Mapping the FORMAT Options 475 Example gphdfs to pxf External Table Mapping for an HDFS Text File 475 Verifying Access with PXF 476 Removing the gphdfs External Tables 476 Revoking Privileges 6 Documentation VMware, Inc 30 Loading Data Using an External Table 725 Loading and Writing Non-HDFS Custom Data 726 Using a Custom Format 726 Importing and Exporting Fixed Width Data 726 Examples and changed features: PXF has improved its performance when reading a large number of files from HDFS or an object store. PXF bundles newer tomcat and jackson libraries. The PXF JDBC Connector now

LOCATION Clause 457 Mapping the FORMAT Options 459 Example gphdfs to pxf External Table Mapping for an HDFS Text File 459 Verifying Access with PXF 460 Removing the gphdfs External Tables 460 Revoking Privileges Windows Users 698 Examples 699 Loading Data Using an External Table 699 Loading and Writing Non-HDFS Custom Data 700 Using a Custom Format 700 Importing and Exporting Fixed Width Data 700 Examples and changed features: PXF has improved its performance when reading a large number of files from HDFS or an object store. PXF bundles newer tomcat and jackson libraries. The PXF JDBC Connector now

LOCATION Clause 455 Mapping the FORMAT Options 456 Example gphdfs to pxf External Table Mapping for an HDFS Text File 456 Verifying Access with PXF 457 Removing the gphdfs External Tables 457 Revoking Privileges Windows Users 697 Examples 697 Loading Data Using an External Table 698 Loading and Writing Non-HDFS Custom Data 698 Using a Custom Format 698 Importing and Exporting Fixed Width Data 699 Examples and changed features: PXF has improved its performance when reading a large number of files from HDFS or an object store. PXF bundles newer tomcat and jackson libraries. The PXF JDBC Connector now

LOCATION Clause 449 Mapping the FORMAT Options 450 Example gphdfs to pxf External Table Mapping for an HDFS Text File 451 Verifying Access with PXF 451 Removing the gphdfs External Tables 451 Revoking Privileges Windows Users 703 Examples 704 Loading Data Using an External Table 704 Loading and Writing Non-HDFS Custom Data 705 VMware Greenplum 6 Documentation VMware, Inc. 32 Using a Custom Format 705 Importing and changed features: PXF has improved its performance when reading a large number of files from HDFS or an object store. PXF bundles newer tomcat and jackson libraries. The PXF JDBC Connector now

LOCATION Clause 384 Mapping the FORMAT Options 385 Example gphdfs to pxf External Table Mapping for an HDFS Text File 385 Verifying Access with PXF 386 Removing the gphdfs External Tables 386 Revoking Privileges Documentation VMware, Inc 28 Examples 600 Loading Data Using an External Table 601 Loading and Writing Non-HDFS Custom Data 601 Using a Custom Format 601 Importing and Exporting Fixed Width Data 602 Examples and changed features: PXF has improved its performance when reading a large number of files from HDFS or an object store. PXF bundles newer tomcat and jackson libraries. The PXF JDBC Connector now