VMware Tanzu Greenplum 6 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: docs.vmware.com

摘要

VMware Tanzu Greenplum 6 是一个基于 PostgreSQL 的大规模并行处理 (MPP) 数据库，支持 SQL 和 MapReduce 并行处理，适用于大规模数据仓库和分析。它通过自动分区数据和并行查询，提供高性能和高扩展性。文档详细介绍了其架构、查询处理、数据存储、高可用性、安全性及性能优化等功能，包括对 QuickLZ 压缩、数据连接器和扩展模块的支持。此外，还讨论了与开源 Greenplum Database 的区别及新增功能。

AI总结

VMware Tanzu Greenplum 6 是一个基于 PostgreSQL 的大规模并行处理（MPP）数据库服务器，专为支持下一代数据仓库和大规模分析处理而设计。它通过自动分区数据和并行查询，使得一组服务器能够作为一个超级计算机运行，显著提升处理速度。以下是其核心功能和特点的总结：

### 1. **概述**
- **功能**：支持 SQL、MapReduce 并行处理，数据量从数百 GB 到数百 TB。
- **性能**：通过并行查询和自动数据分区，显著提高处理速度，比传统数据库快数十倍甚至数百倍。

### 2. **与开源版本的区别**
VMware Tanzu Greenplum 6 包含开源版本的所有功能，并新增以下特性：
- **产品打包与安装脚本**：提供方便的安装和配置工具。
- **QuickLZ 压缩支持**：受开源限制，QuickLZ 仅在 VMware 版本中可用。
- **数据连接器**：支持 Greenplum-NiFi、Greenplum-Spark、Greenplum-Informatica、Greenplum-Kafka 等。
- **增强模块**：提供 advanced_password_check、diskquota 等 contrib 模块。

### 3. **架构与组件**
- **主节点（Master）**：负责接收和解析查询，协调段节点执行任务。
- **段节点（Segments）**：存储数据并执行查询任务，支持高可用性和容错机制。
- **Greenplum Interconnect**：提供节点间通信，确保系统作为一个整体运行。

### 4. **安装与升级**
- **平台要求**：需满足特定的操作系统和硬件要求。
- **步骤**：包括软件安装、SSH 配置、数据存储区域创建、系统初始化等。
- **升级**：支持从 Greenplum 4.x/5.x 升级到 6.x，需注意数据迁移和性能测试。

### 5. **性能与监控**
- **存储方式**：支持 Append-optimized 存储，提供行和列存储选项，支持压缩。
- **查询优化**：使用 GPORCA 进行查询规划，提升性能。
- **监控工具**：提供命令行工具和管理 utilities，用于监控和管理。

### 6. **安全性**
- **配置**：包括端口管理、客户端认证、数据库授权和审计。
- **注意事项**：VMware 支持 PostgreSQL 9.4，需注意第三方安全工具的兼容性。

### 7. **新特性与变更**
- **存储插件 API**：支持自定义备份恢复插件。
- **新哈希算法**：提升扩展性和性能，但可能影响 COPY 操作在 CPU 饱和系统中的表现。
- **Beta 功能**：如 PXF 连接器写 Parquet 数据。

### 总结
VMware Tanzu Greenplum 6 是一个功能强大、高度可扩展的数据库系统，适合处理大规模数据分析任务。其基于 PostgreSQL 的架构提供了丰富的功能和性能优化，同时 VMware 的增强功能使其在企业级应用中更具竞争力。