Greenplum 架构概览

• 语言: 中文（简体）
• 格式: .pdf
• 来源: smartkeyerror.oss-cn-shenzhen.aliyuncs.com

摘要

文档详细阐述了Greenplum的架构概览，包括其Master-Segment架构模式、分区与分片的区别及应用场景、PostgreSQL的进程模型及其与Greenplum的查询流程的衔接。文档还介绍了Greenplum的高可用性设计，包括Master节点、Standby Master节点和Segment节点的功能分工，并对比了Master-Slave模型与Master-Segment模型的区别。Greenplum支持多态存储，允许用户选择行存储或列存储，并支持外部存储如S3和HDFS。基本查询流程通过Query Dispatcher（QD）和Query Executor（QE）进程完成，实现了分布式查询计划的生成和执行。

AI总结

《Greenplum架构概览》文档内容总结如下：

### 1. Greenplum基础架构
Greenplum（简称GP）是一种分布式数据库，采用Master-Segment架构：
- **Master节点**：负责管理和协调，不存储数据，作为数据库入口。
- **Standby Master节点**：为Master提供高可用支持。
- **Segment节点**：存储数据并执行计算，一个节点上通常运行多个PostgreSQL实例。

### 2. Master-Segment与Master-Slave的区别
- **Master-Slave**：Master和Slave数据相同，Master处理所有请求，Slave只负责数据复制（如MySQL主从）。
- **Master-Segment**：Master不存储数据，数据分片存储在多个Segment节点上，支持数据分区和复制。

### 3. 数据管理
- **分区与分片**：
- **分区**：将单表拆分为多表存储。
- **分片**：将数据分布到多个节点，解决单节点性能瓶颈。
- **存储支持**：支持多态存储（行存储、列存储）及外部存储（如S3、HDFS）。

### 4. 查询流程
- **客户端请求**：Client通过libpq库向Master发起查询。
- **Query Dispatcher（QD）**：Master创建QD进程解析、优化查询并生成分布式查询计划。
- **Query Executor（QE）**：Segment节点上的QE执行查询，QD汇总结果返回给Client。

### 5. PostgreSQL进程模型
- 采用C/S模型，Client连接时Master创建子进程处理请求。
- 通信通过共享内存和libpq库完成。

Greenplum通过Master-Segment架构实现数据分区和高可用，并优化查询性能，适合大数据场景。