Greenplum备份恢复浅析

• 语言: 中文（简体）
• 格式: .pdf
• 来源: www.postgres.cn

摘要

文档详细分析了Greenplum数据库的备份与恢复方法，强调了数据量大、不能完全依赖Xlog日志备份以及保证数据完整性和一致性的需求。介绍了非并行备份恢复工具如pg_dump、pg_dumpall、copy和psql，以及并行备份恢复工具gpcrondump和gpdbrestore。并行恢复适用于节点数量相同且备份文件位于对应segment主机的情况，而非并行恢复适用于节点数量变化的情况。文档还详细说明了备份文件的命名规则和增量备份的操作类型。

AI总结

## Greenplum备份恢复浅析

### 一、Greenplum备份恢复的特点
1. **数据量较大**
2. **不能完全使用Xlog日志备份**
3. **需要保证数据完整性和一致性**

---

### 二、Greenplum提供的备份恢复方式
#### 1. 非并行备份和恢复
- 工具：`pg_dump`、`pg_dumpall`（配合`pg_restore`）、`copy`、`psql`
- 适用场景：
- 数据恢复前后的数据库节点个数不同
- 备份集完整且位于master所在的机器上

#### 2. 并行备份和恢复
- 工具：`gpcrondump`（配合`gpdbrestore`）
- 优势：可以提高恢复速度
- 适用场景：
- 恢复的实例节点个数与备份时相同
- 备份文件位于对应的segment host上

---

### 三、并行备份和恢复的实现
1. **gpcrondump**
- 使用`--list-backup-files`可以列举备份文件，分为两类：
- **Pipes files**：包含每个segment的数据文件和master的`post_data`文件（包含索引、触发器、主键约束等）
- **Regular files**：包含辅助文件（如`create database`语句文件、备份状态报告文件等）
- 核心文件命名规则：`xxx_gp_dump_0_2_20170206160253.gz`
- `xxx`：用户定义的文件前缀
- `0`：表示非master节点
- `2`：表示对应dbid的segment
- `20170206160253`：时间戳

2. **gpdbrestore**
- 支持并行恢复，需确保备份文件的命名规则与恢复时的节点结构一致

---

### 四、非并行数据恢复步骤
1. 创建数据库：`createdb database_name`
2. 恢复主数据文件：

   psql database_name -f /gpdb/backups/gp_dump_1_1_20120714
   psql database_name -f /gpdb/backups/gp_dump_0_2_20120714
   psql database_name -f /gpdb/backups/gp_dump_0_3_20120714
   psql database_name -f /gpdb/backups/gp_dump_0_4_20120714
   psql database_name -f /gpdb/backups/gp_dump_0_5_20120714
   psql database_name -f /gpdb/backups/gp_dump_0_5_20120714_post_data

3. 处理序列和搜索路径：

   gunzip -c /data/gpdb/master/gpseg-1/db_dumps/20150112/gp_dump_1_1_20150112140316.gz | egrep "SET search_path|SELECT pg_catalog.setval" > schema_path_and_seq_next_val
   psql test_restore -f schema_path_and_seq_next_val

---

### 五、关键注意事项
1. **并行恢复**：需确保备份文件的命名规则与恢复时的节点结构一致
2. **非并行恢复**：需确保备份集完整且位于master所在的机器上
3. **数据一致性**：备份和恢复过程中需对`pg_class`加锁，确保数据完整性和一致性
4. **备份文件管理**：需定期清理旧备份集，并确保备份文件的安全性

---

### 六、总结
Greenplum的备份恢复方案针对大规模数据设计，提供了非并行和并行两种方式。非并行备份适合节点数变化的场景，而并行备份则通过`gpcrondump`和`gpdbrestore`实现高效恢复。在实际操作中，需注意备份文件的命名规则、数据完整性和一致性，以及备份文件的存储和管理。