Greenplum备份恢复浅析 姓名：张文杰 邮箱：zhuodao.zwj@alibaba-inc.com 公司：阿里云 2017 年象行中国（杭州 站）第一期 Greenplum数据备份恢复： 1. 数据量较大 2. 不能完全使用Xlog日志备份 3. 需要保证数据完整性和一致性 2017 年象行中国（杭州 站）第一期 Greenplum提供了： 1. 非并行备份和恢复： -- --pg_dump和pg_dumpall（pg_restore） --copy、psql 2. 并行备份和恢复 --gpcrondump（gpdbrestore） 2017 年象行中国（杭州 站）第一期 并⾏备份和恢复 gpcrondump gpdbrestore 2017 年象行中国（杭州 站）第一期 gpcrondump⽤法(1/3) gpcrondump -x database_name 来指定唯一时间戳来标示某个备份集 文件，其中如果当前备份目录中存在更未来的备份集，则备份报错。 gpcrondump命令使用-t 或者--table-file，-T或者--exclusive-table-file，-s或 者--schema-file，-S或者--exclusive-schema-file灵活指定需要全量备份的某 个table或者某个schema，其中-s和-t选项不能同时使用

GP ： Greenplum 数据库 Master ： GP 的控制节点/实例 Standby ： GP 的备用控制节点/实例 Host(主机) ： GP 的一台独立的机器设备 Instance ： GP 的计算实例，很多时候也叫 Segment Primary ： GP 的主计算实例 Mirror ： GP 的镜像计算实例 MPP ： 大规模并行处理 ...................................................................................... - 31 - 第四章：配置客户端认证 ............................................................................................. .......................................................................................... - 48 - 配置与使用资源组 ............................................................................................

7 第 2 章 配置 NetBackup for SQLite .............................................. 9 使用 DataStore 策略配置 SQLite 备份 ................................................ 9 第 3 章 NetBackup for SQLite 备份和还原 ..... 11 关于 SQLite 数据库备份 ................................................................. 11 执行 SQLite 备份 .......................................................................... 12 验证备份信息 .............. ...... 13 查询备份 ..................................................................................... 13 从 NetBackup 目录库文件中删除备份信息 ......................................... 14 关于还原 SQLite 备份 ...........

第 3 章 配置 NetBackup for SQLite ............................................ 13 nbsqlite.conf 配置文件 ................................................................... 13 使用 DataStore 策略配置 SQLite 备份 .... 15 第 4 章 NetBackup for SQLite 备份和还原 ............................... 16 关于 SQLite 数据库备份 ................................................................. 16 执行 SQLite 备份 .............................. ............................................ 17 验证备份信息 ............................................................................... 18 查询备份 .........................................................

目录结构，都有各自的一套 Postgresql 数据库守护进 程（甚至可以通过 UT 模式进行单个实例的访问）。正因为如此，甚 至一个运行在单节点上的 GreenplumDB 也是一个小型的并行计算架 构，一般一个节点配置 6~8 个实例，相当于在一个节点上有 6~8 个 Postgresql 数据库同时并行工作，优势在于可以充分利用到每个节点 的所有 CPU 和 IO 能力。 Greenplum 单个节点上运行能力比其它数据库也快很多，如果运行在 功能设计的方方 面面： 外部表数据加载是并行的、 查询计划执行是并行的、索 引的建立和使用是并行的， 统计信息收集是并行的、表 关联（包括其中的重分布或 广播及关联计算）是并行的，排序和分组聚合都是并行的，备份恢复 也是并行的，甚而数据库启停和元数据检查等维护工具也按照并行方 式来设计。得益于这种无所不在的并行，Greenplum 在数据加载和数 据计算中表现出强悍的性能，某行业客户对此深有体会 : 同样 某金融客户的测试结果，比 HIVE 高 8 倍左右），因此可以考虑在项 目中同时部署 MPP 数据库和 Hadoop，MPP 用于交互式高性能分析， Hadoop 用于数据 Staging、MPP 的数据备份或一些 ETL batch 的数据 清洗任务，两者相辅相成，在各自最擅长的场景中发挥其特性和优势。 Big Date2.indd 18 16-11-22 下午3:38 Greenplum

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 39 2.4.5 配置管理 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 40 2.4.8 备份与恢复 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 77 4 部署标准集群 77 4.1 TiDB 软件和硬件环境建议配置 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 77

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 39 2.4.5 配置管理 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 40 2.4.8 备份与恢复 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 70 4 部署标准集群 70 4.1 TiDB 软件和硬件环境建议配置 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 70

四 数据迁入-TiDB Data Migration 16 增量数据迁出-TiCDC 17 数据导入-TiDB Lightning 数据导出-Dumpling ....... 3.2 备份和恢复- Backup&Restore 18 3.3 安装部署 19 TiUP TiDB Operator 3.4 运维和可视化管理- TiDB Dashboard 21 第四章 TiDB Cloud 容或者缩容过程中对应用运维人员透明。 金融级高可用 数据采用多副本存储，数据副本通过 Multi-Raft 协议同步事务日志，多数派写入成功事务才能 提交，确保数据强一致性有少数副本发生故障时不影响数据的可用性。可按需配置副本地理位 置、副本数量等策略满足不同容灾级别的要求。 钢 实时HTAP 提供行存储引擎 TiKV、列存储引擎 Tiflash 两款存储引擎，Tiflash 通过 Multi-Raft Learner 7 监控告千 v v 5 | 过直和于 全晶数据备份/才复 v v 增量数据备份/才复 v v 快速备份复 v v 全量数据进加加载 v v |

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 45 2.4.5 配置管理 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 46 2.4.9 备份与恢复 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 85 4 部署标准集群 85 4.1 TiDB 软件和硬件环境建议配置 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 85

4核8G 8核8G 8核16G 16核16G 16核64G 32核64G 32核128G 一主一从 分片集群 一主多从 SATA-SSD PCIE-SSD 大容量磁盘SAS 配置 DB架构 硬件选型 机房 A机房 B机房 C机房 D机房 容器化之后的MySQL就是一个私有DB云 主 从 集 群 创 建 分 片 集 群 创 建 集 成 高 可 用 方 案 巨 资源管理|资源调度 复制与迁移|高可用保障|备份恢复 自 动 化 运 维 应用 DB中间件 数据存储 应用 VIP 告警分析 告警发送 指标画图 趋势预测 自定义脚本 Open API 数据校验 实例迁移 秒级监控诊断 慢日志分析 资源池调度 调度规则 容器调度 资源池 容器及实例创建 应用交付 资源申请 IO类型 配置 为了保证MySQL的高可用，需要在D 限制容器内存，且内存不超卖。通过—memory限制内存，同时结合MySQL自身参数控制 几个内存大户(比如buffer_pool等)，最后配合lxcfs增强隔离性。 IO方面由于我们采用挂载宿主机本地的磁盘设备，还不能做到彻底隔离。所以对于高IO的实 例使用的是PCIE-SSD。磁盘空间方面，我们在申请时会预估出一个量，使用超过80%的时候 会结合本地磁盘空间评估是否有足够空间扩容，若宿主机剩余空间不足会启动迁移扩容流程