Greenplum备份恢复浅析 姓名：张文杰 邮箱：zhuodao.zwj@alibaba-inc.com 公司：阿里云 2017 年象行中国（杭州 站）第一期 Greenplum数据备份恢复： 1. 数据量较大 2. 不能完全使用Xlog日志备份 3. 需要保证数据完整性和一致性 2017 年象行中国（杭州 站）第一期 Greenplum提供了： 1. 非并行备份和恢复： -- --pg_dump和pg_dumpall（pg_restore） --copy、psql 2. 并行备份和恢复 --gpcrondump（gpdbrestore） 2017 年象行中国（杭州 站）第一期 并⾏备份和恢复 gpcrondump gpdbrestore 2017 年象行中国（杭州 站）第一期 gpcrondump⽤法(1/3) gpcrondump -x database_name 来指定唯一时间戳来标示某个备份集 文件，其中如果当前备份目录中存在更未来的备份集，则备份报错。 gpcrondump命令使用-t 或者--table-file，-T或者--exclusive-table-file，-s或 者--schema-file，-S或者--exclusive-schema-file灵活指定需要全量备份的某 个table或者某个schema，其中-s和-t选项不能同时使用

GP ： Greenplum 数据库 Master ： GP 的控制节点/实例 Standby ： GP 的备用控制节点/实例 Host(主机) ： GP 的一台独立的机器设备 Instance ： GP 的计算实例，很多时候也叫 Segment Primary ： GP 的主计算实例 Mirror ： GP 的镜像计算实例 MPP ： 大规模并行处理 ....................... - 325 - 第十五章：备份与恢复 .......................................................................................................... - 327 - 备份与恢复概述 ................................ ....................... - 327 - 串行备份 pg_dump ........................................................................................................ - 328 - 并行备份 gpbackup 与 gprestore ..............

. 9 使用 DataStore 策略配置 SQLite 备份 ................................................ 9 第 3 章 NetBackup for SQLite 备份和还原 ............................... 11 关于 SQLite 数据库备份 .............................. 11 执行 SQLite 备份 .......................................................................... 12 验证备份信息 ............................................................................... 13 查询备份 ............ . 13 从 NetBackup 目录库文件中删除备份信息 ......................................... 14 关于还原 SQLite 备份 .................................................................... 14 执行 SQLite 备份还原 .......................

. 13 使用 DataStore 策略配置 SQLite 备份 ............................................... 15 第 4 章 NetBackup for SQLite 备份和还原 ............................... 16 关于 SQLite 数据库备份 .............................. 16 执行 SQLite 备份 .......................................................................... 17 验证备份信息 ............................................................................... 18 查询备份 ............ . 19 从 NetBackup 目录库文件中删除备份信息 ......................................... 19 关于还原 SQLite 备份 .................................................................... 20 执行 SQLite 备份还原 .......................

功能设计的方方 面面： 外部表数据加载是并行的、 查询计划执行是并行的、索 引的建立和使用是并行的， 统计信息收集是并行的、表 关联（包括其中的重分布或 广播及关联计算）是并行的，排序和分组聚合都是并行的，备份恢复 也是并行的，甚而数据库启停和元数据检查等维护工具也按照并行方 式来设计。得益于这种无所不在的并行，Greenplum 在数据加载和数 据计算中表现出强悍的性能，某行业客户对此深有体会 : 同样 某金融客户的测试结果，比 HIVE 高 8 倍左右），因此可以考虑在项 目中同时部署 MPP 数据库和 Hadoop，MPP 用于交互式高性能分析， Hadoop 用于数据 Staging、MPP 的数据备份或一些 ETL batch 的数据 清洗任务，两者相辅相成，在各自最擅长的场景中发挥其特性和优势。 Big Date2.indd 18 16-11-22 下午3:38 Greenplum 开放性的特性给客户带来的好处，不只是硬件厂商和型号的选择范围， 也包含工程实施过程的便利性。2014 年，该客户大数据平台需要进行 数据搬迁，Greenplum 采用了旧环境数据备份、传输、新环境恢复的 方案，停机时间实际只花了不到 4 天。 相比较而言，其他封闭式系统，需要压缩并备份数据，倒腾出整套设 备搬迁到新数据中心，然后再导入新数据，影响或暂停业务几十天。 两种方案从工程复杂度、人力投入、业务影响来说，开放式架构所带 来的便利和优势体现的淋漓尽致。

四 数据迁入-TiDB Data Migration 16 增量数据迁出-TiCDC 17 数据导入-TiDB Lightning 数据导出-Dumpling ....... 3.2 备份和恢复- Backup&Restore 18 3.3 安装部署 19 TiUP TiDB Operator 3.4 运维和可视化管理- TiDB Dashboard 21 第四章 TiDB Cloud 7 监控告千 v v 5 | 过直和于 全晶数据备份/才复 v v 增量数据备份/才复 v v 快速备份复 v v 全量数据进加加载 v v | 支持自定义导出过滤条件 *。 ”多种导出格式，目前支持 SQL、CSV 格式的导出 3.2 备份和恢复 - Backup & Restore Backup& Restore (简称 BR) 是TiDB 分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份 和恢复。功能和特点如下 * 性能可水平扩展 - 备份速度: ~500MB/s* TiKV 节点数 (基于 IntelXeon E5+ NVMe

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 40 2.4.8 备份与恢复 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 161 6.3 备份与恢复 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 610 11.2.6 TiDB 集群备份与恢复 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 40 2.4.8 备份与恢复 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 153 6.3 备份与恢复 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 589 11.2.6 TiDB 集群备份与恢复 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

◊ 数据备份 ◊ Repair Kit ◊ 组合方案 SQLite 恢复 ◊ 微信聊天记录只存客户端 ◊ SQLCipher 加密数据库 问题背景 ◊ SQLite 概率性损坏 ◊ 1/20,000 ~ 1/10,000 ◊ 256MB ~1%，1GB ~1‰ ◊ 设备断电、kernel crash、空间不足 问题背景 ◊ 问题背景 ◊ 常规做法 ◊ 数据备份 ◊ Repair 问题背景 ◊ 常规做法 ◊ 数据备份 ◊ Repair Kit ◊ 组合方案 SQLite 恢复 ◊ 主要考虑因素 ◊ 恢复成功率 ◊ 空间大小 ◊ 性能 ◊ 加密 数据备份 备选方案 方案 优点 缺点 文件复制 + 压缩 实现简单 非原子操作 Backup API 热备份 稍慢 .dump （SELECT 输出） 有选择备份 备选方案 测试： ~50MB，10W + 压缩 Backup + 压缩 dump + 压缩 14 32 18 备份耗时(秒) ◊ 基于 dump + 压缩 ◊ 加密保存 ◊ 自定义二进制格式 ◊ 多线程流水线 ◊ 只备份不可恢复数据 ◊ 灭屏充电时备份 我们的方案 性能效果 100% 100% 254% 142% 备份速度(条/秒) 恢复速度(条/秒) 原始 dump 实现 我们的方案 5469

用 切 换 集 群 节 点 管 理 扩 容 缩 容 数 据 库 及 实 例 迁 移 过 载 保 护 机 制 总体架构 分 布 式 监 控 资源管理|资源调度 复制与迁移|高可用保障|备份恢复 自 动 化 运 维 应用 DB中间件 数据存储 应用 VIP 告警分析 告警发送 指标画图 趋势预测 自定义脚本 Open API 数据校验 实例迁移 秒级监控诊断 限制容器内存，且内存不超卖。通过—memory限制内存，同时结合MySQL自身参数控制 几个内存大户(比如buffer_pool等)，最后配合lxcfs增强隔离性。 IO方面由于我们采用挂载宿主机本地的磁盘设备，还不能做到彻底隔离。所以对于高IO的实 例使用的是PCIE-SSD。磁盘空间方面，我们在申请时会预估出一个量，使用超过80%的时候 会结合本地磁盘空间评估是否有足够空间扩容，若宿主机剩余空间不足会启动迁移扩容流程 •慢日志分析 •慢日志查看 •手动备份 手工备份 定时备份 备份列表 恢复 重建slave 实例 获 取 备 份 备份 备份 备份系统 多样化备份： 1.物理备份： 通过xtrabackup备份20G以上的实例。 2.逻辑备份： 通过mydumper备份20G以下的实例或备份指定表。 备份策略： 1.每日自动化备份。 2.DBA临时手工备份。 过载保护 alert Kill