Pivotal ## Greenplum 6新特性: 在线扩容工具GPexpand剖析 杜佳伦 (jdu@pivotal.io) ## 大纲 • Greenplum 集群部署 • GPExpand简介与具体用法 • Greenplum 6中GPExpand的改进与实现 ## Greenplum 集群部署 ![Image](/uploads/documents/3/4/f/6/34f6b |numsegments|表分布在多少个节点上| |diskkey|分布列的序号| |distclass|分布列的操作类| ## GPExpand简介与具体用法 - GPExpand是Greenplum的扩容工具，可以为集群增加新的节点来支持更大容量的存储和更高的计算能力。 - 随着Greenplum一起安装发布，在$GPHOME/bin下面，和其他辅助工具，如gpstart, gpstop, gpa - postgres下创建gpexpand schen - gpexpand schema下面会创建几 - status - 扩容状态 - status_detail —将所有需要扩容的表都存到这个表里 - expansion_progress —记录扩容时的状态 ![Image](/uploads/documents/3/4/f/6/34f6beb6f1d45723fa9edbbc69d70e99/p12_1

6.1.1 使用 TiUP 升级 TiDB..... 139 6.1.2 使用 TiDB Operator..... 143 6.2 扩缩容..... 143 6.2.1 使用 TiUP 扩容缩容 TiDB 集群..... 143 6.2.2 使用 TiDB Operator..... 153 6.3 备份与恢复..... 153 6.3.1 使用 BR 工具（推荐）.... 公司自主设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP) 的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性。目标是为用户提供一站式 OLTP (Online Transactional Processing)、HTAP 解决方案。TiDB 适合高可用、强一致要求较高、数据规模较大等各种应用场景。 #### 2.1.1 五大核心特性 ## · 一键水平扩容或者缩容 得益于 TiDB 存储计算分离的架构的设计，可按需对计算、存储分别进行在线扩容或者缩容，扩容或者缩容过程中对应用运维人员透明。 ## · 金融级高可用 数据采用多副本存储，数据副本通过 Multi-Raft 协议同步事务日志，多数派

。Kubernetes 本质是一个最终一致性的系统 。 关注单个对象的最终状态 。 分片多点写，避免写单点 ， 分片内部消息严格有序 届分请间消息可以乱序 。， 读、写、watch 能力均可以水平扩展 充 欢迎 尝 联系邮箱: xuchen.xiaoying@bytedance.com 扫码关注 KubeBrain: 【议题反馈】高性能 Kubernetes

内容提要 - 系统设计分析与架构 - 多种上下游适配 - 高吞吐/低延迟问题探究 - 高可用与水平扩展 - 自动化运维 - Go的应用 ## 系统设计分析与架构 ## 构建系统的挑战 每天数千亿数据点 任务切分粒度 每天百TB数据量 1 高吞吐量 4 水平扩展 机器扩容 高峰期每分钟近200GB数据量 master节点failover 5 高可用 分钟级数据延迟 分钟级数据延迟 ② 低延迟 server节点无状态 挑战 七牛云存储 自动调度/负载均衡 时序数据库 大任务隔离 3 适配多种下游 6 自动化运维 日志检索 快速扩容/缩容 远端HTTP服务 监控 ## export service系统全貌 ![Image](/uploads/documents/7/1/6/b/716b45ba07ae342152eb1f7952269e99/p7_2 压力感知与退避算法 ## 简单·可信赖 如何感知上下游压力 · 响应时间 特定错误码 · 超时错误 快速启动还是慢启动 · 速度的控制 退避策略 • 起始阶段慢增长 指数增长 ## 高可用与水平扩展 ## 简单·可信赖 ## master/server架构 • master/server间采用golang rpc通信 • server上报心跳证明自己存活，并汇报所执行任务的情况 -

• 高性能 • 支持水平扩展 • 无单点故障 ## Go语言特性 • 静态的、编译的 • 自动内存回收 • 命令式编程 • 函数可以作为值 • 面向并发 • 内置RPC支持 ## 推送服务器要求的应对 - 高并发 - goroutine - 可靠性 - 使用Redis暂存消息 - 高性能 - 静态编译语言 - 支持水平扩展 - 使用RPC组成集群

来自：中国科学院《互联网周刊》 ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 ## 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 ## 可用性低   ## 系统扩容难   优化后 ## 系统扩容 北京IDC 合肥IDC 广州IDC 系统能够任意水平扩容 ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 应用实践以及经验教训 • 未来规划 ## 未来规划 • 异地多活架构平台化

五年C/C++使用经验，一年Golang ## 内容提要 ## CONTENTS • 程序开发的需求 • GoLang特性 - Go开发mysql中间件 - 整体方案 - 分表路由 - 故障切换 - 平滑扩容 - 系统运维 ## 程序开发的需求 • 语言特性精炼，容易入门 • 开发效率高，代码逻辑清晰 • 运行性能强，节省机器资源 • 部署维护方便 • 生态圈完善 ## Golang特性 • 平滑上下线Mysql。 • 主备自动切换(主-主模式)。 • 分表设计——按照Hash分表 • 分表设计——按照范围分表(年、月、日、整形) • 数据库表在多个mysql实例间平滑扩容 - 大表拆分为多个子表情况下的平滑扩容 ## 系统整体方案 ## • 现存问题 • 数据库访问基本采用直连方式 - 无法满足数据访问平台化要求 • 配置管理方式落后，运维压力大 ## · 为什么采用Go来实现 /5/2/3/e5234ad17981322c5e5ac8cc7dfbe9c6/p12_1.jpg) ## 在线平滑扩容 ## • 数据迁移形式 • 表迁移：整张表的数据从一个Mysql迁移到另一个 • 表拆分：数据表的部分数据从一个Mysql迁移到另一个 ## · 扩容流程 • 工作方式：mysqldump 导出存量数据 + 通过 binlog 追增量 • 工作过程 首先，导出存量数据

8.1.2 使用 TiDB Operator ··· 610 8.1.3 TiFlash v6.2 升级帮助 ··· 610 ## 8.2 扩缩容 ··· 612 8.2.1 使用 TiUP 扩容缩容 TiDB 集群 ··· 612 8.2.2 使用 TiDB Operator ··· 622 ## 8.3 备份与恢复 ··· 622 8.3.1 TiDB 备份与恢复概述 ··· 622 布式关系型数据库，是一款同时支持在线事务处理与在线分析处理(Hybrid Transactional and Analytical Processing, HTAP)的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时HTAP、云原生的分布式数据库、兼容MySQL5.7协议和MySQL生态等重要特性。目标是为用户提供一站式OLTP(Online Transactional Processing)、OLAP(Online 用、强一致要求较高、数据规模较大等各种应用场景。 关于TiDB的关键技术创新，请观看以下视频。 ## 2.1.1 五大核心特性 ## ·一键水平扩容或者缩容 得益于TiDB存储计算分离的架构的设计，可按需对计算、存储分别进行在线扩容或者缩容，扩容或者缩容过程中对应用运维人员透明。 ## · 金融级高可用 数据采用多副本存储，数据副本通过Multi-Raft协议同步事务日志，多数派写入成

[OCR图片](/uploads/documents/0/1/5/015b5374ea3470fe53ee53b06da004ec/b4aa732e.png) 8.3 扩缩容 ··· 747 8.3.1 使用 TiUP 扩容缩容 TiDB 集群 ··· 747 8.3.2 使用 TiDB Operator ··· 758 8.4 备份与恢复 ··· 758 8.4.1 TiDB 备份与恢复概述 ··· 758 8 ··· 1592 12.9.4 常见问题 ··· 1592 12.10 PD 微服务使用文档 ··· 1593 12.10.1 PD 微服务 ··· 1593 12.10.2 使用 TiUP 扩容缩容 PD 微服务节点 ··· 1595 12.10.3 TSO 配置文件描述 ··· 1601 12.10.4 TSO 配置参数 ··· 1604 12.10.5 Scheduling 配置文件描述 布式关系型数据库，是一款同时支持在线事务处理与在线分析处理(Hybrid Transactional and Analytical Processing, HTAP)的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时HTAP、云原生的分布式数据库、兼容MySQL协议和MySQL生态等重要特性。目标是为用户提供一站式OLTP(Online Transactional Processing)、OLAP(Online

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 701 7.2.3 使用 TiUP 在原有 TiDB 集群上新增或扩容 TiCDC 组件· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 701 7.2.4 使用 TiUP 在原有 TiDB 集群上移除或缩容 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1000 8.3.1 使用 TiUP 扩容缩容 TiDB 集群· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1851 12.10.2 使用 TiUP 扩容缩容 PD 微服务节点· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1853