Pivotal ## Greenplum 6新特性: 在线扩容工具GPexpand剖析 杜佳伦 (jdu@pivotal.io) ## 大纲 • Greenplum 集群部署 • GPExpand简介与具体用法 • Greenplum 6中GPExpand的改进与实现 ## Greenplum 集群部署 ![Image](/uploads/documents/3/4/f/6/34f6b |numsegments|表分布在多少个节点上| |diskkey|分布列的序号| |distclass|分布列的操作类| ## GPExpand简介与具体用法 - GPExpand是Greenplum的扩容工具，可以为集群增加新的节点来支持更大容量的存储和更高的计算能力。 - 随着Greenplum一起安装发布，在$GPHOME/bin下面，和其他辅助工具，如gpstart, gpstop, gpa - postgres下创建gpexpand schen - gpexpand schema下面会创建几 - status - 扩容状态 - status_detail —将所有需要扩容的表都存到这个表里 - expansion_progress —记录扩容时的状态 ![Image](/uploads/documents/3/4/f/6/34f6beb6f1d45723fa9edbbc69d70e99/p12_1

五年C/C++使用经验，一年Golang ## 内容提要 ## CONTENTS • 程序开发的需求 • GoLang特性 - Go开发mysql中间件 - 整体方案 - 分表路由 - 故障切换 - 平滑扩容 - 系统运维 ## 程序开发的需求 • 语言特性精炼，容易入门 • 开发效率高，代码逻辑清晰 • 运行性能强，节省机器资源 • 部署维护方便 • 生态圈完善 ## Golang特性 语句不支持)。 ## 系统整体方案 ## • 系统功能 • 读写分离。 • 平滑上下线Mysql。 • 主备自动切换(主-主模式)。 • 分表设计——按照Hash分表 • 分表设计——按照范围分表(年、月、日、整形) • 数据库表在多个mysql实例间平滑扩容 - 大表拆分为多个子表情况下的平滑扩容 ## 系统整体方案 ## • 现存问题 • 数据库访问基本采用直连方式 - 无法满足数据访问平台化要求 e/5/2/3/e5234ad17981322c5e5ac8cc7dfbe9c6/p12_1.jpg) ## 在线平滑扩容 ## • 数据迁移形式 • 表迁移：整张表的数据从一个Mysql迁移到另一个 • 表拆分：数据表的部分数据从一个Mysql迁移到另一个 ## · 扩容流程 • 工作方式：mysqldump 导出存量数据 + 通过 binlog 追增量 • 工作过程 首先，导出存量数据

## 蚂蚁金服Service Mesh 渐进式迁移方案 2018.11.25 敖小剑 @ 蚂蚁金服 中间件 龙轼 @UC 基础研发部 ## 1 Service Mesh演进路线 2 实现平滑迁移的关键 3 DNS寻址方案的演进 4 DNS寻址方案的后续规划 总结 ## 蚂蚁金服主站落地：目标与现状  第一步：k8s 全面铺开 应用现状 部署在非k8s上 不是Service Mesh形态 Service Mesh演进路线 实现平滑迁移的关键 DNS寻址方案的演进 4 DNS寻址方案的后续规划 总结 ## 保证迁移前后服务间网络互通 背景：k8s内外网络打通，IP互通 ![Image](/uploads/do

来自：中国科学院《互联网周刊》 ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 ## 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 ## 可用性低   ## 系统扩容难   优化后 ## 系统扩容 北京IDC 合肥IDC 广州IDC 系统能够任意水平扩容 ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 应用实践以及经验教训 • 未来规划 ## 未来规划 • 异地多活架构平台化

点故障后需要业务进行预热，如果是对数据可靠性要求较高的敏感性业务，不建议使用单副本版，可选用双副本高可用版。 对 Redis 协议兼容性要求较高的业务 标准版完全兼容 Redis 协议，业务可以平滑迁移。 ## 单个 Redis 性能压力可控 由于 Redis 原生采用单线程机制，CPU 为单核能力，性能在8万 QPS 的业务建议使用。如果需要更高的性能要求，请选用集群版配置。 Redis 回滚实例或者克隆实例，有效的解决数据误操作等问题。 兼容性 云数据库 Redis 标准版在 Redis 2.8 基础上进行开发，100% 兼容 Redis 协议命令。自建的 Redis 数据库可以平滑迁移至 Redis 标准版。并且提供数据传输工具（DTS）可以进行增量的 Redis 迁移，保证业务平稳过渡。 ## 阿里云自研 故障探测切换系统（HA） 阿里云 Redis 服务封装 HA 大小的备份文件文件，会导致服务器网络出口爆增，磁盘顺序 IO 吞吐量高，期间会影响业务正常请求响应时间(以及其他连锁影响)。 ## 使用场景 对 Redis 协议兼容性要求较高的业务 标准版完全兼容 Redis 协议，业务可以平滑迁移。 Redis 作为持久化数据存储使用的业务 标准版提供持久化机制及备份恢复机制，极大的保证数据可靠性。 单个 Redis 性能压力可控 由于 Redis 原生采用单线程机制，性能在10w

虎牙直播在微服务改造的实践总结 239 虎牙在全球 DNS 秒级生效上的实践 249 叽里呱啦 Nacos 1.1.2 升级 1.4.1 最佳实践 267 服务发现最佳实践 281 Eureka 平滑迁移 Nacos 方案 281 Nacos 打通 CMDB 实现就近访问 288 跨注册中心服务同步实践 298 配置管理最佳实践 310 Nacos 限流最佳实践 310 Nacos 块的逻辑强耦合在一起，并且充斥着服务注册发现的一些概念。这使得 Nacos 的服务注册发现模块的逻辑变得复杂且难以维护，耦合了一致性协议层的数据状态，难以做到计算存储彻底分离，以及对计算层的无限水平扩容能力也有一定的影响。因此为了解决这个问题，必然需要对 Nacos 的一致性协议做抽象以及下 沉，使其成为 Core 模块的能力，彻底让服务注册发现模块只充当计算能力，同时为配置模块去外部数据库存储打下了架构基础。 型能够适配云上的通用模型。Zookeeper、Consul 和 Eureka 在开源层面都没有很明确的针对服务隔离的模型，Nacos 则在一开始就考虑到如何让用户能够以多种维度进行数据隔离，同时能够平滑的迁移到阿里云上对应的商业化产品。 

集群模式：一个消费组内的所有消费者共同消费一个 topic 中的消息，即分工协作，一个消费者消费一部分数据，启动负载均衡， 集群模式是非常普遍的模式，符合分布式架构的基本理念，即横向扩容，当前消费者如果无法快速及时处理消息时，可以通过增加消费者的个数横向扩容，快速提高消费能力，及时处理挤压的消息。 ### 2. 消费队列负载算法与重平衡机制 那集群模式下，消费者是如何来分配消息的呢？ 例如上面实例中 order_topic 。在 RocketMQ 中一个 topic 的队列数直接决定了最大消费者的个数，但 topic 队列个数的增加对 RocketMQ 的性能不会产生影响。 在实际过程中，对主题进行扩容(增加队列个数)或者对消费者进行扩容、缩容是一件非常寻常的事情，那如果新增一个消费者，该消费者消费哪些队列呢？这就涉及到消息消费队列的重新分配，即消费队列重平衡机制。 在 RocketMQ 客户端中会每隔 20s 去查询当前 168.x.x:9876 -k broker Permission -v 6 ### 1.8 RocketMQ 主题扩分片后遇到的坑 推荐语：RocketMQ 分片扩容后部分队列中的数据无法消费？ 消息组 接到某项目组反馈，topic 在扩容后出现部分队列无法被消费者，导致消息积压，影响线上业务？ 考虑到该问题是发送在真实的线上环境，为了避免泄密，本文先在笔者的虚拟机中来重现问题。 ## 一、 案情回顾

TiDB 是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP) 的开源分布式关系型数据库产品，具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性，向用户提供一站式 OLTP、OLAP、HTAP 解决方案，适用于对高可用、一致性要求高、数据规模较大等应用场景。 [Image](/uploads/documents/3/d/e/b/3deb0740caa715d2156ad7d85aa695c6/p12_1.jpg) ## 一 键水平扩容或者缩容 得益于 TiDB 存储计算分离的架构的设计，可按需对计算、存储分别进行在线扩容或者缩容，扩容或者缩容过程中对应用运维人员透明。  TiDB

回顾-要解决的问题 业务高速增长 快速横向扩容 写(Update Location) 上百万司机坐标秒级实时上传 司机坐标动态变化 读(Nearby Search) 查找附近司机 可用性要求高 ○ 不能岩机 性能要好 读写都要低延时即使在流量高峰 ’ alt=‘OCR图片’/> 从扩容说起 GopherChina2018 要扩容 先Sharding Shardi 可用性 快速恢复 定时存储快照 启动时加载快照 重建空间索引 Down time happens 可用性 区域性不可用 某节点坏掉 及时摘除告警 基于AWS的自动扩容机制会触发增加新的节点 某Shard高并发读写导致的节点负载高 扩容 日常部署 Fanout模式 可用性 过载保护 Circuit Breaker(熔断) Rate Limiter（限流） 快速失败 基于Serf故障检测机制 alt=‘OCR图片’/> 我们做到了什么？ 去中心 无依赖 支持扩容及再平衡再也不用担心数据热点了 运营小伙伴可以放心大胆搞促销 No Downtime 上线1年多以来没有发生一次服务宕机事故 更好的性能 写: ~2毫秒 读: ~10毫秒 支撑业务高速增长 我们还可以做得更好 Shard分裂 目前还需要重启 不能平滑分裂 引擎 当前空间索引不是最优的比如最坏情况下要遍历整个Shard空间