## 高可用分布式流数据存储设计 李玥 京东集团 技术架构部 架构师 ## TGO鲲鹏会 汇聚全球科技领导者的高端社群 全球12大城市 850+高端科技领导者 使命 Mission 为社会输送更多优秀的 科技领导者 ## 愿景 Vision 构建全球领先的有技术背景 优秀人才的学习成长平台  ## 自我介绍 ## 李玥 京东集团 技术架构部 架构师 负责主导设计新一代京东消息中间件系统，专注于流数据的一致性分发和可靠存储、分布式实时计算和高可用分布式系统架构等技术领域。 从事互联网研发、架构10余年，曾在浪潮集团、当当网等公司从事架构相关工作。2017年加入京东，期间提升京东商城相关系统的性能和吞吐量数倍。 目前致 能与开源。 Why 有什么用？ What 如何定位？如何融入生态系统？ How 如何实现？如何优化？ ## 目录 ## WHY ## 为什么需要流数据存储？ ## 那些年的服务 单体应用 烟筒式 SOA 微服务 ## 这些年的数据 Services ## ☐ → ☐ Data Hive ES HBase HDFS KV ## 我们的愿景 Services ## O

Curve元数据节点高可用 • 1. 需求 • 2. 技术选型 • 3. etcd clientv3的concurrency介绍 • 3.1 etcd clientV3的concurrency模块构成 • 3.2 Campaign的流程 • 3.2.1 代码流程说明 • 3.2.2 举例说明Campagin流程 • 3.3 Observe的流程 4. MDS使用election模块的功能进行选主 事件二先发生 4.2.6 异常情况4：Etcd集群的follower节点异常 4.2.7 各情况汇总 ### 1. 需求 mds是元数据节点，负责空间分配，集群状态监控，集群节点间的资源均衡等，mds故障可能会导致client端无法写入。 因此，mds需要做高可用。满足多个mds，但同时只有一个mds节点提供服务，称该提供服务的mds节点为主，等待节点为备；主节点的服务挂掉之后，备节点能启动服务 两个外部依赖模块，一是mysql，用于存储集群拓扑的相关信息；二是etcd，用于存储文件的元数据信息。而etcd可以用于实现mds高可用，没必要引入其他组件。 使用etcd实现元数据节点的leader主要依赖于它的两个核心机制：TTL和CAS。TTL(time to live)指的是给一个key设置一个有效期，到期后key会被自动删掉。这在很多分布式锁的实现上都会用到，可以保证锁的实时性和有效性。CAS(Atomic

## MYSQL 高可用方案探究 1 前言.....3 2 Lvs+Keepalived+Mysql 单点写入主主同步高可用方案.....3 2.1 方案简介.....3 2.2 方案架构图.....3 2.3 方案优缺点.....4 2.4 方案实战.....4 2.4.1 适用场景.....4 2.4.2 实战环境介绍.....4 2.4.3 Mysql 的安装和配置 backup 的 realserver 的配置.....7 2.4.9 Master 和 backup 的启动.....8 2.4.10 高可用方案测试.....9 3 Lvs+Keepalived+Mysql 单点写入读负载均衡主主同步高可用方案.....9 3.1 方案简介.....9 3.2 方案架构图.....9 3.3 方案优缺点.....9 3.4 适用场景. 11 3.5.7 Master 和 backup 的 realserver 的配置.....15 3.5.8 Master 和 backup 的启动.....16 4 Heartbeat 高可用 Mysql 主主同步方案.....16 4.1 方案简介.....16 4.2 方案优缺点.....16 4.3 方案架构图.....17 4.4 适用场景.....17 4.5

## Curve 分布式存储设计 程义 — Curve Maintainer   Curve块存储 和 Curve文件存储  第四 Curve社区 ## Curve的由来 1. 代码复杂/代码量大 2. 运维难度高 3. 无法满足高的性能需求 ## Curve的设计目标 1. Curve云原生软件定义存储 2. Curve块存储 3. Curve文件存储 4. 高性能，易运维，云原生  ## Curve块存储 ## 研究现状 1. 高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储 3. Polardb for

## 声明式自愈系统——高可用分布式系统的设计之道 王昕 高级技术专家 全球技术领导力峰会 # 500+高端科技领导者与你一起探讨 技术、管理与商业那些事儿 2019年6月14–15日 上海圣诺亚皇冠假日酒店  ![Imag 开发和架构经验，在分布式系统领域经验丰富，长期参与高可用中间件系统、云平台基础管理系统和云原生自动运维系统的构建。在国内外有10多项授权和在审软件技术发明专利，并多次受邀出席技术会议，做技术专题分享。 ## 目录 > 分布式系统面临的高可用问题 > 设计和验证高可用分布式系统的工具与方法 > 设计和验证高可用分布式系统的案例分享 > 高可用系统的最佳实践总结 ## ## 无状态分布式系统的高可用问题 处理消息的服务节点可以随机选择 不必处理数据复制和同步的问题 系统容量和高可用能力可以同步提升 服务节点可以随意迁移，不必固定 IP 和存储 ## 有状态分布式系统的高可用问题 处理请求需要特定节点 ➢ 必须要考虑数据备份和同步的问题 容量扩展和高可用需要不同解决方案 服务节点不能随便迁移 ![Image](/uploads/documents

全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 高性能高可用机票实时搜索系统 去哪儿网 梁启康 ## 议题 系统诉求 海量数据 设计思路 搜索框架 报价引擎 待解问题 ## 系统诉求 - 全网价最低 • 航线报价最全 - 实时性最好 • 产品最丰富 • 预定最流畅 ### 聪明你的旅行 ___ ## 面临问题 航班舱位时刻变动 供应商规则调整密集 变价 低价缺失 运价规则变化繁多 报价不全 航司政策各有不同 GDS数据成本不菲 供应商的office权限不一致 ## 海量数据 · 规则量 • 供应商规则量2亿+ • 运价规则1亿+ · 报价量 • 国内国际航线28万 * 航班数 * 产品个数 * 供应商个数 * 180天 = 1500亿 ## 设计思路 按需计算 消息驱动 分布式 CAP BASE 理论 异步 无状态 分级缓存 ## 搜索框架 App WWW Touch 分销 应用层 CacheManager PriceMerger Cache 聚合层 MQ MQ 报价引擎 旗舰店 供应商直连 抓取 报价源 航班数据 运价数据 基础数据 ## 搜索框架 · 报价数量多，内存问题

# Ozone : Hadoop 原生分布式对象存储 Hadoop 社区推出了新一代分布式Key-value对象存储系统 Ozone，同时提供对象和文件访问的接口，从构架上解决了长久以来困扰HDFS的小文件问题。本文作为Ozone系列文章的第一篇，抛个砖，介绍Ozone的产生背景，主要架构和功能。 S3 protocol ![Image](/uploads/documents/c/9/3/1 g_hadoop ## 背景 HDFS是业界默认的大数据存储系统，在业界的大数据集群中有非常广泛的使用。HDFS集群有着很高的稳定性，得益于它较简单的构架，集群也很容易扩展。业界包含几千个数据节点，保存上百PB数据的集群也不鲜见。 HDFS通过把文件系统元数据全部加载到Namenode内存中，给客户端提供了低延迟的元数据访问。由于元数据需要全部加载到内存，所以一个HDFS集群能支持的最大文件 ，HDFS的元数据访问性能会受到影响。虽然可以通过各种Federation技术来扩展集群的节点规模，但单个HDFS集群仍然没法很好地解决小文件的限制。 基于这些背景，Hadoop 社区推出了新的分布式存储系统 Ozone，从构架上解决这个问题。 ## Ozone的设计原则 Ozone 由一群对大规模Hadoop集群有着丰富运维和管理经验的工程师和构架师设计和实现。他们对大数据有深刻的洞察力，

# MySQL協助您搭建全方位的高可用應用 杜修文 甲骨文全球事業部 ## 安全港声明 以下内容旨在阐明产品的整体方向。该内容仅供参考，不可纳入任何合同。该信息不承诺提供任何资料、代码或功能，并且不应该作为制定购买决策的依据。本文档所述的 Oracle 产品的任何特性或功能的开发、发行和时间规划均由 Oracle 自行决定。 ## MySQL 高可用性解决方案  ## 支持高可用性的各个层 并不仅仅是可靠地存储数据 冗余应用服务器 数据的冗余访问路径  数据路由 数据冗余存储 ## 支持高可用性的各个层 并不仅仅是可靠地存储数据 冗余应用服务器 数据的冗余访问路径 ![I 2390ce6f7d8cf5e435c4c269f/p5_1.jpg) • MySQL Replication 数据冗余存储 • Shared Storage • Group Replication • MySQL Cluster ## MySQL 复制工作流 二进制日志 会话 转储 中继日志 ![Image](/uploads/documents/4/8/4/c/4

## 分布式KV存储Cellar演进之路 ## 美团点评·基础架构 齐泽斌 ## 促进软件开发领域知识与创新的传播  关注InfoQ官方信息 及时获取QCon软件开发者大会演讲视频信息 ![Image](/uploads/doc 美团点评基础架构部，存储研发团队负责人 • Cellar：分布式KV存储服务 • Databus：数据库变更实时传输服务 • Venus：图片服务 ## 11 年毕业于天津大学 11 年到 14 年任职于百度，负责分布式文件系统和 KV 存储系统研发 有多年分布式存储研发经验 ## 目录 - Cellar起源 - 中心节点架构演进 - 节点高可用和异地容灾 - 服务可用性提升 - Cellar起源 - 中心节点架构演进 - 节点高可用和异地容灾 - 服务可用性提升 - Cellar规划 ## Cellar起源 Cellar，英文原意是酒窖，项目取名Cellar，一方面借用其储藏之意，同时，也希望使用Cellar的用户，可以像用酒窖藏酒一样，越存越香。 ## Cellar起源 • 14年初 美团引入阿里Tair作为NoSQL存储 • 14年底 大范围应用，并对Tair修修补补，积累领域问题

## 构建强一致性分布式数据库 TiDB 沈泰宁 R & D Engineer @ PingCAP ## 极客时间 | 企业服务 ## 想做团队的领跑者 需要迈过这些“槛” 成长型企业，易忽视人才体系化培养企业转型加快，团队能力又跟不上 团队成员技能水平不一， 难以一“敌”百人需求 寻求外部培训，奈何价更高且集中式学习 学习效果难以统计，产生不良循环 VS VS VS