高可用分布式流数据存储设计-李玥选举恢复速度慢,不不可⽤用时间较⻓长 John Ousterhout Diego Ongaro “In search of an understandable consensus algorithm” Raft⼀一致性算法 2014 线性 任⼀一时刻⾄至多只有⼀一个请求在执⾏行行 幂等 使⽤用相同参数重复执⾏行行,能获得相同结果 复制状态机 Replication 0 1 2 3 4 你的⽇日志⾄至少和我⼀一样新吗? ❓ ❓ ❓ ???? 优点 强⼀一致 选举快速 易易于理理解 弱点 牺牲可⽤用性换取⼀一致性 性能⼀一般 集群规模不不能太⼤大 Raft总结 读请求分流 顺序⼀一致 已提交位置之前的⽇日志具有不不变性。 对于提交的⽇日志,相同位置上Follower的⽇日志和Leader上是⼀一样的。 强⼀一致 如果两个节点上的⽇日志完全相同,并且这些⽇日志都已经被状态机执0 码力 | 36 页 | 6.02 MB | 1 年前3
降级预案在同程艺龙的工程实践-王俊翔admin • 使⽤用ETCD实现注册中⼼心 • 简单 - Go语⾔言编写部署维护简单,定义良好的API • 安全 - SSL认证机制 • 快速 - ⽀支持上万次写⼊入操作 • 可信 - Raft算法保证强⼀一致性,Proxy反向代理理模式⽀支持 • 服务数据存储 • 应⽤用、服务元数据、状态数据,etcd、mysql双份存储 • 后台实时监控应⽤用、服务,实时变更更降级策略略 proxy0 码力 | 26 页 | 18.67 MB | 1 年前3
声明式自愈系统——高可用分布式系统的设计之道-王昕处理消息的服务节点可以随机选择 不必处理数据复制和同步的问题 系统容量和高可用能力可以同步提升 服务节点可以随意迁移,不必固定 IP 和存储 有状态分布式系统的高可用问题 一致性 可用性 分区容错性 Paxos Raft 2PC Gossip Ø 处理请求需要特定节点 Ø 必须要考虑数据备份和同步 的问题 Ø 容量扩展和高可用需要不同 解决方案 Ø 服务节点不能随便迁移 CAP Is Not Simply 的重点工作在与设计安全性原则 Ø 目前 TLA+ 工具已经有云服务上线,但只支持检查安全性 Ø 单机版的 TLA+ 工具支持系统活性的检查,但是性能比较差 Ø 活性检查的性能瓶颈在于系统状态图中强连通图算法的实现 Ø TLA+ 中实现的卡壳(Stutter)等价能力,即对所有状态保持不变 也是合法状态 最佳实践分享 有关分布式系统统一 API 的设计 Ø 所有API应该是声明式的 Ø 高层API以操作意图为基础设计0 码力 | 44 页 | 2.47 MB | 1 年前3
高可用与一致性:构建强一致性分布式数据库 TiDB-沈泰宁Scale Raft Client A = 1 B = 2 State Machine A = 1 B = 2 Log Raft Module A = 1 B = 2 State Machine A = 1 B = 2 Log Raft Module A = 1 B = 2 State Machine A = 1 B = 2 Log Raft Module election Raft: Key Points •Lazy Peer •Cross DC, cross regions deployment •Learner •Cross DC, cross regions backup •Joint consensus •Safe membership changing Raft: New Features Raft: Lazy Peer 3-DC in 2 regions deployment Raft: Learner Follower Follower Leader Learner Replace nodes? Node2 Node1 Node3 Node2 Node1 Node3 Node4 Node2 Node1 Node4 Raft: Joint consensus Node2 Node1 Node30 码力 | 45 页 | 4.63 MB | 1 年前3
从百度文件系统看大型分布式系统设计中的定式与创新- CP、AP Quorum机制 • Quorum写(NWR) - Write 写成功W副本 - Read 读R副本 - W+R>N,就不会丢失更新 • 一致性协议 - Paxos - Raft CAP到CAD的演变 • 必须容忍网络隔离 - CAP->CA • 跨地域的延迟 - CA->CAD/CAL • 多数情况下我们更重视可用性 - CAD->CD • 一致性与延迟的折衷0 码力 | 24 页 | 937.45 KB | 1 年前3
刘道平-从0到1,移动政务应用小程序系统架构演化构建分布式微服务框架 1.采用etcd 构建微服务框架 etcd是一个分布式的 、一致的key-value存储,主要用途是共享配置和服务发现。Etcd已经在很多分布式系统中得 到广泛的使用。Etcd采用raft协议,来保证一致性。 2.后台服务采用Go开发,围绕业务功能需求,构建后台服务模块 包括个人中心、服务、待办服务、证照服务、公共服务、外部能力、业务办理服务和运营管理服务模块 12、系统部署架构反复评审论证0 码力 | 35 页 | 15.60 MB | 1 年前3
全球架构师峰会2019北京/量子计算/量子计算及其潜在应用&mdash量子计算及其潜在应用 吕定顺 华为中央研究院高级研究员 吕定顺 量子算法和软件研究 • 吕定顺博士,目前就职于华为2012实验室中 央研究院,毕业于清华大学交叉信息研究院 量子物理学专业,至今在量子计算、量子模 拟领域等已经有7年研究经验。博士期间,曾 在 Nature Physics,PRX,Nature Communication,PRL,PRA 等国际知名期刊 发表论文7篇,H index为7,论文累计引用 index为7,论文累计引用 480次。目前专精并聚焦在量子软件和算法研 究领域。 • 量子计算的基本原理 • 量子计算机遇和挑战 • 华为量子计算的进展 • 量子计算的潜在应用 量子计算的基本原理:叠加 Dead Live Curiosity Kill the Cat 1/2( Dead + |????⟩) Huawei Confidential 5 量子计算的基本原理:纠缠 每隔18个月翻倍,性能也会 翻倍 一般业界认为量子 计算的应用如下: • 量子化学模拟 • 量子材料模拟 • 量子优化问题 • 量子机器学习 • 量子密码系统 • 量子精密测量 • 量子启发算法 量子计算优势 量子计算优势 Chemistry Simulation Material Design Web Security Decryption Data Search Quantum0 码力 | 34 页 | 5.57 MB | 1 年前3
QCon北京2018-《美团配送系统架构演进实践》-阴永俊配送运力 ⋯ 订单中心 (送什么) 品类 重量 支付状态 运单中心 (配送任务) 运单归属 配送状态 调度中心 (工程框架) 需求池 运力池 计算平台 策略平台 (算法策略) 算法框架 分析平台 经营规划 (目标) 盈亏 绩效 奖惩 业务管理 (过程) 运营工具 任务系统 骑手运营 (人) 任务 活动 等级 结算平台 (钱) 清算 结算 配送运力 ⋯ 订单中心 (送什么) 品类 重量 支付状态 运单中心 (配送任务) 运单归属 配送状态 调度中心 (工程框架) 需求池 运力池 并行计算 策略平台 (算法策略) 算法框架 分析平台 经营规划 (目标) 盈亏 绩效 奖惩 业务管理 (过程) 运营工具 任务系统 骑手运营 (人) 任务 活动 等级 结算平台 (钱) 清算 结算 调度系统如何设计 • 如何实现算法与工程结合 骑手网关 规模化阶段:核心领域细分 主数据平台 (核心模型) 账号权限 组织架构 核心数据模型 配送服务 配送运力 ⋯ 订单中心 (送什么) 品类 重量 支付状态 运单中心 (配送任务) 运单归属 配送状态 调度中心 (工程框架) 需求池 运力池 计算平台 策略平台 (算法策略) 算法框架 分析平台 经营规划 (目标)0 码力 | 31 页 | 15.26 MB | 1 年前3
领域驱动设计&中台/化繁为简--DDD驱动复杂业务软件架构的演进上游模型变化,下游模型联动 发布-订阅机制 架构演进 1 2 3 领域拆分 架构分层 构建领域模型 架构分层 持久化层 领域层 CAD图纸管理 建模UI 通用UI组件 几何算法 通用框架机制 通用算法 CAD/BIM UI 图元绘制 显示层 应用层 CAD识别 BIM模型转换 模型编辑 批量操作 CAD模型 BIM模型 模型数据库 gcad文件 gfc文件 平法模型 钢筋模型 模型转换 案例1:CAD翻模领域拆分及分层设计 • 隔离功能交互与业务逻辑 • 识别算法独立,引入人工智能算法 持久化层 领域层 CAD图纸管理 CAD翻模UI 显示层 应用层 CAD图层管理 CAD识别命令 CAD模型 CAD模型持久化 CAD识别算法 模型转换 CAD识别数据 模型 构件模型 CAD翻模服务 架构演进 1 2 3 领域拆分 架构分层0 码力 | 33 页 | 1.25 MB | 1 年前3
陈辉-架构师的业务思维架吗? 换个问法 今年我们要落地业务中台架构 用户基础服务 交易服务 商品服务 关系服务 广告服务 业务域A 业务域B 业务域C 业务域D 业务组件/中间件 电商业务 内容业务 直播业务 算法支撑 中间件 计算框架 平台工具 云的能力 什么是架构师的业务思维? 站在业务方的视角,在理解业务发展目标、看清业务发展方向的前提下,做出技术和业务的平衡 站在业务方的视角,在理解业务发展目0 码力 | 32 页 | 3.18 MB | 1 年前3
共 13 条
- 1
- 2













