系统架构演进和最佳实践 SPEAKER 冯忠旗 分享者 冯忠旗 SHARER 付钱拉高级技术经理 讲点儿什么 SPEAK SOMETHING 演进之路 THE PATH OF EVOLUTION 01 业务模型 • 一无所有的初创期，单一架构轻装上阵 • 石器到工业的跃进，分布式架构保驾护航 • 化整为零，应对雪崩效应分而治之 • 从1到N的业务成长 02 架构演进过程 CONFUSION 需求设计阶段- 首次拦截 开发实现阶段-尽可能避免故障 系统运行阶段-及时发现故障 系统运行阶段-出现故障快速解决故障 思路 THINKING 预见运行期、所想即所得、限制和保护 设计可容错的系统（快速失败、超时、自动重路由） 设计具备自我保护的系统（拆分、限制、优雅停止） 制定合适的开发规范 撒网 实时监控（傻瓜式、开发不用查日志） 可视化运营 网络监控 耗时类（交易总时长、分段时长、SQL耗时、代码耗时） 统计类（订单量异常预警、非法IP预警、交易额过大） 网络异常（单通道和多通道、不同的分布场景） 撒网与实时监控 REAL-TIME MONITORING 可视化运营 VISUAL OPERATION 优先恢复 蓝绿部署 提前准备 服务降级 kill 慢SQL、摘节点、线 程栈和内存堆现场保留 反 向 代 理 反 向 代 理 APP1 APP2 APP3 APP1

微服务和Service Mesh 在多个行业落地实践 www.163yun.com 阶段一：单体架构群，多个开发组，统一运维组 www.163yun.com 阶段二：组织服务化，架构SOA化，基础设施云化 www.163yun.com 阶段三：组织DevOps化，架构微服务化，基础设施容器化 www.163yun.com Hailo Amazon Netflix 粒度更细：可指定服务版本，类，方法级别 配置灵活：可配置检测粒度为每M毫秒N个请求P%的错误率 指标多样：RT值，错误率，线程池参数 熔断 粒度更细：可指定调用者和被调用者服务版本，支持failover、failfast、failback容 错机制。 配置灵活：支持自定义超时时间和重试次数。 可自行定制：通过暴露自定义异常NSFExcetion解决任意业务方法的容错，支持超时、 failover，failfast容错。

云开放云平台布道师。具有10多年软件 系统开发和架构经验，在分布式系统领域经验丰富，长期参与高可用中间件系统、云平 台基础管理系统和云原生自动运维系统的构建。在国内外有10多项授权和在审软件技术 发明专利，并多次受邀出席技术会议，做技术专题分享。 目录 Ø 分布式系统面临的高可用问题 Ø 设计和验证高可用分布式系统的工具与方法 Ø 设计和验证高可用分布式系统的案例分享 Ø 高可用系统的最佳实践总结 处理消息的服务节点可以随机选择 不必处理数据复制和同步的问题 系统容量和高可用能力可以同步提升 服务节点可以随意迁移，不必固定 IP 和存储 有状态分布式系统的高可用问题 一致性 可用性 分区容错性 Paxos Raft 2PC Gossip Ø 处理请求需要特定节点 Ø 必须要考虑数据备份和同步 的问题 Ø 容量扩展和高可用需要不同 解决方案 Ø 服务节点不能随便迁移 服务节点不能随便迁移 CAP Is Not Simply 2 out of 3 Ø 没有分区时，可用性和一致 性要兼得 Ø 经常要考虑的是可用性和一 致性各有一部分 Ø 根据不同设计应用需求有不 同的组合 Ø 重要的是系统如何恢复到 “最佳状态” 分区容错性 可 用 性 一 致 性 系 统 服 务 等 级 分区容错性 可 用 性 一 致 性 系 统 自 愈 程 度 Look Distributed

量子算法和软件研究 • 吕定顺博士，目前就职于华为2012实验室中 央研究院，毕业于清华大学交叉信息研究院 量子物理学专业，至今在量子计算、量子模 拟领域等已经有7年研究经验。博士期间，曾 在 Nature Physics，PRX，Nature Communication，PRL，PRA 等国际知名期刊 发表论文7篇，H index为7，论文累计引用 480次。目前专精并聚焦在量子软件和算法研 究领域。 究领域。 • 量子计算的基本原理 • 量子计算机遇和挑战 • 华为量子计算的进展 • 量子计算的潜在应用 量子计算的基本原理：叠加 Dead Live Curiosity Kill the Cat 1/2（ Dead + |????⟩） Huawei Confidential 5 量子计算的基本原理：纠缠 Particle 1 Particle 2 1 2 （ ↓1 ↓2 2019 量子计算物理实现平台 超导 离子阱 硅量子点 金刚石色心 量子计算机遇和挑战 https://cacm.acm.org/magazines/2013/10/168172-a-blueprint-for-building-a- quantum-computer/fulltext 量子计算机遇和挑战 1、Hardware arXiv:1710.01022v2 Limited

Database! — Erik Meijer 流定义 • ⾯面向数据 • 操作、组合 ⾯面向流 • 业务逻辑 → 数据变换 • 数据变换 → 业务逻辑 数据 vs 逻辑 ⾯面向流编程是 ⾯面向数据编程 流式架构 流 分布式 性能 并发控制 业务编写 流 - 业务编写 创建 just / from* / range / repeat /interval / timer 业务顺序编写 并发⽅方式执⾏行行 • 不不同的流 • ⽆无依赖 • 切过 Scheduler 就可以⾃自动并发 多流并发 • 业务按照语义顺序编写 • 更更友好的控制并发 维护性 和 性能 更更优！ 优雅控制 processors.flatMap(processor -> processor.process(request)) .filter(Result::isSuccess) �������� ��A� 流引⽤用可被远程化 系统级的流式贯通 架构治理理能⼒力力加强： • 回压 • 三⻆角模式透传 • 业务快速截⾯面创新 • … 流的概念分层 业务编程框架（⾯面向业务） • 核⼼心概念：流 • 业务涉及的⼤大量量/强⼤大操作 • 流程编排、全异步化 规范（⾯面向系统底层） • 核⼼心：4个接⼝口 + 7个⽅方法 • 远程化、业务框架对接规范

潘加宇 CONTENTS 01 状态机的作用 02 状态机要点和建模思路 03 状态机的实现 危险！ 小孩耍大枪 危险！ 新瓶装旧酒  Research？Re-Search？  连Re-Search都没有，随意发明新词  Subdomain？主题图。 测试 答对问题有奖金 金额从2.56元到20.48元 请扫我微信以便当场转账 加微信时烦告知尊姓大名 作用 学校里经常教的 金额从2.56元到20.48元 请扫我微信以便当场转账 加微信时烦告知尊姓大名 作用 逻辑内移 都以为自己在做正常的事情， 系统却出问题了 强制封装保护信息完整性 条件语句？泛化？不重要了 作用 帮助定义恰当的责任  专家原则、可视原则  减少get/set  接口变简单 要素 状态 行为由组合决定 复杂就在这里！ 状态－－表现相同行为的属性值和链接的组合 状态 状态机图 vs. 活动图 顶点和边的含义相反 不同的思考范型 “状态的类”要说得通！ 状态 网络上随便搜来 的“状态机图” 状态 子状态 互斥 状态 分层复用行为 提炼公共迁移 状态 缺省和历史  不是“流程开始”的意思  进入状态时，缺省的子状态  对象掉入集合时，缺省掉入哪 个子集合  历史：记住离开时的子状态 状态 并发状态 不同分区的状态并存

Tera 分布式计算框架 Shuttle Apps(Spider/Index/Search) 数据中心操作系统(DCOS) • 进程调度&内存管理 - Galaxy - 应用部署和任务调度 • 锁和信号量 - Nexus - 分布式锁 - 分布式通知 • 文件系统 - The Baidu File System - 持久化存储 百度文件系统架构 设计一个分布式系统要考虑的 • 数据与计算的分片 • 哈希分片 - 简单、均衡 - 扩容复杂、易用性差 - 一致性哈希、虚拟节点 • 按范围、数据量分 - 使用简单 - 需要管理元数据 - 中心化与去中心化 元数据管理 • 去中心化 - P2P技术 - 潜在的一致性问题 - 能管理的元数据有限 • 中心化 - 设计实现简单 - Master节点易成为瓶颈 中心化的解决方案 • Master-Slave模型 - Master是管理者 • 多数情况下我们更重视可用性 - CAD->CD • 一致性与延迟的折衷 - 要求强一致的, 容忍延迟 - 要求低延迟的, 选择最终一致 提升系统扩展性 • 架构的可扩展性 - 拆分元数据节点 - 引入MetaServer 提升系统扩展性 • 设计的可扩展性 - 保证在规模扩大5倍或10倍是正常工作 • BFS避免了过渡设计 - 用设计中的不可扩展达到最大的可扩展 • 最多支持6万台机器

各应⽤用，没有统⼀一的管 理理和治理理。久⽽而久之，⽆无⼈人知道系统内有多少降级点，降级是如 何实现的 • 缺乏UI、没有灵活的参数、策略略配置，没有预案制定管理理能⼒力力 业务保障平台建设之路路 业务保障平台建设之路路 服务管理理 策略略管理理 预案制定 线上演练 • 降级服务统⼀一注册管理理，通过降 级服务质量量数据从整体反映各应 ⽤用的降级点和可⽤用性保障措施 • 降级策略略集中管理理，通过参数 发现潜在故障，多维度验证预案 有效性，评估系统可靠性，提供 降级策略略、参数调整的优化依据 整体架构 Agent 服务降级注册 降级熔断通知 元数据存储 控制 中⼼心 ETCD ETCD ETCD ETCD 服务注册监听 降级控制中⼼心 元数据 TurboMQ 熔断降级监听 Application Application Application SDK 熔断降级接⼊入 Go语⾔言编写部署维护简单，定义良好的API • 安全 - SSL认证机制 • 快速 - ⽀支持上万次写⼊入操作 • 可信 - Raft算法保证强⼀一致性，Proxy反向代理理模式⽀支持 • 服务数据存储 • 应⽤用、服务元数据、状态数据，etcd、mysql双份存储 • 后台实时监控应⽤用、服务，实时变更更降级策略略 proxy 服务质量量数据采集 业务数据采集 ⽇日志 ⽂文件 应⽤用数据采集 应⽤用数据

Config Center service Go chassis Registration & Discovery configuration SDK架构 编程模型 运行模型 通信模型 • Spring MVC • JAX-RS • POJO 服务发现 限流 熔断 负载均衡 跟踪 … OpenAPI • 序列化 • 传输协议 用户案例 原则 • 架构稳定，有可持续发展、演进能力 • 支持多语言、传统微服务和新兴ServiceMesh微服务 架构混合场景部署 • 有大型成功商用案例 • 无商业强绑定，高自由度，企业自主可控 • 完整的生态栈，涵盖开源主流微服务运维和安全领域 • 低学习成本，有编程语言基础即可快速上手 华为开源 ServiceMesh方案 Mesher ServiceCenter Java微服务应用 ServiceComb 统一服务治理中心 ServiceComb SDK Java应用 PHP应用 0侵入改造  支持多种开发语言  解决Java和PHP共存场景  传统与新兴微服务化方式共存  混合部署、协同治理  丰富的监控运维  细化到业务层面的微服务监控运维  遗留应用0改造  支持0侵入业务代码，使用成本低，对