高级技术专家 声明式自愈系统——高可用分布式 系统的设计之道 王昕 高级技术专家 自我介绍 王昕，阿里中间件技术团队高级技术专家，阿里云开放云平台布道师。具有10多年软件 系统开发和架构经验，在分布式系统领域经验丰富，长期参与高可用中间件系统、云平 台基础管理系统和云原生自动运维系统的构建。在国内外有10多项授权和在审软件技术 发明专利，并多次受邀出席技术会议，做技术专题分享。 目录 设计和验证高可用分布式系统的案例分享 Ø 高可用系统的最佳实践总结 最佳实践分享 有关 TLA+ 的使用 Ø 分布式系统设计 80% 的重点工作在与设计安全性原则 Ø 目前 TLA+ 工具已经有云服务上线，但只支持检查安全性 Ø 单机版的 TLA+ 工具支持系统活性的检查，但是性能比较差 Ø 活性检查的性能瓶颈在于系统状态图中强连通图算法的实现 Ø TLA+ 中实现的卡壳（Stutter）等价能力，即对所有状态保持不变

系统的账号密码才能访问。 2.公众号采用H5技术，用户办理过程因加载时间长，导致用户体验不 佳。 3、移动政务应用痛点 VS 核心功能 3 少填少报、少跑快办 1 一次认证、全网通办 2 原生体验、 风格一致 4 实时运营、 即时反馈 目录 一、移动政务应用服务现状与痛点 二、一个特殊的移动政务应用项目 三、政务服务小程序平台研发过程 四、政务服务小程序平台架构演化 五、政务服务系统架构小结与思考 包括个人中心、服务、待办服务、证照服务、公共服务、外部能力、业务办理服务和运营管理服务模块 12、系统部署架构反复评审论证 一、部署架构 1、政务云电子政务外网 ：数据库、应用服务 2、政务云互联网区：静态资源、网关 3、互联网区：小程序、云服务 二、安全防护 1、仅开放指定端口 80 443 2、域名须有HTTPS证书 3、白名单 13、安全渗透测试、运维监控 -- 确保系统稳定 确保系统稳定 一、业务应用上线前必须经过安全渗透测试。 1、在测试环境中扫描出：越权查询、SQL注入、明文传输等，要求整改 2、正式环境检查： 操作系统、数据库、中间件漏洞，建议打补丁 二、运维监控每日 1.采用ELK收集系统日志、监控异常信息 2. 对各业务系统API接口进行状态监控，每日输出报告 14、系统上线、系统截图 粤省事小程序码 目录 一、移动政务应用服务现状与痛点 二、一个特殊的移动政务应用项目

Mesh 在多个行业落地实践 www.163yun.com 阶段一：单体架构群，多个开发组，统一运维组 www.163yun.com 阶段二：组织服务化，架构SOA化，基础设施云化 www.163yun.com 阶段三：组织DevOps化，架构微服务化，基础设施容器化 www.163yun.com Hailo Amazon Netflix 来源: https://www com 某证券公司 持续集成 中台化 容器化 注册发现 www.163yun.com 网易容器平台优势 集群规模大：30000+节点 生产检验时间长：国内首个K8S公有云容器平台稳定运行1000+天 全球首批通过K8S一致性认证 基于OVS的网络性能优化 基于Ceph的存储性能优化 多集群统一管理 www.163yun.com 某物流企业 www com 某大型银行 www.163yun.com • 两阶段提交XA——中间件DDB • TCC——中间件 Dubbo + DTS • Try 预留 + Confirm 提交 + Cancel 还预留 • Try 操作 + Confirm 无操作 + Cancel 补偿 • 事务消息——中间件 TMC 网易分布式事务的实现机制 www.163yun.com 

架吗？ 换个问法 今年我们要落地业务中台架构 用户基础服务 交易服务 商品服务 关系服务 广告服务 业务域A 业务域B 业务域C 业务域D 业务组件/中间件 电商业务 内容业务 直播业务 算法支撑 中间件 计算框架 平台工具 云的能力 什么是架构师的业务思维？ 站在业务方的视角，在理解业务发展目标、看清业务发展方向的前提下，做出技术和业务的平衡 站在业务方的视角，在理解业务发展

04 不忘初心 继续前进 01 业务模型 BUSINESS MODEL BUSINESS MODEL 业务模型 BUSINESS MODEL 服务/方案 基础产品 基础支撑 金融云服务 聚合支付 乐享理财 帮你贷 八方数据 … 资金管理 供应链 分期支付 扫码分销 … 基础支付1 SDK支付 扫码支付 分期支付 比特币 银行卡 开户 监控 报表 … 基础支付2 设计可容错的系统（快速失败、超时、自动重路由） 设计具备自我保护的系统（拆分、限制、优雅停止） 制定合适的开发规范 撒网 实时监控（傻瓜式、开发不用查日志） 可视化运营 网络监控 主机监控 服务监控 业务监控 中间件、接口探测、日志抓取 状态类（响应码、交易状态、退款状态、商户状态） 耗时类（交易总时长、分段时长、SQL耗时、代码耗时） 统计类（订单量异常预警、非法IP预警、交易额过大） 网络异常（单通道和多通道、不同的分布场景） 金风险，建议使用redis避免 定时器浪打浪情况下，启动多个定时器即默认启动多个线程，影响系统性能 定时器浪打浪情况下，如果定时任务处理过慢会导致内存耗尽 12.避免系统中出现单点故障，包括中间件和应用程序等所有的节点 13.能异步处理的别同步处理，异步可以释放线程资源，避免阻塞，提高响应效率 14.随着业务量的增加，考虑功能拆分和数据库表拆分，除此支付系统建议按照通道 拆分，不同的通

分布式环境下调测方法论 Q/A 联系方式： 李鑫 天弘基金 高级架构师 E-mail:lixin.storm@foxmail.com QQ:25893288 欢迎交流： 专注于大规模分布式应用及治理、中间件云化及服 务化(PaaS)、APM监控、基础开发平台、移动应用 平台、企业架构等技术领域。 个人公众号

Mesh • 演进：从SDK到Service Mesh • 拥抱Service Mesh开源生态 • 相关资源 #微服务 #Service Mesh #Sidecar #云原生 #SDK #数据面，控制面 大纲 服务形态的演进 SDK SDK SDK SDK proxy proxy proxy proxy • 单体应用 • 业务模块划分 2000 4000 6000 8000 10000 12000 14000 QPS QPS 原生应用 Go SDK Sidecar Istio(no mixer) Istio 0 5 10 15 20 25 Latency(ms) 响应时间 原生应用 GO SDK Sidecar Istio(no mixer) Istio Kubernetes Cluster:

���App AliRxObjC Sentinel �� RxJava / RxSwift / … ����� ���� + ���� RxJava 升级事项: • 编程框架 • 中间件 • 业务 编程框架选型 Rx* (RxJava/RxJS/RxSwift) Project Reactor Akka Stream 特点 * 出现早（7年年前）、已发布 V2 * 业务框架不不会锁定 ：有 Reactive Streams 规范 / 不不同业务框架可互通 后期业务框架切换成本不不⾼高 ： 不不同业务框架之间互相模仿 / 使⽤用和概念上差别不不 ⼤大
 中间件升级 1. 服务框架(RPC) 流式⽀支持会在 开源的 Dubbo3 放出
 2. (移动)⽹网关(Geatway) * 先使⽤用适配 接⼝口不不变、分段实施、不不返回 Masters ��� �� �� 解决⽅方案⽀支持 — 执⾏行行治理理（2018双11） •线程模型（执⾏行行治理理）：业务应⽤用 极简⾼高效 的线程模型，统⼀一线程池 • RPC、缓存等中间件 线程池设置⼊入⼝口，由应⽤用架构统⼀一管控 • 整个应⽤用 CPU数个业务线程 • 涉及线程池：EventLoop / Provider / Consumer / 阻塞操作 的线程池 • 进⼀一步提升性能

Application JVM 故障画像 • 应⽤用故障：模拟应⽤用进程内故障 • 中间件故障：通过中间件客户端，模拟中间件故障 • 系统故障：通过⼯工具、脚本模拟⽹网络丢包、延时，磁盘不不⾜足故障 故障抽象，提炼统⼀一模型 • 延时模型、超时模型、异常模型、⾃自定义代码模型 • 基于模型实现应⽤用故障、中间件故障模拟，实时对应⽤用程序进⾏行行 字节码插桩、拆桩 简洁易易操作后台 •

多IDC，区域容灾，多ISP 集群，高可用，分片 本地缓存，防刷，流控 终端 域名 机房 LB / NG.. 网关 Cache 服务 抓大不能放小[细节决定成败] 线程阻塞>300 中间件内存管理、线程状态，连接状况 db的io，慢sql，索引，join等 代码review，数据结构，日志 GC TCP连接 第四部分 关于监控 如果没有监控… 盲 人 骑 } zabbix，datagod, prometheus… apm工具，商业产品 期望更轻量、无侵入性的业务监控 cat，elk，zipkin等 趋于个性 具有共性 中间件/缓存/数据库/代理/MQ... OS/网络/存储/防火墙... 应用/框架/业务逻辑/系统间调用 自研日志监控[轻量无侵入] Kafka Kafka Spout 策略 Cache