大规模分布式系统架构下调测能力构建之道 李鑫 大纲 分布式环境下开发的调测效率问题 应对之道 远程应用服务 契约测试 分布式消息服务 分布式缓存 分布式服务的“租户”隔离策略 总体调测框架实践 分布式环境下调测方法论 单体应用 服务化 微服务 小中型规模应用+小型团队 中大型规模应用+多团队协同 Cache DB NFS Load Balancer 得，今天啥也 干不了了，回家洗洗睡吧…. … ….. ……… 1 2 3 解决之道：通过技术手段，降低系统对外部的依赖，而“MOCK”，是最 有效的手段。 分布式服务框架mock能力构建 应用 服务容器（Consumer） Filter Chain 将mock能力内置到分布式服务框架中 开发mock能力过滤器，在服务调用链路上对服务调用进行挡截。 “开关机制”控制mock能力启停 本地调测的影响，如果真实的外 部服务改变了，我们的mock数据也要随之改变，但 问题是： 我们如何及时感知到服务接口/逻辑发生变化了？ 解决方法：契约测试 通过将契约测试集成到CI流程中，在构建的过程中完成接口的联调测试，和 接口变动的验证测试，从而实现对接口变动的及时感知。 Consumer 报告 Provider Consumer 报告 Provider request

构建强⼀一致性分布式数据库 TiDB 沈泰宁 R & D Engineer @ PingCAP ⾃自我介绍 ⾃自我介绍 • 沈泰宁 • R&D Engineer @ PingCAP • Maintainer • rust-prometheus • grpc-rs • … ⽬目录 • What is TiDB? • How to test? What is TiDB? Single

caict.ac.cn/kxyj/qwfb/ztbg/201804/t20180426_158502.htm 2、政务服务微信公众号的现状 优势： 1.各省市政务提供的政务服务公众号，方便了用户查询、办理政务业务 服务。 2.用户无需额外下载安装，即可使用微信公众号进入政务服务。 问题： 1.各厅局委办的公众号之间不能实现账号互信，用户需要记住不同业务 系统的账号密码才能访问。 2 6、探索需求 -- 分析可行性，选取合适的需求场景 什么需求适合进入第1版本？ 1.服务对接方式：提供API接口，而非H5页面 2.认证方式：基于后台API方式，而非要求用户再次输入 3.服务类型：属于查询、办理类，而非资讯信息、办事指南 4.服务具有便民、高频特征 帅选出第1版本要接入的百项高频便民事项 典型需求梳理场景 - 残疾人服务事项分析 7、产品设计—淬取政务服务信息要素、以用户为中心的展示 的接口服务，网关请求业务应用A提供的服务，返回给前端小程序。 11、后台服务 -- 构建分布式微服务框架 1.采用etcd 构建微服务框架 etcd是一个分布式的 、一致的key-value存储，主要用途是共享配置和服务发现。Etcd已经在很多分布式系统中得 到广泛的使用。Etcd采用raft协议，来保证一致性。 2.后台服务采用Go开发，围绕业务功能需求，构建后台服务模块 包括个人中心、服务、待办服务、证照服务、公共

八方数据 … 资金管理 供应链 分期支付 扫码分销 … 基础支付1 SDK支付 扫码支付 分期支付 比特币 银行卡 开户 监控 报表 … 基础支付2 单笔代收 单笔代付 语音支付 余额查询 批量代收 身份鉴权 批量代付 快捷 … 账务 开户 记账 对账 账户托管 … 现金罗盘 代付工资 对外付款 企业理财 企业报销 资金划拨 供应链 … 其他 贷款 理财 Tomcat Oracle Oracle Nginx keepalived 数据库双机 网络分发层 业务处理 渠道适配器 交易预处理 交易预检查 交易风控 交易路由 通知 响应 查询 通道 交易拆分 业务2.0痛点 BUSINESS 2.0 PAIN POINTS 业务野蛮发展 交易量高速增加 并发请求增加 交易响应速度过慢 数据库单表 数据量剧增 模块耦合度高 任务队列 基于消息的分布式架构 MESSAGE - BASED DISTRIBUTED ARCHITECTURE 管理区 LVS-master C1 RabbitMq-1 数 据 库 服 务 器 区 LVS-slave Nginx-1 Nginx-2 C2 C3 C4 实时 oltp2 SSS-1 C5 C6 非实时 oltp4 SSS-2 00_Group C7 oltp5

订单聚合创建订单服务 接收 仓库聚合的事件订阅者 仓库聚合锁定库存服务 发送 LockStockCommand ⽣生成 ⽣生成 接收 ⽣生成 QueryOrderCommand 订单域查询服务 接收 OrderList ⽣生成 需求分析到⽤用户故事 Story6 创建订单 作为⼀一个商城顾客 我可以确定购物⻋车中的商品和数量量，然后提交商品订单 为了了在商城上购买商品 ⽤用户故事到领域故事 点击提交按钮后 1.订单API控制器器会收到创建订单请求，然后根据请求⽣生成创建订单命令，然后让创建 订单应⽤用根据创建订单命令创建商品 2.创建订单应⽤用收到命令后，先调⽤用查询商品库存服务查找商品库存， 如果商品库存可以⽀支持订单数量量，就让创建订单服务根据创建订单命令进⾏行行订单 创建，创建成功后返回成功结果给订单API控制器器 如果商品库存不不⽀支持订单数量量，返回出错结果和原因给订单API适配器器 结果和原因给订单API适配器器 3.创建订单服务收到命令后，会把创建订单命令转换成订单，然后调⽤用订单仓库进⾏行行 保存，保存成功后会让事件发布器器发布订单已创建事件 4.事件发布器器会根据事件类型把订单已创建事件转发给商品库存订阅者， 5.商品库存订阅者收到事件以后会根据事件中的商品ID和订单数量量创建锁定商品库存 命令，然后给锁定商品库存服务进⾏行行库存锁定 6.锁定商品库存服务收到

缺乏统一监控、统一管理 (进程假死、运行状态未知) 缺乏容错、容灾，高可 用 缺乏分布式处理 无法合理利用机器资源 难以问题追踪 选型对比 Crontab Quartz Linux系统级的定时任务执行器 缺乏分布式运算和集中管理功能 无法做到高可用 TBSchedule Elatic-Job Java事实任务标准 关注点在定时任务而非数据， 缺少分布式并行调度的功能 阿里早期开源的分布式任务调度系 1 * 1 * * 创建 Binding 调度器 物理机 1 1 分片 1 * * 领域模型 Ready Running Stopping Stopped 启用 触发（手工, 时间或消息) 停用 执行完成 停用 执行完成 作业状态变迁 内部系统集成 ZK 执行结点 Job A Job B 作业调度器 控制台UI 消息系统 控制、调度结果下发 作业控制 执行日志 监控日志 日志查询 消息订阅 告警信息 执行结果 统一认证 架构体系 部署模型(跨机房) IDC-A IDC-B 接入域-A 执行结点 作业实现 ZK saturn-zk-* saturn.vip.com 控制台集群 (Tomcat) ZK Observe r ob-saturn-zk-* 2台 3台 x台 调度器集群 接入域-B 执行结点

非核心系统 原有系统 单向依 赖 传统DNS调度存在问题 LocalDNS 智能DNS （权威域名 服务器） root域名服 务器 com域名服 务器 合肥IDC 北京IDC 广州IDC GSLB 获取服务IP IP请求 DNS劫持严重 用户设置DNS服务器 DNS各级缓存 DNSTTL不遵循 EDNS普及缓慢 根据用户IP来 进行运营商区 域的调度 结果：无法就近 合肥IDC 广州IDC 最终一致性 MQ 消息接口 消息状态库 定时补偿 MQ 监控 sdk Service 消息状态上报 调用重试/查询接口 同步消息管理服务 全局消息id生成 消息管理（预写、删除等） 重试、查询、监控接口 sdk CRSync CRSync sdk sdk Processor 是否执行结束 获取监控接口 通知运营 或者技术， 人工介入

LBS平台 提供 坐标流、导航路径、空间索引 能力 打磨各类位置与导航策略场景 导航 算法特征 效果验证 产品技术创新驱动业务发展 精细化阶段：仿真平台 目标：构建线下模拟沙盘 思路：基于线上真实数据对配送全流程构建模拟场景，并对事件、数据模拟 仿真报告可视化 产品技术创新驱动业务发展 精细化阶段：特征平台 版本管理：缩短实验周期，灵活配置实验规则 实时特征：特征准实时加工、离线特征实时转化 Rank 您已到达 南湖中园 一区3号楼 顾客地址 附近 您已经导到顾客 附近 面 GeoHash 地理围栏 任务地图 导航 热力图 空间 室内定位 高度/楼层 点 nearby查询 地理编码 交付点 美团点评技术团队