对任务超时、任务执行情况、监控逻辑 支持粒度功能较单一或缺乏 没有容器化选型？ 调度产品的定位 简易开发、简单维护 高可用、分片并发处理、资源调度动态平衡 支持Java、Shell以及本地模式(VIP还支持消息模式) 统一配置、统一监控、统一管理 VIP弹性调度系统 -- Saturn 开源地址： Github.com/vipshop/Saturn 体系中的定位 服务化框OSP Job B 作业调度器 控制台UI 消息系统 控制、调度结果下发 作业控制 结点监听 作业调度 执行日志 监控日志 日志查询 消息订阅 告警信息 执行结果 统一认证 架构体系 部署模型(跨机房) IDC-A IDC-B 接入域-A 执行结点 作业实现 ZK saturn-zk-* saturn.vip.com 控制台集群 (Tomcat) ZK Observe 完美兼容现有PHP的作业，可无缝迁移，成本最低 • 提供多种业务开发模式，满足不同的业务需求 • 多种业务运行模式，即可分布式管理也可本地管理 • 通过异步消息实现业务编排* 多种作业类型 人工指定 运行节点 系统自动 平衡负载 资源利用 • 灵活的运维配置与部署 • 高效资源利用 • 简便的管理 人工指定 自动平衡 资源平衡调度算法 框架代码 与业务代 码隔离 集中化动 态增加与

极光推送后台系统架构 02 01 06 03 07 05 04 08 模块化 异步化 并行化 缓存化 程序及系统优化 基础组件服务化 链接管理 系统安全 09 新技术的应用——K8S部署业务 模块化 • 模块业务逻辑All In导致相互影响，更新升级难度大 • 功能按照业务拆分解耦 • 数据和业务分离 • 快速迭代 • 模块间通过MQ/RPC交互 极光推送后台系统架构 Data0-1 Data1-0 Data1-1 Data2-0 Data2-1 Mng0 Mng2 Mng3 缓存化 • 热点数据全部缓存 • 加快数据访问，减少请求处理时间 • 多级缓存 • 本地缓存 • Redis, Couchbase, LevelDB(PIKA), 定制化 极光推送后台系统架构 04 程序及系统优化 • 内存 • 静态分配 • 内存池 • 内存对齐 • IDC6 Conn 系统安全 • 网络安全 • 对外业务隔离，异地多机房部署，健康检查，业务快速部署及调度 • 通信安全 • SSL，私有加密协议 • 服务安全 • 安全校验，异常行为识别，过载保护，白名单/黑名单，服务降级 • 监控及告警 • 多维度监控，告警系统 极光推送后台系统架构 08 K8S部署业务 • 原有系统的运维工作繁杂，资源利用率低 • 弹性扩容 • 配置统一管理

订单状态 PG Redis 下单 交易系统架构设计-撮合服务 • C++实现的Redis Module • 复用Redis本身的aof持久化和replication • 撮合结果直接输出到本地的redis stream（无需主动发送消息给其他服务） • 下游任务订阅redis stream $ redis-cli > ob.limit b{btc_usdt} * 10000 buy 1 amount from tmp where orders.id=tmp.id; delete from orders where id = ANY[%s] 交易系统架构设计-部署 • 有状态服务，单独部署集群 • 数据库 • Redis • 无状态服务，k8s/docker swarm • Restful api • Websocket api • 异步任务 3 钱包实现 钱包实现 钱包的功能 • 地址生成和私钥管理 • 构建并签名交易 • 监听充值交易的发生 • 跟踪交易的确认数 钱包的实现-使用官方钱包节点的rpc接口 • 难以维护和部署 • 私钥存储不安全 • 冷热钱包分离复杂 钱包的实现-分离地址生成和签名算法 • 可以自行负责私钥存储 • 可以自己实现冷钱包 • 钱包节点只负责区块链数据解析的工作和广播交易 • 甚至可以直接使用第三方节点API

两类思路：分发/汇总 • 分发类实现Tips （1）易扩展的配置 （2）远端接口探测，命令执行 （3）可以无需agent • 汇总类实现Tips （1）agent快速部署 （2）agent从中央获取配置 （3）快速的本地检测 58集团技术专场 2. 监控平台-日志 ERROR日志监控Tips （1）路径规范 （2）日志分级 （3）日志切分 （4）易扩展的配置 日志关键字监控Tips （2）正常关键字 （3）易扩展的配置 58集团技术专场 2. 监控平台-接口 Keepalive统一监控 （1）框架统一实现 （2）中心统一调度 处理时间统一监控 （1）框架统一实现 （2）本地初步汇总 （3）日志收集/udp上报 http接口统一监控 （1）http状态码？内容？ （2）易扩展的配置 58集团技术专场 2. 监控平台-接口 • 哪种监控最精准？ • 站在调用方的角度来评判服务是否OK

service metadata degrade strategy center mysql sharding watch admin • 使⽤用ETCD实现注册中⼼心 • 简单 - Go语⾔言编写部署维护简单，定义良好的API • 安全 - SSL认证机制 • 快速 - ⽀支持上万次写⼊入操作 • 可信 - Raft算法保证强⼀一致性，Proxy反向代理理模式⽀支持 • 服务数据存储 • GC数据 业务数据 SDK数据 ⾃自定义数据 系统数据采集 容器器数据 CPU数据 内存数据 磁盘数据 … ⽹网络数据 采集 Agen t ⽇日志中⼼心 KAFKA 数据处理理 通过本地⽇日志⽂文件，实时采集降级服务质量量数据 ⽇日志 ⽂文件 系统数据采集 容器器数据 CPU数据 内存数据 磁盘数据 … ⽹网络数据 采集 Agen t ⽇日志中⼼心 KAFKA 数据处理理 JVM内存 JVM线程 GC数据 业务数据 SDK数据 ⾃自定义数据 数据通道（⻓长链接单通道） 数据采集 Proxy • 单⼯工直连数据通道 • ⻓长链接，数据流⽅方式实时发送 • 本地多队列列轮循，数据缓冲，合并异步发送 指标如何计算处理理 数据采集 KAFKA ETL 复合指标 ⾃自定义指标 系统指标 业务指标 指标脚本计算 指标规则计算 指标脚本 规则表达式

设计要点亓：数据库横向扩展 www.163yun.com 设计要点六：缓存的设计 APP缓存 CDN 接入层 静态资源 动态资源静态化 应用本地缓存 分布式缓存 数据库为中心 缓存为中心 www.163yun.com 设计要点七：消息队列与异步化 www.163yun.com 设计要点八：熔断，限流，降级 注册发现 服务管理 www.163yun.com 开发集群 测试集群 CICD (开发流程管理) 流水线管理 代码 检出 代码 编译 镜像 构建 集成 测试 部署 测试平台 (集成，场景测试) 单接口 用例 场景 用例 执行 集 定时 执行 接口 Mock 覆盖 率 生产镜像 仓库 测试镜像 仓库 历史 管理 批量 手 动 触 发 代码到线上全流程管理 互联网化接口测试，场景测试 灵活执行集：冒烟，日常，回归 定时测试，MOCK测试 测试，生产镜像仓库分离，自 动同步 开发测试环境自动部署，生产 环境手动触发 持续集成 www.163yun.com 微服务框架 (服务治理) 服务 目录 注册 发现 限流 熔断 降级 容错 路由 负载 均衡 参数 分流

（多点写，单点读） 内容统计指标获取、内容榜单等 读写均衡 混合模式 （多点写，单点读， 单点写，多点读） 非核心业务 老版本兼容服务、运营活动、配置、管 理平台、官网、论坛等 N/A 本地模式 （单点读写） 设计思路 核心业务异地多活 精准流量调度 数据同步 多元化 最终一致性 依赖关系优化 配套系统支撑 主 从 多 主 汇 聚 混 合 场景区分 封装屏蔽细节 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 应用实践以及经验教训 • 未来规划 未来规划 • 异地多活架构平台化 • 弹性伸缩完善 • 一致性要求较高场景 • 西部以及海外机房部署 Q & A

DB Cluster 连接 序列化 路由 负载均衡 … 问题示例 1. 我依赖一个远程服务，但在负责它的团队把它上线之前，我什 么也做不了 2. 我负责的功能依赖一堆的远程服务，为了本地调测，我必须从 头到尾梳理代码，再写一堆的mock语句把他们全mock掉了。 每当业务逻辑变化了，代码中要增减相应的mock语句；每当依 赖服务上线后，要把测试用例中对应的mock语句去掉。对测试 用例的修改工作贯穿于整个开发工作之中。 不需要服务消费者注册，直接通过本地配置文件指定的IP地址来绕过“服务路由”及“负载均衡”机制。 服务提供者不能采用token验证模式 基于包名过滤服务 团队往往开发某类业务服务，这类服务一般都具有相同的包名，因此，可以通过配置包名和服务IP的映射关系， 让服务框架自动将一批服务和特定的IP关联到一起。 直连调测机制 提供者B 服务容器 提供者B 服务容器 本地配置文件 com.company company.modelB.* 192.168.1.33 com.company.modelC.* 192.168.1.44 应用服务契约测试 契约测试 通过mock手段可以解决外部不可控因素对本地调测的影响，如果真实的外 部服务改变了，我们的mock数据也要随之改变，但 问题是： 我们如何及时感知到服务接口/逻辑发生变化了？ 解决方法：契约测试 通过将契约测试集成到CI流程中，在构建的过程中完成接口的联调测试，和

Contract Correlation IDs Chaos Monkey incremental change “架构量量⼦子（architectural quantum）”是⼀一个可独 ⽴立变化并部署的单元组件，其具有⾼高功能内聚性， 包含⼀一个系统正常⼯工作所需的所有结构要素。 Checkout component component component database component component component component microservice container ⼤大泥泥球 ⼤大量量⼦子尺⼨寸的应⽤用阻碍频 繁增量量变更更，因为⾼高耦合 性需要⼀一次部署⼤大量量代码、 ⼤大量量的应⽤用。 单例例架构 ⾮非结构的单例例架构 user interface Class Class Class Class Class Class Class 研发学习成本 企业研发⼯工具链⽣生态 敏敏捷协作平台 部署发布 平台 持续交付流⽔水线平台 ⾃自动测试 平台 微服务系统设计，研发与运维管理理 微服务 /API设 计 代码 ⽣生成 契约 服务 架构 演进 微服务 运维治 理理 部署架 构 设计 统⼀一协作平台 研发⼯工具连 为某企业做的微服务平台规划 部署架构设计 服务 契约 定义 契约 代码 评审

独立应用模块 • 通信：协议、队列 • SDK引用 • 通信：http、 RPC… • 服务治理 • 透明代理 • 通信：通用协议 • 服务治理 • Cloud Native部署 ServiceComb 一个基于SDK的“传统”微服务框架 Service Center service Java chassis Config Center service myns sidecar-injector=enabled 用户案例 原则 • 架构稳定，有可持续发展、演进能力 • 支持多语言、传统微服务和新兴ServiceMesh微服务 架构混合场景部署 • 有大型成功商用案例 • 无商业强绑定，高自由度，企业自主可控 • 完整的生态栈，涵盖开源主流微服务运维和安全领域 • 低学习成本，有编程语言基础即可快速上手 华为开源 ServiceMesh方案 统一服务治理中心 ServiceComb SDK Java应用 PHP应用 0侵入改造  支持多种开发语言  解决Java和PHP共存场景  传统与新兴微服务化方式共存  混合部署、协同治理  丰富的监控运维  细化到业务层面的微服务监控运维  遗留应用0改造  支持0侵入业务代码，使用成本低，对 原有业务无影响 开发方式不变 ServiceComb