微服务化让问题更更凸 显 • RT 累积
 
 RT 与 ⽤用户增⻓长 RT 累积带来成本 • 过早引⼊入 cache • 每个服务都在设置超 时 维护成本、业务实现复 杂化 天⽣生异步的架构 流 Stream / Flow / Flux 什什么是流 • ⼀一个流是顺序串串⾏行行执⾏行行的 • 多个流之间才可能是并⾏行行的 Your Mouse is a Database buffer(10, MILLISECONDS, 16) .flatMap(service::batchOps) 流 - 并发控制 切过 Scheduler是指： • 远程调⽤用已经异步化，所以是已经且过 Scheduler • 可以⼿手⼯工切 Scheduler (subscribeOn / observeOn) 业务顺序编写 并发⽅方式执⾏行行 • 不不同的流 • ⽆无依赖 map(Result::getData) .reduce(0, (acc, data) -> acc + data); 流 - 性能 全异步、流式 CPU数个业务线程 更更少的上下⽂文切换、更更少(⽆无)的竞争、更更低的LOAD 业务等效依赖的异步并发 更更⾼高效的资源利利⽤用率 Universal Scalability Law 系统流⽔水线并⾏行行处理理 流 - 分布式 �

OnlineCache XPNS Broadcast PushTask API JCache JMQ DB 极光推送后台系统架构 02 01 06 03 07 05 04 08 模块化 异步化 并行化 缓存化 程序及系统优化 基础组件服务化 链接管理 系统安全 09 新技术的应用——K8S部署业务 模块化 • 模块业务逻辑All In导致相互影响，更新升级难度大 • 极光推送后台系统架构 01 Segment Conn StatCenter OnlineMsg 异步化 • 充分利用资源，减少请求等待时间，提升系统吞吐量 • 消息化请求 • MQ - RabbitMQ, RocketMQ • 模块间解耦 • IDC数据同步 • 异步RPC • ICE - 负载均衡，AMI，AMD，多线程 极光推送后台系统架构 02 并行化 • 横向扩展处理能力 高性能/低成本、高可用、高运维 • 只用验证过的开源组件 • 自研替代开源 • 能并行就不要串行 • 能异步就不要同步 • 保持简单，快速迭代 • 不要过早优化，架构是演进出来的 极光推送后台系统架构 结束语 • 高性能/低成本、高可用、高运维 • 只用验证过的开源组件 • 自研替代开源 • 能并行就不要串行 • 能异步就不要同步 • 保持简单，快速迭代 • 不要过早优化，架构是演进出来的 极光推送后台系统架构

TPS, 延迟10ms • 能睡个好觉(数据持久化，数据最终一致性，容错) • 设计简单，运维方便 交易系统架构设计-关键点 • 内存撮合服务的状态持久化和高可用 • 消息处理顺序的保证 • 异步服务之间消息传送的可靠性 • K线：实时的分组聚合操作 • 高效利用关系数据库 交易系统架构设计-架构图 撮合 资金清算 行情推送 K线计算 历史成交 订单状态 PG Redis 在同一个事务中存储处理结果和更新消费offset $ redis-cli > xread block 60 count 100000 streams b{btc_usdt}o offset … 交易系统架构设计-异步任务 def read_events(redis, key, offset=0): while True: events = redis.execute('xread', 'block' timeout continue _, events = events[0] yield events offset = events[-1][0] 交易系统架构设计-异步任务 def task(pg, redis): offset = pg.fetch(‘select offset from task_offset’) for events in read_events(redis

0 PAIN POINTS 业务野蛮发展 交易量高速增加 并发请求增加 交易响应速度过慢 数据库单表 数据量剧增 模块耦合度高 开发效率低下 … 思考 THINKING 解耦 异步化 扩容 排队 队列 缓存 冷热数据隔离 读写分离 分库分表 容灾 限制 池化 ACK ... 变化 VARIETY adapter oltp db 银行/第三方支付 避免系统中出现单点故障，包括中间件和应用程序等所有的节点 13.能异步处理的别同步处理，异步可以释放线程资源，避免阻塞，提高响应效率 14.随着业务量的增加，考虑功能拆分和数据库表拆分，除此支付系统建议按照通道 拆分，不同的通道指定独立的work线程，分而治之，避免相互之间影响；提高并发的一个思路就是拆分， 拆分后通过异步提高并发效率 金融系统最大的成功是部署了一套可靠的、稳定的解决方案，

Partition 2 写⼊入： 查找： O(logi) + O(logj) ≈ O(1) O(1) 缓存 Cache File 堆外内存 异步预加载 读写共⻚页 PLRU淘汰策略略 ⾼高并发 ≠ ⾼高性能 减少等待 异步: Future, Callback, React框架 流程拆分 减少锁：CAS原语 减少锁等待: 读写锁, 细粒度锁 写⼊入数据流程 IOThreads Distributed Monitoring and Diagnosis Stack for High-speed Networks” Anurag Khandelwal, Rachit Agarwal 基于位置的异步复制 Sorted requests queue Request handler Sorted responses queue Replication Thread Response handler

所有的报价都实时计算，填充好 • ⼀一个巨⼤大的哈希表 • 响应所有渠道价格变动进⾏行行计算 • 快 • 0 变价 设计思路路 CAP BASE 理理论 按需计算 消息驱动 异步 分布式 分级缓存 ⽆无状态 搜索框架 PriceMerger 报价引擎 供应商直连 旗舰店 CacheManager 抓取 App WWW Touch 分销 Cache Redis 遇到问题 解决⽅方案 • 报价数量量多，内存问题 • 报价源多，不不稳定 • 响应时间要求苛刻 • 搜索条件有热点 • 缓存报价不不准 • 尽量量⽤用原⽣生数据类型，编码 • 回数⽐比例例，异步搜索更更新 • 分批回数 • ⼀一致性哈希，负载均衡 • 供应商粒度，主动更更新 报价引擎 供应商规则 航司运价 航班舱位状态 套餐搭售 + + 低价特惠 商旅优选 头等舱 。。。 • Integer • Set • byte, byte[] • short, short[] • int, int[] • obj pool 报价引擎 — 性能优化 • 异步、并⾏行行、⽆无锁化 • 剪枝 • 空间换时间 • 缩短对象驻留留内存时间，减少gc次数，优化单机吞吐 • 数据交换采⽤用protobuf + gzip处理理 • jit、预热

JAVA作业 分布式与本 地作业模式 • 完美兼容现有PHP的作业，可无缝迁移，成本最低 • 提供多种业务开发模式，满足不同的业务需求 • 多种业务运行模式，即可分布式管理也可本地管理 • 通过异步消息实现业务编排* 多种作业类型 人工指定 运行节点 系统自动 平衡负载 资源利用 • 灵活的运维配置与部署 • 高效资源利用 • 简便的管理 人工指定 自动平衡 资源平衡调度算法 log 2.增加JVM启动参数-XX:+PerfDisableSharedMem来避免生成perf文件 后续开源方向 路漫漫其修远兮，吾将上下而求索 以分布式调度为核心 Batch Job调度 异步微服务调度 FAAS 消息调度 开源演进 － 消息调度(即将迁移到开源版) Aa A1 A2 A3 Ab := + + A2 A1 A3 := + + Ac A3 A2 A1 := + Kafka/RabbitMQ Msg Job Cron Job Pull请求 Push结果 定时处理 Push结果 通过配置的方式配置接收消息的队列名称或 者是发送结果到那个队列的名称 源演进 － 异步微服务调度 Saturn Saturn 消息系统 Channel1 Channel2 Handler Caller message message Handler message message

精准流量调度-全局 HTTPDNS LocalDNS 智能DNS 合肥IDC 北京IDC 广州IDC 弱依赖，可控 SDK封装： 重点域名预解析 缓存域名解析结果（sp、 wifi名） 出错或快过期异步解析 合法IP动态下发 IP请求结果统计 多级兜底容错 解析IP合法，IP请求 解析IP不合法，固定IP请求 GSLB HTTPDNS 精准流量调度-用户 智能DNS 路由服务 路由服务 CRSync Service Service Service 专线/公网 专线/公网 尽可能减少数据同步 控制同步的大小 专线与公网互相容灾 环形同步路径容灾 Push无状态数据 CRSync异步同步 Service实时同步 北京IDC 合肥IDC 广州IDC 最终一致性 MQ 消息接口 消息状态库 定时补偿 MQ 监控 sdk Service 消息状态上报 调用重试/查询接口

RocketMQ • RabbitMQ • ActiveMQ • Apollo 消息队列使用场景及选型 事务可靠性场景（ActiveMQ/RabbitMQ/RocketMQ）： • 重要业务数据的异步处理 吞吐量优先场景（Kafka/RocketMQ）： • 大规模数据的传输和收集 Kafka web管理界面： •Kafka Web Console •Kafka Manager •KafkaOffsetMonitor

hystrix..(service) 热点削峰 流量 系统容量水位线 不限流 限流 时间 削峰策略[知容量,明底线] 限流 降级 熔断 拒绝服务 异步延迟 多节点参与 开关控制 过载保护 丢车保帅 容量水位线 底线 多节点有序参与 智能DNS，DNS负载均衡 限流(limit,lua)，openresty，4层/7层LB