从高并发到极端并发：百度 Feed 与春晚红包的高可用实践-吴永巍

颜世光 百度 搜索基础架构 从百度文件系统 看大型分布式系统设计 自我介绍 • 颜世光, 专注于大规模分布式系统 • 代表作品 - 百度第三代Spider系统 - 百度文件系统BFS - 万亿量级实时数据库Tera - 集群调度系统Galaxy • 个人主页&Blog - https://github.com/bluebore - http://bluebore.cn 提纲 • • 百度文件系统简介 • 分布式系统设计实践 • 总结与致谢 百度的集群环境 • 单个集群通常几千台机器 • 百度文件系统(BFS)、集群调度系统（Galaxy）、分布式协 调服务（Nexus）是核心服务 • 实时任务与批量任务混合部署 Galaxy master BFS master Nexus lock service 分布式软件栈中的BFS The Baidu Stack 进程调度&内存管理 - Galaxy - 应用部署和任务调度 • 锁和信号量 - Nexus - 分布式锁 - 分布式通知 • 文件系统 - The Baidu File System - 持久化存储 百度文件系统架构 设计一个分布式系统要考虑的 • 数据与计算的分片 • 分区故障容忍 • 数据一致性 • 系统扩展性 • 延迟与吞吐 • 成本与资源利用率 • … 数据与计算的分片 • 哈希分片

命令⻛风暴暴 寻找聚合 什什么是聚合？ 如何寻找聚合？ 聚合是⼀一组相关领域模型的集合 ， 是⽤用来封装业务的不不变性。确保 关联关系紧密的领域模型能够内 聚在⼀一起。 1. 按照事件顺序依次通过提问来分析： • 这个事件会改变的领域模型是什什么？明确 领域模型（简单理理解就是事件中的涉及的 业务名词） • 这个领域模型是否可以独⽴立访问？如果是 就是聚合 • 如果不不能独⽴立访问应该需要通过哪个领域 补货上下⽂文 物流⼦子域 每⼀一个限界上下⽂文 都是在明确边界 微服务设计原则 1. 对⻬齐限界上下⽂文 2. 业务变更更频率与相关度 3. 系统⾮非功能性需求 4. 组织结构和康威定律律 5. 团队规模 6. 技术异构和现有系统复杂度 服务画布 已可视化 阿 ⼠士⼤大 1. 买家 2. 商户 1. 买家创建订单 2. 商户履履⾏行行订单 订单 商品 1 1. 订单 2. 商品 3. *** 明确服务的范围 明确核⼼心模型 明确服务包含的数据表 可视化的拆解遗留留系统 微服务架构、绞杀模式、代码依赖分析、数据库依赖分析、 遗留留系统拆解评分表、降⻰龙⼋八步 庖丁解⽜牛拆解的最⾼高境界 了了解⽜牛的⽣生理理构造 避开筋腱⻣骨节交错的组织 从⻣骨节的缝隙下⼿手 ⼗十九年年⼑刀依然锋利利 再看⼀一眼微服务架构 我们要做应⽤用代码拆分

产品介绍 业务挑战及架构目标 架构演进 总结展望 业务挑战与架构目标 建筑造型多样化，业务模 型复杂度越来越高 业务挑战 新业务基于现有业务进行 扩展，而应用场景及性能 要求不同，既复用又独立； 产品云+端转型，核心业 务逐步实现服务化，不同 业务演化路径不同 简化业务模型复杂度 架构演进目标 不同业务间解耦 各业务独立演化 单体架构 共享模型 模糊分层 应对复杂业务挑战的思考 构建领域模型 CONTENTS CONTENT 产品介绍 业务挑战及架构目标 架构演进 总结展望 架构演进 1 2 3 领域拆分 架构分层 构建领域模型 业务分析 2 1 3 4 分析业务流程 提炼业务规则 分析业务用例 识别业务对象 子域拆分 • 业务流程 • 专业知识 建模子域 计算子域 登录与 授权子域 报表子域 指标子域 做法子域 限界上下文拆分 按照行业钢筋平法规则，基于构件剖面描述钢筋布筋的模型  基于业务用例识别业务对象 • 截面多边形 • 箍筋 • 纵筋 • 弯钩 • 端头 基于业务对象的钢筋模型 • 不同构件归纳抽象 • 分析业务对象及其关系 • 识别聚合、实体、值对象 柱截面钢筋模型 压顶截面钢筋模型 人防截面钢筋模型 截面钢筋 截面多边形 点筋 截面钢筋 规格 端头 弯钩 规格 线筋 位置 位置

•2015年至今 美团点评酒旅事业群 •负责酒旅搜索排序推荐 •负责酒旅数据仓库和数据产品建设 •2014年之前 美团网技术部数据组 •参与数据平台搭建 •负责全平台数据仓库和数据产品建设 •2011年 百度电子商务事业部 •有啊商城的开发 •2010年毕业于中科院计算所 Outline •美团点评酒旅业务简介 •基于用户画像的召回策略演进 •基于L2R的排序策略优化 •从海量大数据的离线计算到高并发在线服务的推荐引擎架构设计 •5KM范围内的用户购买的POI •回龙观附近没有POI 协同过滤 •Item CF •基于POI浏览行为 •POI相似度每天离线更新，User浏览POI行为实时更新 •相似度改进：时间序列衰减 •基于用户搜索行为 •基于搜索后浏览POI行为构造矩阵，计算 POI相似度 •User CF •loglikelihood ratio 基于用户画像的推荐 •基础属性 •性别、年龄、职业 •宅男：外卖 •情侣：电影 •亲子：儿童乐园 •旅游达人：酒店旅游交通 •推荐 •基于用户标签计算POI标签 •精确匹配：给亲子类用户推荐亲子类POI •模糊匹配：基于标签计算用户和POI相似度 古北水镇 白领 User 情侣 有车 九华山庄 南山滑雪场 标签在用户维度的分布 标签在POI维度的分布 用户标签偏好*标签权重*POI标签偏好*POI销量 召回策略演进过程 基于L2R的排序策略优化

加强对配送骑手的管控能力 提升配送全业务的运营效率，降低成本 履约流程：下单 -> 派单 -> 接单 -> 取货 -> 送达… 业务团队：招聘、采购、物料、培训、薪酬、保险.... 运营团队：运力结构、经营分析、绩效考核.... 客服团队：问题跟进、定责… 基础设施不断升级 与 用户消费升级 促使即时配送全面信息化 人工智能 大数据 GPS+GIS 移动互联网 智能手机/APP • 预测供需结构，智能派单调度 稳定 安全 SLA更高 业务复杂性高 • 用户：花了钱却饿着肚子 • 商家：出了餐却无人配送 • 骑手：投入的时间、劳动却少赚了钱 • 多业务线的共性与差异：专送、代理、众包⋯ • 运营复杂度高：定义科学的订单供给与运力结构，并精准调控 • 安全管理：用户安全、商家安全、骑手安全 履约SLA要求高，重线下业务运营 配送系统的技术定位与思路 初期造工具，解决能不能 长期造壁垒，实现降维打击能力 订单中心 （送什么） 品类 重量 支付状态 运单中心 （配送任务） 运单归属 配送状态 调度中心 （工程框架） 需求池 运力池 计算平台 策略平台 （算法策略） 算法框架 分析平台 经营规划 （目标） 盈亏 绩效 奖惩 业务管理 （过程） 运营工具 任务系统 骑手运营 （人） 任务 活动 等级 结算平台 （钱） 清算 结算 对账 接单网关

发 服务运⾏行行治理理 服务 部署 运⾏行行架构治理理 故障 分析 定义架构 约束条件 微服务架构设计 服务地图 设计 API设计 部署架构设计 微服务⼯工程创建 开发 框架 架构 ⻛风格 资源 配置 … 架构演进 服务 关系 分析 代码 质量量 分析 数据 库分 析 领域 模型 分析 运⾏行行资 源管理理 PaaS、 容器云资 源管理理 公共 部分 是否⾃自动⽣生成API/ Dockerfile/流⽔水线 ⽣生成 代码 到GIT 仓库 架构分析- 从契约反向识别实现与模型差异 架构分析- 架构Fitness Function检查 代码质量量分析- 配置Sonar地址、展⽰示分析结果 数据结构分析- 测试环境的反向⼯工程可视化 数据结构分析- ⽣生产环境脚本导入可视化 领域模型- 基于代码守护的反向可视化 运⾏行行时部署架构可 契约变 更更评审 未评审 契约 提⽰示 已申请资源 登记 服务部署 脚本⽣生成 部署架构 推到⽬目标 运⾏行行（测 试、⽣生产） 单服务 更更新 服务⽰示例例 ⽇日志 问题定 位分析 调⽤用链可 视化 ⽣生成 流⽔水 线 对接流⽔水线执 ⾏行行部署 分享 契约 应⽤用架构变更更 评审 关联变更更到需求 需求 查看需求 我的任务 对接外部 系统

苏宁易购小程序架构实践 苏宁 禹立彬 小程序群与割裂的互联网 • 截止今日，互联网头部公司都推出了自己的小程序产品，腾讯系的微 信小程序，应用在微信和QQ，百度的百度小程序，应用在手机百度 和百度地图，头条小程序，应用在今日头条和抖音，还有各大厂家的 快应用等项目、 • 同时，WAP/APP等应用场景也需要同步开发，成本巨大。 小程序生态 • 围绕着小程序，各厂家也推出了一系列针对小程序的生态标准，联合 尝试无授权登录+授权登 录 微信/百度小程序联合 登录—快速绑定 使用媒体提供的手机号接口，快速注 册/绑定 微信/百度共用 小程序服务-二维码&图片 • 二维码服务——— 二维码预生成服务 • 图片合成———素材+二维码朋友圈分享 小程序服务-服务通知 • 微信——收集formid • 业务系统消耗formid发送模板消息 小程序服务-数据推荐 • 百度推荐———用户冷启动服务 新的垂直的小程序，使用同步器生成项 目脚手架。 微信小程序插件 • 面向活动玩法类 • 小游戏 • 微信官方提供 • 降级到Webview 百度小程序转换器 • 基于百度官方的wx2swan • 将同等逻辑的微信小程序页面转换为百度 • 无法精确匹配每一个组件 • 少量修改，减少工作量 易购系APP转换器 • 将小程序代码转换为基于ReactNative框架的易购版小程序

度量标准 验证测试 Unit tests Functional tests Performance tests … … Architects Dev Team 适应度方程 Fitness Function a particular type of objective function that is used to summarize how close a Ruby, and Javascript. 适应度方程 Fitness Function Atomic 原子的 Holistic 全局的 Batch 批次的 Continuous 持续的 适应度方程 Fitness Function Batch 批次的 Atomic 原子的 适应度方程 Fitness Function Batch Batch 批次的 Holistic 全局的 适应度方程 Fitness Function Atomic 原子的 Continuous 持续的 适应度方程 Fitness Function Continuous 持续的 Holistic 全局的 工程卓越 —— 演进的基础 没有任何实践可以代替交流沟通 “The measure of intelligence

基础设施 ⼲干系⼈人: 业务领域专家，业务领导 诉求: 表现业务概念和实现业务价值 要点: 业务建模和复杂性管理理 ⼯工作内容: • 建⽴立业务模型，并体现在代码上 • 管理理模型复杂度，适度拆分模块 • 实现业务逻辑 业务⼈人员关注的层 业务领域 腐化案例例: 亏空 ⼤大量量技术术语业务⼈人员完全看不不懂 模型: • 应⽤用服务 — 跨Bond Context DDD分层架构 不不同模型适配(名词) 资源模型: 应⽤用想要⼀一把查询获取所有信息，⼀一个操作做完业务 前端应⽤用 API服务 业务领域 基础设施 业务模型: 精确表达⼀一个业务概念，分治管理理复杂度 存储模型: 性能最优化 DDD分层架构 不不同模型适配(动词) HTTP⽅方法: POST GET PUT DELETE 前端应⽤用 API服务 业务领域 基础设施 业务操作: 注册 登录 退出 修改 撤销 存储动作: INSERT UPDATE DELETE 资源模型: 应⽤用想要⼀一把查询获取所有信息，⼀一个操作做完业务 业务模型: 精确表达⼀一个业务概念，分治管理理复杂度 存储模型: 性能最优化 不不同层级的模型坚决隔离， 严格⼀一对⼀一翻译映射，不不准复⽤用 DDD分层架构治理理 HTTP⽅方法: POST GET PUT DELETE 前端应⽤用