领域驱动设计&中台/架构分层模型适配
百万雄师的铸造秘密 — 踢正步 叠被⼦子 知⾏行行合⼀一 每个⼈人⽇日常就能做到 在⽇日常最细微处抵抗懒散腐化 坚持塑造纪律律 DDD分层架构 不不同模型适配(名词) 资源模型: 应⽤用想要⼀一把查询获取所有信息,⼀一个操作做完业务 前端应⽤用 API服务 业务领域 基础设施 业务模型: 精确表达⼀一个业务概念,分治管理理复杂度 存储模型: 性能最优化 DDD分层架构 不不同模型适配(动词) 基础设施 业务操作: 注册 注销 登录 退出 修改 撤销 存储动作: INSERT UPDATE DELETE 资源模型: 应⽤用想要⼀一把查询获取所有信息,⼀一个操作做完业务 业务模型: 精确表达⼀一个业务概念,分治管理理复杂度 存储模型: 性能最优化 不不同层级的模型坚决隔离, 严格⼀一对⼀一翻译映射,不不准复⽤用 DDD分层架构治理理 HTTP⽅方法: POST GET PUT 业务操作: 注册 注销 登录 退出 修改 撤销 查看 查询 验证码 激活 存储动作: INSERT UPDATE DELETE 动词翻译映射 create retrieve update delete save find DDD分层架构治理理 前端应⽤用 API服务 业务领域 基础设施 名词翻译映射 资源模型: ⽤用户想要⼀一把查询获取所有信息,⼀一个操作做完业务 业务模型: 分解的业务概念0 码力 | 39 页 | 2.54 MB | 1 年前3美团点评旅游推荐系统的演进
•负责全平台数据仓库和数据产品建设 •2011年 百度电子商务事业部 •有啊商城的开发 •2010年毕业于中科院计算所 Outline •美团点评酒旅业务简介 •基于用户画像的召回策略演进 •基于L2R的排序策略优化 •从海量大数据的离线计算到高并发在线服务的推荐引擎架构设计 •推荐在美团点评酒旅的应用实践 人工智能应用 Critical Physical World Critical Digital User 情侣 有车 九华山庄 南山滑雪场 标签在用户维度的分布 标签在POI维度的分布 用户标签偏好*标签权重*POI标签偏好*POI销量 召回策略演进过程 基于L2R的排序策略优化 机器学习流程 问题建模 推荐 推荐 访消率 •访购率为目标 •只看点击率没有反映出交易属性 •看最终收入 •消费受购买限制、退款条件等影响 •收入跟BD谈单毛利相关 •Pointwise bytes • 召回 • Booth:场景 • Strategy:Baseline • SelectRule:Location-Based • Selector:区域热销POI • Merge:子策略融合 • 调制 • 分级 • 过滤 • 通用过滤策略:黑名单 • 针对某类召回策略:浏览未购买 • Rerank:个性化排序 • Post Rerank 推荐引擎 API 推荐服务0 码力 | 49 页 | 5.97 MB | 1 年前3全球架构师峰会2019北京/量子计算/量子计算及其潜在应用&mdash
表明未来算力依赖 于量子领域的探索 摩尔定律: 集成电路上的晶体管数目 每隔18个月翻倍,性能也会 翻倍 一般业界认为量子 计算的应用如下: • 量子化学模拟 • 量子材料模拟 • 量子优化问题 • 量子机器学习 • 量子密码系统 • 量子精密测量 • 量子启发算法 量子计算优势 量子计算优势 Chemistry Simulation Material Design Web 2018年华为全联结大会首次发布 华为HiQ 2.0重点布局量子化学+量子调控:助力“专用”量子计算机研发 专用 vs 通用 “专用”量子计算机 “通用”量子计算机 主要应用 量子系统仿真 量子化学 组合优化 机器学习 大数分解 数据库搜 索 量子动力学 量子人工智 能 影响领域 学术界 制药、能源、材料、物流、网络等 电信、网络安全、大数据、金融、医药等 核心算法 Analog Sim VQE 合计算是发挥其应用潜力的最重要途径之一! 华为量子计算云服务2.0,功能和性能全面大幅提升 量子应用 量子算法库 量子编程框架 量子控制 量子芯片 模拟器 化学模拟 组合优化 人工智能 模拟算法 优化算法 学习算法 编程语言 编译器 资源管理 资源调度 量子纠错 控制脉冲 量子-经典接口 超导 离子阱 金刚石色心 HiQ 1.0 展开 HiQ 2.0 展开 HiQ 2.00 码力 | 34 页 | 5.57 MB | 1 年前3领域驱动设计&中台/物联网平台的反应式设计
Management Device Shadow Rules Engine Tenant & User Certificate 为什什么需要反应式架构 设备影⼦子业务说明 1. 设备上报状态 2. 将上报状态持久化到数据库 3. 应⽤用查询上报的状态 4. 应⽤用设置期望的状态 6. 期望状态和上报状态的 差异 (delta) 同步⾄至设备 7. 设备上报新的状态 8. 将新的上报状态持久化到数据库 “GREEN”, “state”: “ON” } }, “version”: 10 } 设备影⼦子业务说明 1. 设备上报状态 2. 将上报状态持久化到数据库 3. 应⽤用查询上报的状态 4. 应⽤用设置期望的状态 6. 期望状态和上报状态的 差异 (delta) 同步⾄至设备 7. 设备上报新的状态 8. 将新的上报状态持久化到数据库 “delta”: { “color”: “RED” } }, “version”: 11 } 设备影⼦子业务说明 1. 设备上报状态 2. 将上报状态持久化到数据库 3. 应⽤用查询上报的状态 4. 应⽤用设置期望的状态 6. 期望状态和上报状态的 差异 (delta) 同步⾄至设备 7. 设备上报新的状态 8. 将新的上报状态持久化到数据库0 码力 | 18 页 | 1.81 MB | 1 年前3分布式异地多活架构实践之路
非核心业务 老版本兼容服务、运营活动、配置、管 理平台、官网、论坛等 N/A 本地模式 (单点读写) 设计思路 核心业务异地多活 精准流量调度 数据同步 多元化 最终一致性 依赖关系优化 配套系统支撑 主 从 多 主 汇 聚 混 合 场景区分 封装屏蔽细节 容量合理规划 当前总体架构 合肥 北京 广州 HTTPDNS 智能DNS GSLB GSLB Servers MQ 监控 sdk Service 消息状态上报 调用重试/查询接口 同步消息管理服务 全局消息id生成 消息管理(预写、删除等) 重试、查询、监控接口 sdk CRSync CRSync sdk sdk Processor 是否执行结束 获取监控接口 通知运营 或者技术, 人工介入 依赖关系优化 不跨机房 弱依赖 少依赖 主从模式 主从模式 主机房 从机房 可用性 机房内故障 机房入口网 络故障 DNS问题 自动流量切换,业务 几乎没影响 10分钟迁移95%流量, 总体可控 几乎无劫持,延迟降低 20%,解析失败率率下 降15% 响应时间 优化前 优化后 系统扩容 北京IDC 合肥IDC 广州IDC 系统能够任意水平扩容 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 应用实践以及经验教训0 码力 | 36 页 | 1.66 MB | 1 年前3降级预案在同程艺龙的工程实践-王俊翔
• 依据服务重要程度,从全局制定 分级预案,对降级点进⾏行行预案编 排,并跟踪监控降级链路路的执⾏行行 • 发现潜在故障,多维度验证预案 有效性,评估系统可靠性,提供 降级策略略、参数调整的优化依据 整体架构 Agent 服务降级注册 降级熔断通知 元数据存储 控制 中⼼心 ETCD ETCD ETCD ETCD 服务注册监听 降级控制中⼼心 元数据 TurboMQ 策略略管理理 流控管理理 预案管理理 指标管理理 监控告警 数据⼤大盘 脚本开发 ETCD管理理 故障演练 业务保障管理理后台 应⽤用JVM进程 故障动态注⼊入 Attach 故障注⼊入 指标聚合查询 熔断降级计算(Flink) ⽇日志中⼼心 KAFKA 数据采集、计算、存储 指标(HBase) 指标明细(ES) 降级⽇日志(ES) ETL 指标计算(Flink) 脚本引擎 查 ⽇日志解析规则 控制中⼼心 ETCD 降级服务 降级处理理 流处理理集群(Flink) HBase ES Redis 落地存储 数据服务 数据平台 实时告警 告警策略略 指标查询 指标脚本开发 指标配置 产品化 开发 复合指标计算如何处理理 ServiceA ServiceB ServiceC ServiceD AppA AppB 指标池 表达式计算0 码力 | 26 页 | 18.67 MB | 1 年前3付钱拉金融云系统架构演进和最佳实践
八方数据 … 资金管理 供应链 分期支付 扫码分销 … 基础支付1 SDK支付 扫码支付 分期支付 比特币 银行卡 开户 监控 报表 … 基础支付2 单笔代收 单笔代付 语音支付 余额查询 批量代收 身份鉴权 批量代付 快捷 … 账务 开户 记账 对账 账户托管 … 现金罗盘 代付工资 对外付款 企业理财 企业报销 资金划拨 供应链 … 其他 贷款 理财 Tomcat Oracle Oracle Nginx keepalived 数据库双机 网络分发层 业务处理 渠道适配器 交易预处理 交易预检查 交易风控 交易路由 通知 响应 查询 通道 交易拆分 业务2.0痛点 BUSINESS 2.0 PAIN POINTS 业务野蛮发展 交易量高速增加 并发请求增加 交易响应速度过慢 数据库单表 数据量剧增 模块耦合度高 单 笔 代 付 快 捷 鉴 权 短 信 批 量 代 收 交 易 查 询 批 量 代 付 批 量 代 收 交 易 查 询 分而治之 DIVIDE AND RULE IT 核对查询 响应码 防刷 一致性问题 ... 资金风险 重路由 从1到N的业务成长 FROM 1 TO N BUSINESS GROWTH 01 11 12 15 16 05 620 码力 | 35 页 | 6.05 MB | 1 年前3刘道平-从0到1,移动政务应用小程序系统架构演化
网上办事和便民服务。 仅有15%的政务APP提供办事服务,存在“信息有余、服务不足”的问题。 2、下载APP成为负担 政务APP盲目开发泛滥,用户为了办事需要下载多个APP,成为一种负担。 3、优化不足体验差 政务APP接入政务服务,没有结合移动端的访问特性进行移动化改造,用户体验差。 4、缺少持续运营: 政务APP运营维护乏力,版本迭代缓慢,存在大量僵尸应用。 资料来源 CAICT中国信 caict.ac.cn/kxyj/qwfb/ztbg/201804/t20180426_158502.htm 2、政务服务微信公众号的现状 优势: 1.各省市政务提供的政务服务公众号,方便了用户查询、办理政务业务 服务。 2.用户无需额外下载安装,即可使用微信公众号进入政务服务。 问题: 1.各厅局委办的公众号之间不能实现账号互信,用户需要记住不同业务 系统的账号密码才能访问。 2 6、探索需求 -- 分析可行性,选取合适的需求场景 什么需求适合进入第1版本? 1.服务对接方式:提供API接口,而非H5页面 2.认证方式:基于后台API方式,而非要求用户再次输入 3.服务类型:属于查询、办理类,而非资讯信息、办事指南 4.服务具有便民、高频特征 帅选出第1版本要接入的百项高频便民事项 典型需求梳理场景 - 残疾人服务事项分析 7、产品设计—淬取政务服务信息要素、以用户为中心的展示0 码力 | 35 页 | 15.60 MB | 1 年前3分布式 KV 存储系统 Cellar 演进之路
响应 ldb fdb rdb 引擎层 迁移 复制 • 中心化集群问题 • 可用性问题 • 性能问题 • 运维问题 Cellar起源—Tair问题 Cellar起源 架构升级 性能优化 可用性优 化 可运维性 Cellar 开源 Tair • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 Cellar—中心节点架构演进 Cellar—中心节点架构演进 • 性能问题 客户端集中获取路由表 • 隔离性问题 中心节点暴露给客户端 单独的路由表获取模块 Cellar—中心节点架构演进 • 可扩展性: 路由查询能力 可线性扩展 • 隔离性: 客户端与中心节点 完全隔离 Cellar—中心节点架构演进 一致性 • 主备脑裂 • observer与config • Zookeeper选主 • 元数据Zookeeper存储 • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 系统研发 • 异地多活 • 跨机房自动容灾 • 磁盘粒度容灾 • 数据迁移优化 可运维性 • 容器化 • 自动扩缩容 Cellar规划 谢谢0 码力 | 34 页 | 1.66 MB | 1 年前3微服务和Service Mesh 在多个行业落地实践
审计 注册,发现,调用都提供鉴权 认证鉴权 接口文档统一维护 文档与运行时一致 减少调用沟通成本 知识库 根据平台、租户、项目三个层次区分权限作用域 操作记录,审计日志,事件查询 账户审计 微服务框架负责服务之间的调用——企业级特性 www.163yun.com 某证券公司 持续集成 中台化 容器化 注册发现 www.163yun.com 网易容器平台优势 集群规模大:30000+节点 生产检验时间长:国内首个K8S公有云容器平台稳定运行1000+天 全球首批通过K8S一致性认证 基于OVS的网络性能优化 基于Ceph的存储性能优化 多集群统一管理 www.163yun.com 某物流企业 www.163yun.com 线上 系统A API网关 (流量接入层) 路由 路由 插件 分流0 码力 | 39 页 | 3.06 MB | 1 年前3
共 25 条
- 1
- 2
- 3