唯品会调度系统的前世今生缺乏分布式处理 无法合理利用机器资源 难以问题追踪 选型对比 Crontab Quartz Linux系统级的定时任务执行器 缺乏分布式运算和集中管理功能 无法做到高可用 TBSchedule Elatic-Job Java事实任务标准 关注点在定时任务而非数据, 缺少分布式并行调度的功能 阿里早期开源的分布式任务调度系 统,代码略陈旧 作业类型较单一,只能是获取/处理 数据一种模式 当当开源的分布式任务调度系统 当当开源的分布式任务调度系统 代码较新,使用Quartz进行调度。提供 高可用和分布式功能 功能单一,只支持Java,不支持 Shell(PHP)和消息驱动的作业调度 对任务超时、任务执行情况、监控逻辑 支持粒度功能较单一或缺乏 没有容器化选型? 调度产品的定位 简易开发、简单维护 高可用、分片并发处理、资源调度动态平衡 支持Java、Shell以及本地模式(VIP还支持消息模式) 唯品会弹性调度系统的架构与功 能窥探 域 应用包 作业 执行节点 1 1 * 1 * * 创建 Binding 调度器 物理机 1 1 分片 1 * * 领域模型 Ready Running Stopping Stopped 启用 触发(手工, 时间或消息) 停用 执行完成 停用 执行完成 作业状态变迁 内部系统集成 ZK 执行结点 Job A Job B 作业调度器0 码力 | 58 页 | 5.40 MB | 1 年前3
微服务和Service Mesh 在多个行业落地实践代 码 检 出 代 码 编 译 镜 像 构 建 集 成 测 试 自 动 部 署 流水线管理 测试平台 (集成,场景测试) 单接口 用例 场景 用例 执行 集 定时 执行 接口 Mock 覆盖 率 生产镜像仓库 测试镜像 仓库 历史 管理 批量 导入 接口 监控 www.163yun.com 多样需求 持续集成 中台化 (集成,场景测试) 单接口 用例 场景 用例 执行 集 定时 执行 接口 Mock 覆盖 率 生产镜像 仓库 测试镜像 仓库 历史 管理 批量 导入 接口 监控 生产集群 镜像 同步 镜像拉取 自 动 部 署 手 动 触 发 代码到线上全流程管理 互联网化接口测试,场景测试 灵活执行集:冒烟,日常,回归 定时测试,MOCK测试 事务消息——中间件 TMC 网易分布式事务的实现机制 www.163yun.com 事务发起者、事务参与方 分支事务用事务id做幂等 生成对应分支事务记录 并行调用 定时任务兜底 红色为异常流程 Q:回滚的时候,如果分支事务记录不存在,该 怎么返回? option1:返回成功 option2:返回失败 option3:引入超时判断机制0 码力 | 39 页 | 3.06 MB | 1 年前3
大规模分布式系统架构下调测能力构建之道为每个开发人员或测试人员提供一个单独(schema/catalog)的测试数据库。 2.预置数据独立管理,并通过测试框架提供预置数据前置导入及后置清除能力。 逻辑上支持“租户”隔离模式的分布式服务一般对多团队并行开发/调测的支持较好,分布式环境下,一般不会成为工程效率提升 的瓶颈。针对这类服务,不用急于构建其Mock服务,可以根据其特性,寻找成本较低的实现途径。 分布式文件/对象存储 Tom/assets/product/… Set Sorted Set Cache 链式处理 网络Mock 故障mock DB SandBox Cache Client Cache Mock 缓存 IDE 测试用例管理 执行管理 Mock数据管理 预置数据管理 E2E script WebDriver Mock 数据 单元测试用例 预置 数据 日志 测试 结果 测试套件 对象/文件 DFS/OSS0 码力 | 19 页 | 2.74 MB | 1 年前3
海量用户推送后台系统架构实践-曾振波XPNS Broadcast PushTask API JCache JMQ DB 极光推送后台系统架构 02 01 06 03 07 05 04 08 模块化 异步化 并行化 缓存化 程序及系统优化 基础组件服务化 链接管理 系统安全 09 新技术的应用——K8S部署业务 模块化 • 模块业务逻辑All In导致相互影响,更新升级难度大 • 功能按照业务拆分解耦 IDC数据同步 • 异步RPC • ICE - 负载均衡,AMI,AMD,多线程 极光推送后台系统架构 02 并行化 • 横向扩展处理能力 • 数据分片存储 • 多节点+分片+多副本架构 • 数据读写动态路由 • 请求并行处理 • 模块级别并行 • 代码级别并行 极光推送后台系统架构 03 MQ Segment OnlineMsg OnlineMsg OnlineMsg 高性能/低成本、高可用、高运维 • 只用验证过的开源组件 • 自研替代开源 • 能并行就不要串行 • 能异步就不要同步 • 保持简单,快速迭代 • 不要过早优化,架构是演进出来的 极光推送后台系统架构 结束语 • 高性能/低成本、高可用、高运维 • 只用验证过的开源组件 • 自研替代开源 • 能并行就不要串行 • 能异步就不要同步 • 保持简单,快速迭代 • 不要过早优化,架构是演进出来的0 码力 | 23 页 | 1.26 MB | 1 年前3
全球架构师峰会2019北京/量子计算/量子计算及其潜在应用&mdash?⟩) Huawei Confidential 5 量子计算的基本原理:纠缠 Particle 1 Particle 2 1 2 ( ↓1 ↓2 + | ↑1⟩| ↑2⟩) 量子计算的并行性 Equals to classical computer operate 2Ntimes Exp: Decry a 400bits integer that used for RSA password,it 提供多种主流的费米子编码方法:Jordan-Wigner, Parity,Bravyi-Kitaev 等 4.提供支持并行计算梯度的 Optimziers,能更快收敛 5.模拟业界最大规模 VQE (C2H4,14 orbitals)(核心技术:高质量初态 ansatz 制 备,有效参数约减,线路优化,并行梯度计算等) 6.支持 GUI 界面友好编程体验 华为量子化学软件包 HIQ Fermion 1:多参数约减算法,可约减高达80% reinforcement learning 和 Monte Carlo 3. 兼容业界主力调控包Qutip等 4. 高性能计算能力(核心技术:新的计算Propagator方法,自主研发的 ODE计算模块,并行计算) 5.支持多比特优化 6. 为用户提供友好GUI 华为量子调控软件包 HIQ Pulse 1: 基于多种新型算法和技术实现量子优化控制算法性能数倍提升 2: 自研新型量子优化控制算法适应更广泛的应用场景0 码力 | 34 页 | 5.57 MB | 1 年前3
QCon北京2018-《美团配送系统架构演进实践》-阴永俊组织架构 核心数据模型 配送服务 配送运力 ⋯ 订单中心 (送什么) 品类 重量 支付状态 运单中心 (配送任务) 运单归属 配送状态 调度中心 (工程框架) 需求池 运力池 并行计算 策略平台 (算法策略) 算法框架 分析平台 经营规划 (目标) 盈亏 绩效 奖惩 业务管理 (过程) 运营工具 任务系统 骑手运营 (人) 任务 活动 等级 静态评估 工具辅助评估 场景压测 全链路压测 垂直拆分 水平拆分 自动归档 冗余备份 容量评估由人到系统 容量提升分阶段实施 快速起量,系统质量、研发效率问题凸显 规模化阶段:并行计算能力 计算能力是智能调度的关键! • 外卖场景下的配送计算能力要求 快速起量,系统质量、研发效率问题凸显 规模化阶段:提升各类运营系统迭代效率 元数据 管理 表单 管理 样式 管理0 码力 | 31 页 | 15.26 MB | 1 年前3
领域驱动设计&中台/化繁为简--DDD驱动复杂业务软件架构的演进DDD落地与研发融合 架构演进驱动产品与研发 • 降低了整体业务的耦合,各业务独立演化; • 简化了集成关系,降低了集成成本,实现各业务的独立发布; • 驱动组织按领域边界拆分了7~9个特性团队,实现并行研发; 限界上下文的拆分 + 领域模型+ 接口设计/测试 • 支撑产品转型,快速实现业务服务化; • 提升业务逻辑的可复用性,新业务快速扩展 • 人工智能技术低成本快速应用; 架构分层,隔离UI/业务/技术0 码力 | 33 页 | 1.25 MB | 1 年前3
领域驱动设计&中台/用状态机封装领域逻辑测试 答对问题有奖金 金额从2.56元到20.48元 请扫我微信以便当场转账 加微信时烦告知尊姓大名 状态 入口动作和出口动作 entry:进入时必须执行 exit:离开时必须执行 逻辑进一步内收 迁移 迁移的结构和执行顺序 1. 当前状态是否能接受事件 2. 警戒条件 如果为真 3. Exit:先子后父 4. Action和Message 5. 改变状态 6 从状态属性思考状态名称 优先用原生形容词,防止换汤不换药 有进有出 警戒条件之和必须是完备集(“其他”)且不重叠 吃饱了没?吃饱好干活 建模 打车领域 建模 实现 Rhapsody 执行 http://www.umlchina.com/training/umlchina_rhap_lab_dishwasher_81.pdf http://www.umlchina.com/training/download0 码力 | 30 页 | 1.75 MB | 1 年前3
全球架构师峰会深圳2015/研发体系构建_龚银_中型创业公司的技术管理之痛必然摩擦 不就是这里改一下么,不就是流程调整一下么? 沟通、沟通、沟通、无他 不同的对象,沟通方式不一样,灵活处理,使用不同的技巧 沟通只是第一步,形成固定机制,落实并执行才最重要 Motivation 正确的激励导向,使团队快乐 需要的素质和「心得」 需要的素质 指得了路 扛得了枪 吃得了苦 卖得了萌 受得了委屈0 码力 | 36 页 | 2.49 MB | 1 年前3
海尔实时计算平台技术选型与实践json数据 • 前端的计算逻辑都改到后端 前端: • 前端nvd3.js替换成echarts • 更强大易用的报表设计器 改造后的zeppelin报表设计器 字段 控制区 行列控制区 数据执行区 标记卡 控制区 图表辅助 设置区 1、图表参数设置 2、图内筛选器 3、图表辅助线 4、图表预警 4、图表坐标轴控制 5、图表图例显示控制 1、字段设置 2、添加计算字段0 码力 | 41 页 | 3.21 MB | 1 年前3
共 14 条
- 1
- 2













