声明式自愈系统——高可用分布式系统的设计之道-王昕Ø 设计和验证高可用分布式系统的案例分享 Ø 高可用系统的最佳实践总结 依据声明式自愈的理念设计系统 有一个统一的状 态持久化接口, 所有有状态模块 通过统一的接口 对应统一的对象 模型 配置模块对象只 需要包括 Desired State 每个领域的控 制器模块的逻 辑保证自己领 域独立自愈的 能力 改变状态的操作 必须是幂等的声 明式操作,没有 新声明时各模块 按照之前的声明 Bulkheads Ø 快速失败 Fail Fast Ø 背压模式 Backpressure 最佳实践分享 有关遵循快速回复的原则 Ø 快速报错 Fail Fast Ø 复杂操作拆分成简单原子操作,在界面和 CLI 做组合 Ø 注意设置超时 Ø 尽量避免用全局事物 Ø 注意慢操作可能造成的客户端冲突问题 最佳实践分享 有关缓存的使用 Ø 缓存的内容:服务发现应答,DNS 结果,元数据, 错误回复缓存,过期时间不能太长,而且有清晰的 修复建议 Ø 数据库更新与缓存失效的策略 最佳实践分享 有关配置文件 Ø 集群使用统一的配置来源 Ø 定义正常的默认配置,满足读取不到配置的正 常运行 Ø 支持可扩展的配置命令格式 Ø 尽量支持更改配置不需要重启服务 Ø 注意配置项之间的关联性 欢迎与我交流 王昕个人微信 欢迎与我交流 王昕个人微信0 码力 | 44 页 | 2.47 MB | 1 年前3
全球架构师峰会2019北京/量子计算/量子计算及其潜在应用&mdash兼容多种常用化学 软件 Drivers 实现 VQE 业界最 大规模分子模拟 包含丰富的控制脉 冲库 兼容业界多款优化 控制软件 运行速度数倍加速 合作高校实验平台 演示 全新设计IDE界面 上线Block UI编 程模式 推出 mapper功 能 开放 HiQ 源码到 公开平台 提供噪声模拟选项 增加哈密顿量期望 值的分布式模拟计 算模块 推出基于张量网络的 全概率模拟器 Optimziers,能更快收敛 5.模拟业界最大规模 VQE (C2H4,14 orbitals)(核心技术:高质量初态 ansatz 制 备,有效参数约减,线路优化,并行梯度计算等) 6.支持 GUI 界面友好编程体验 华为量子化学软件包 HIQ Fermion 1:多参数约减算法,可约减高达80% 2: 多参数梯度优化算法, 测试300+参数 3: 量子线路压缩高达70% 累计提速 超过1600倍! simulator + HiQ framework: 持续提升完善用户编程体验 业界领先的单振幅模拟器相 较于HiQ 1.0 性能提升8X以上 新增高性能多振幅模拟器, 性能全面领先 全新设计IDE界面 上线BlockUI编程模式 让量子编程更简单 联合业界打造最强量子平台 托管HiQ源码和技术文档到开 源平台 https://github.com/Huawei- HiQ/HiQsimulator0 码力 | 34 页 | 5.57 MB | 1 年前3
海尔实时计算平台技术选型与实践吞吐量优先场景(Kafka/RocketMQ): • 大规模数据的传输和收集 Kafka web管理界面: •Kafka Web Console •Kafka Manager •KafkaOffsetMonitor •Uber开源Kafka监控工具--Chaperone Kafka web监控管理界面 流式计算可选方案 仅流处理框架: • Storm • JStorm • Samza0 码力 | 41 页 | 3.21 MB | 1 年前3
领域驱动设计&中台/用状态机封装领域逻辑请扫我微信以便当场转账 加微信时烦告知尊姓大名 建模 哪些类值得画状态机 全方位建模的可能性和必要性 核心类 状态多事物(彩色建模)实体责任起点聚合的根 图形界面 质量要求很高的系统,每个类 建模 要点 从类名思考修饰词(形容词) 从行为思考状态变化 从状态属性思考状态名称 优先用原生形容词,防止换汤不换药 有进有出0 码力 | 30 页 | 1.75 MB | 1 年前3
QCon北京2018-业务高速发展下的互联网金融系统架构演变-张现双+2pizza团队,系统单体制约 商城 核心服务 业务 网贷 保险 基金 商城 财富圈 健康财富 加密 验签 拦截 校验 安全 性能 并发 幂等 交易 缓存 基础服务 消息 监控 配置 报警 MIS OpenAPI 微信 财富圈 移动后台 商城MIS WAP … … Android/ios/h5/php/openApi 积分系统 基础服务 优惠券 宜人币 基金服务 标签 用户 管理平台 产品 理财单 渠道 版本 5G 措施:剥组件,拆单体,合冗余 移动后台打散 轻业务上浮 重业务下沉 API接入 指标监控 配置管理 业务前置配置 日志 配置系统 安全控制 拦截、校验 接口签名 加解密 防刷 攻击类 接口缓存 接口重写 热点活动支持 热点功能前置 接口版本控制 业务前置控制 Ng+ LUA 流量调度 措施:剥组件[深度定制网关] API接入 指标监控 配置管理 业务前置配置 日志 配置系统 安全控制 拦截、校验 接口签名 加解密 防刷 攻击类 接口缓存 接口重写 热点活动支持 热点功能前置 接口版本控制 业务前置控制 Ng+ LUA 流量调度 降级 限流 灰度 接口分发 运营活动动态配置,接口重新编排 热点功能前置,网关分发许可限流,保护底层0 码力 | 42 页 | 19.96 MB | 1 年前3
微服务和Service Mesh 在多个行业落地实践缓存为中心 www.163yun.com 设计要点七:消息队列与异步化 www.163yun.com 设计要点八:熔断,限流,降级 www.163yun.com 设计要点九:配置中心 www.163yun.com 设计要点十:日志中心 www.163yun.com 设计要点十一:全链路监控 www.163yun.com 设计要点十二:全链路压测 www API 监控 认证 鉴权 治理 文档 报表 微服务框架 (服务治理) 服务 目录 注册 发现 限流 熔断 降级 容错 路由 负载 均衡 参数 分流 拓扑 依赖 配置 中心 服务 监控 服务 告警 认证 鉴权 统计 概览 知识 库 APM (应用运行期监控) 运行时 拓扑 性能 监控 服务 筛选 调用 链 调用 栈 持续集成 www.163yun.com 微服务框架 (服务治理) 服务 目录 注册 发现 限流 熔断 降级 容错 路由 负载 均衡 参数 分流 拓扑 依赖 配置 中心 服务 监控 服务 告警 认证 鉴权 统计 概览 知识 库 服务 告警 监控 大屏 账户 审计 注册,发现,调用都提供鉴权 认证鉴权 接口文档统一维护0 码力 | 39 页 | 3.06 MB | 1 年前3
大规模分布式系统架构下调测能力构建之道无需修改应用代码,单元测试代码中也无需添加任何的mock语句。 服务 调用 Invoker … Remote Call 负载均衡 策略 Runtime Mock数据文件 远程服务 Mock配置 开关/策略… 路由 策略 … Mock过滤器 启 动 加 载 服务 调用 脚本引擎 Mock数据规范 格式规范: 1.静态匹配 2.动态匹配 3.多版本支持(服务版本) 管理规范: 线上数据 抓取过滤器 FilterN 抓取配置: 是否开启 抓取时长 抓取数量 落 盘 … … 导出 Mock文件A Mock文件B Mock文件C 应用服务直连调测 服务容器(Provider) 调用者 服务容器 提供者A 服务容器 服务注册中心 服务列表 …… 无需注册中心 不需要服务消费者注册,直接通过本地配置文件指定的IP地址来绕过“服务路由”及“负载均衡”机制。 服务提供者不能采用token验证模式 基于包名过滤服务 团队往往开发某类业务服务,这类服务一般都具有相同的包名,因此,可以通过配置包名和服务IP的映射关系, 让服务框架自动将一批服务和特定的IP关联到一起。 直连调测机制 提供者B 服务容器 提供者B 服务容器 本地配置文件 com.company.modelA.* 192.168.1.22 com.company.modelB.*0 码力 | 19 页 | 2.74 MB | 1 年前3
《58到家技术架构快速规划与落地》 - 沈剑服务化-问题:SQL质量无保障 58集团技术专场 1. 服务化-解决方案:服务化 58集团技术专场 1. 服务化-58到家最佳实践 � 统一服务框架(D-SF) � 统一数据访问层(D-Dao) � 配置中心(D-Confcenter) � 消息总线(D-MQ) � 统一监控(D-Monitor) � 调用链跟踪(D-Tracker) � 服务治理(D-Watcher) 58集团技术专场 分发类实现Tips (1)易扩展的配置 (2)远端接口探测,命令执行 (3)可以无需agent • 汇总类实现Tips (1)agent快速部署 (2)agent从中央获取配置 (3)快速的本地检测 58集团技术专场 2. 监控平台-日志 ERROR日志监控Tips (1)路径规范 (2)日志分级 (3)日志切分 (4)易扩展的配置 日志关键字监控Tips (1)异常关键字 (1)异常关键字 (2)正常关键字 (3)易扩展的配置 58集团技术专场 2. 监控平台-接口 Keepalive统一监控 (1)框架统一实现 (2)中心统一调度 处理时间统一监控 (1)框架统一实现 (2)本地初步汇总 (3)日志收集/udp上报 http接口统一监控 (1)http状态码?内容? (2)易扩展的配置 58集团技术专场 2. 监控平台-接口 • 哪种监控最精准?0 码力 | 42 页 | 1.52 MB | 1 年前3
领域驱动设计&中台/演进式架构的平台化落地服务 部署 运⾏行行架构治理理 故障 分析 定义架构 约束条件 微服务架构设计 服务地图 设计 API设计 部署架构设计 微服务⼯工程创建 开发 框架 架构 ⻛风格 资源 配置 … 架构演进 服务 关系 分析 代码 质量量 分析 数据 库分 析 领域 模型 分析 运⾏行行资 源管理理 PaaS、 容器云资 源管理理 公共 部分 产品、⼈人 员维护 推荐部署架构(远期规划) 微服务开发框架定制 代码架构⻛风格选择 资源配置 数据库版本管理理 是否⾃自动⽣生成API/ Dockerfile/流⽔水线 ⽣生成 代码 到GIT 仓库 架构分析- 从契约反向识别实现与模型差异 架构分析- 架构Fitness Function检查 代码质量量分析- 配置Sonar地址、展⽰示分析结果 数据结构分析- 测试环境的反向⼯工程可视化 代码引入ArchUnit/ log格式入⼿手 框架管理理 代码模版⽣生成 引擎 GIT插件通信 对接DevOps 流⽔水线 契约测试Mocker Server API定义⽣生成Jar 契约配置中⼼心 统⼀一管理理 获得运⾏行行架构、实例例状态 ELK⽅方 案 对接资源室 获得组织结 构 对接175产品 定义管理理 Fitness Function执 ⾏行行引擎 集成Sonar0 码力 | 42 页 | 2.95 MB | 1 年前3
唯品会调度系统的前世今生IP还支持消息模式) 统一配置、统一监控、统一管理 VIP弹性调度系统 -- Saturn 开源地址: Github.com/vipshop/Saturn 体系中的定位 服务化框OSP 开发框架Venus 唯品会基础架构体系 消息队列 VMS 全链路监控 Mercury 统一日志平台 dragonfly 任务调度平台 Saturn 统一配置中心 CfgCenter 提供多种业务开发模式,满足不同的业务需求 • 多种业务运行模式,即可分布式管理也可本地管理 • 通过异步消息实现业务编排* 多种作业类型 人工指定 运行节点 系统自动 平衡负载 资源利用 • 灵活的运维配置与部署 • 高效资源利用 • 简便的管理 人工指定 自动平衡 资源平衡调度算法 框架代码 与业务代 码隔离 集中化动 态增加与 删除作业 • 简化开发,避免冲突,业务无侵入 • 易于发布与维护 开发/测试 生产 GIT Check-in代码 Jenkins Pull代码 Build Image Registr y QA Tag Production Saturn DC/OS 配置作 业及资 源占用 申请资源 绑定作业 Saturn 启动作 业 Pull Image Executor容器 启动 作业运 行 容器化管理流程 ZK 作业调度器 控制台 作业控制0 码力 | 58 页 | 5.40 MB | 1 年前3
共 22 条
- 1
- 2
- 3













