海尔实时计算平台技术选型与实践 海尔电器－肖云 个人介绍 • 方正电子新媒体开发总监 • 中投视讯研发总监 • 海尔电器资深架构师 公司介绍 海尔 电器 日日顺 物流 贝业 物流 快递柜 。。。 跨境 电商 健康 水站 盛丰 物流 概要 • 实时计算平台背景 • 开源技术选型与实践 • 开源技术改造经验 背景－海尔大数据总体规划 实时计算平台框架 存 储 服 w2 current w1 w2 w3 … … w1 w2 w3 … today lastday lastmonth 实时计算平台如何监控和报警？ 海尔实时计算平台技术选型与实践 平台监控 • Ganglia • Nagios 海尔实时计算平台技术选型与实践 开源技术改造经验－数据可视化 数据可视化目标 目标：为公司所有数据分析类项目，提供数据洞察和展示工具。 数据可视化可选方案 2、添加计算字段 3、字段分组 1、多层钻取 2、双轴异图支持 3、高级计算：同比、环比 4、度量维度排序 1、图表颜色分组 2、图形大小控制 3、图表标签控制 4、图形提示控制 选型后的实时平台技术架构

Production 微服务研发平台落地 落地优秀实践，守护架构，降低微服务 研发学习成本 企业研发⼯工具链⽣生态 敏敏捷协作平台 部署发布 平台 持续交付流⽔水线平台 ⾃自动测试 平台 微服务系统设计，研发与运维管理理 微服务 /API设 计 代码 ⽣生成 契约 服务 架构 演进 微服务 运维治 理理 部署架 构 设计 统⼀一协作平台 研发⼯工具连 为某企业做的微服务平台规划 为某企业做的微服务平台规划 部署架构设计 服务 契约 定义 契约 代码 评审 开 发 服务运⾏行行治理理 服务 部署 运⾏行行架构治理理 故障 分析 定义架构 约束条件 微服务架构设计 服务地图 设计 API设计 部署架构设计 微服务⼯工程创建 开发 框架 架构 ⻛风格 资源 配置 … 架构演进 服务 关系 分析 代码 质量量 分析 数据 库分 析 析 领域 模型 分析 运⾏行行资 源管理理 PaaS、 容器云资 源管理理 公共 部分 产品、⼈人 员维护 定义通⽤用 约束条件 定义服务 约束条件 可视化设计 服务地图 关联变更更到需求 设计API 导swagger ⽂文件 API清单 设计变更更与 需求关联 服务地图变 更更历史 ⽣生产环境 部署架构设计 测试环境 部署架构设计 绘制部署架构，组合服务和

����������� 唐成 CONTENTS 01 什什么是物联⽹网平台 02 为什什么需要反应式架构 03 我们做了了什什么 什什么是物联⽹网平台 什什么是物联⽹网平台 Sensor / Actuator Platform Application Network 物联⽹网平台的构成 Message Hub Device Shadow Rules Engine Developer

阶段一：单体架构群，多个开发组，统一运维组 www.163yun.com 阶段二：组织服务化，架构SOA化，基础设施云化 www.163yun.com 阶段三：组织DevOps化，架构微服务化，基础设施容器化 www.163yun.com Hailo Amazon Netflix 来源: https://www.linkedin.com/pulse/astonishingly-unde 设计要点十：日志中心 www.163yun.com 设计要点十一：全链路监控 www.163yun.com 设计要点十二：全链路压测 www.163yun.com 微服务平台总览 容器平台 (多集群基础设施) Pod & Deployment 网络 Calico, OVS 存储 Ceph 滚动更新 弹性伸缩 日志中心 基础设施监控 开 发 集 群 试 自 动 部 署 流水线管理 测试平台 (集成，场景测试) 单接口 用例 场景 用例 执行 集 定时 执行 接口 Mock 覆盖 率 生产镜像仓库 测试镜像 仓库 历史 管理 批量 导入 接口 监控 www.163yun.com 多样需求 持续集成 中台化 PaaS托管 容器化 分布式事务 服务治理 全链路压测

代码较新，使用Quartz进行调度。提供 高可用和分布式功能 功能单一，只支持Java，不支持 Shell(PHP)和消息驱动的作业调度 对任务超时、任务执行情况、监控逻辑 支持粒度功能较单一或缺乏 没有容器化选型？ 调度产品的定位 简易开发、简单维护 高可用、分片并发处理、资源调度动态平衡 支持Java、Shell以及本地模式(VIP还支持消息模式) 统一配置、统一监控、统一管理 VIP弹性调度系统 服务化框OSP 开发框架Venus 唯品会基础架构体系 消息队列 VMS 全链路监控 Mercury 统一日志平台 dragonfly 任务调度平台 Saturn 统一配置中心 CfgCenter 统一鉴权中心 AuthCenter 服务网关 Janus 安全管理平台 Salus 有女初张成 唯品会弹性调度系统的架构与功 能窥探 域 应用包 作业 执行节点 1 1 * 批量处理 强行终止 Dashboard … 为什么需要容器化 资源利用 提高物理资源的 利用率 系统弹性 资源弹性伸缩 运维效率 上线周期、峰值 应对 作业隔离 不同业务间作业 隔离 容器化的调度系统选型 开源程度 场景切合(秒级调度) 异构体系 管理成本 长驻处理？ 使用后销毁？ 物理资源层: Mesos / VM 容器/应用层: Marathon / K8S / Swarm

而“MOCK”，是最 有效的手段。 分布式服务框架mock能力构建 应用 服务容器（Consumer） Filter Chain 将mock能力内置到分布式服务框架中 开发mock能力过滤器，在服务调用链路上对服务调用进行挡截。 “开关机制”控制mock能力启停 mock能力启用时，服务容器初始化期间将加载mock数据文件到内存中，每个服务请求将和mock数据的入参定 义进行比对，满足（静态匹配 服务容器（Provider） Consumer Consumer 服务实现 服务实现 Accepter Filter Chain Filter1 线上数据 抓取过滤器 FilterN 抓取配置： 是否开启 抓取时长 抓取数量 落 盘 … … 导出 Mock文件A Mock文件B Mock文件C 应用服务直连调测 服务容器（Provider） 调用者 服务容器 提供者A 提供者A 服务容器 服务注册中心 服务列表 …… 无需注册中心 不需要服务消费者注册，直接通过本地配置文件指定的IP地址来绕过“服务路由”及“负载均衡”机制。 服务提供者不能采用token验证模式 基于包名过滤服务 团队往往开发某类业务服务，这类服务一般都具有相同的包名，因此，可以通过配置包名和服务IP的映射关系， 让服务框架自动将一批服务和特定的IP关联到一起。 直连调测机制

⽤用，没有统⼀一的管 理理和治理理。久⽽而久之，⽆无⼈人知道系统内有多少降级点，降级是如 何实现的 • 缺乏UI、没有灵活的参数、策略略配置，没有预案制定管理理能⼒力力 业务保障平台建设之路路 业务保障平台建设之路路 服务管理理 策略略管理理 预案制定 线上演练 • 降级服务统⼀一注册管理理，通过降 级服务质量量数据从整体反映各应 ⽤用的降级点和可⽤用性保障措施 • 降级策略略集中管理理，通过参数 JVM内存 JVM线程 GC数据 业务数据 SDK数据 ⾃自定义数据 系统数据采集 容器器数据 CPU数据 内存数据 磁盘数据 … ⽹网络数据 采集 Agen t ⽇日志中⼼心 KAFKA 数据处理理 通过本地⽇日志⽂文件，实时采集降级服务质量量数据 ⽇日志 ⽂文件 系统数据采集 容器器数据 CPU数据 内存数据 磁盘数据 … ⽹网络数据 采集 Agen t ⽇日志中⼼心 存储 实时告警 规则配置 开发 ⽇日志解析规则 控制中⼼心 ETCD 降级服务 降级处理理 流处理理集群（Flink） HBase ES Redis 落地存储 数据服务 数据平台 实时告警 告警策略略 指标查询 指标脚本开发 指标配置 产品化 开发 复合指标计算如何处理理 ServiceA ServiceB ServiceC ServiceD AppA

12 宜人贷成立 2012.3 网站上线 2013.9 移动APP上线 2015.12 纽交所上市 2017 财富管理平台 网贷平台 YEP 业务� 多元化发展� [部分] 网贷平台 财富管理平台 YEP 第二部分 移动后台架构演进 初创阶段 效率优先，快速响应，第一要务是生存 成长阶段 用户和业务持续上量，业务快速发展 基础服务 优惠券 宜人币 基金服务 保险服务 网贷服务 支付中心 用户中心 电子签章 人脸识别 营销平台 埋点 基础服务 会员系统 资金存管 账户中心 Pc Web 支付/钱包 外 部 系 统 流控 熔断 限流 版本 更多... 标签 用户 管理平台 产品 理财单 渠道 版本 5G 措施:剥组件,拆单体,合冗余 移动后台打散 轻业务上浮 高性能监控核心，灵活的监控策略 关键词模式、上下文模式、时间窗口模式等 轻量、高效、稳定，0侵入 日志监控平台 微信 微信/邮件/短信 高可靠,高响应 高性能 灵活配置 谈点感想 感想 01 微服务≠spring cloud≠容器化≠RPC 工具/框架是手段而不是目的 02 优秀的系统=� 适应性架构设计(指导)+超强工程能力(落地)

极光开发者技术部推送开发组 技术负责人 极光推送后台系统架构实践 曾振波 极光开发者技术部推送开发组 技术负责人 极光推送后台开发工程师 多年互联网开发经验，专注后台开发技术。2016年加入极光，负责极光推送平台架构设 计及开发，主导包括K8S在内的技术架构实施落地，推动系统架构的演进，构造支撑海 量用户的推送系统，对大规模分布式系统架构及设计有深入的理解。 自我介绍 • 极光推送服务架构 • 关于极光 多维度监控，告警系统 极光推送后台系统架构 08 K8S部署业务 • 原有系统的运维工作繁杂，资源利用率低 • 弹性扩容 • 配置统一管理 • 内外集群隔离 • Pod包含多个容器 - 辅助容器，业务容器 • 业务模块代码架构调整 • 监控体系调整 极光推送后台系统架构 09 结束语 • 高性能/低成本、高可用、高运维 • 只用验证过的开源组件 • 自研替代开源 • 能并行就不要串行