海尔实时计算平台技术选型与实践 海尔电器－肖云 个人介绍 • 方正电子新媒体开发总监 • 中投视讯研发总监 • 海尔电器资深架构师 公司介绍 海尔 电器 日日顺 物流 贝业 物流 快递柜 。。。 跨境 电商 健康 水站 盛丰 物流 概要 • 实时计算平台背景 • 开源技术选型与实践 • 开源技术改造经验 背景－海尔大数据总体规划 实时计算平台框架 存 储 服 服 务 实时数据采集框架 实时计算框架 离线计算框架 数据可视化框架 数据产品1 数据产品2 数据产品N 可选的开源技术 Fluentd Flume Apollo Chukwa Sqoop DataX MySQLStreamer Canal Scribe ZeroMQ ActiveMQ Logstash RabbitMQ Jafka RabbitMQ Storm •Kafka Web Console •Kafka Manager •KafkaOffsetMonitor •Uber开源Kafka监控工具--Chaperone Kafka web监控管理界面 流式计算可选方案 仅流处理框架: • Storm • JStorm • Samza • Heron 混合框架: • Spark • Flink Core Storm or Storm Trident？

量子计算及其潜在应用 吕定顺 华为中央研究院高级研究员 吕定顺 量子算法和软件研究 • 吕定顺博士，目前就职于华为2012实验室中 央研究院，毕业于清华大学交叉信息研究院 量子物理学专业，至今在量子计算、量子模 拟领域等已经有7年研究经验。博士期间，曾 在 Nature Physics，PRX，Nature Communication，PRL，PRA 等国际知名期刊 发表论文7篇，H index为7，论文累计引用 480次。目前专精并聚焦在量子软件和算法研 究领域。 • 量子计算的基本原理 • 量子计算机遇和挑战 • 华为量子计算的进展 • 量子计算的潜在应用 量子计算的基本原理：叠加 Dead Live Curiosity Kill the Cat 1/2（ Dead + |????⟩） Huawei Confidential 5 量子计算的基本原理：纠缠 Particle 1 Particle Particle 2 1 2 （ ↓1 ↓2 + | ↑1⟩| ↑2⟩） 量子计算的并行性 Equals to classical computer operate 2Ntimes Exp: Decry a 400bits integer that used for RSA password，it will take 600k years with the best classical computer

Production 微服务研发平台落地 落地优秀实践，守护架构，降低微服务 研发学习成本 企业研发⼯工具链⽣生态 敏敏捷协作平台 部署发布 平台 持续交付流⽔水线平台 ⾃自动测试 平台 微服务系统设计，研发与运维管理理 微服务 /API设 计 代码 ⽣生成 契约 服务 架构 演进 微服务 运维治 理理 部署架 构 设计 统⼀一协作平台 研发⼯工具连 为某企业做的微服务平台规划 为某企业做的微服务平台规划 部署架构设计 服务 契约 定义 契约 代码 评审 开 发 服务运⾏行行治理理 服务 部署 运⾏行行架构治理理 故障 分析 定义架构 约束条件 微服务架构设计 服务地图 设计 API设计 部署架构设计 微服务⼯工程创建 开发 框架 架构 ⻛风格 资源 配置 … 架构演进 服务 关系 分析 代码 质量量 分析 数据 库分 析 关联变更更到需求 需求 查看需求 我的任务 对接外部 系统 前台 后台/⽀支持 为MVP包含的功能范围 服务地图 产品服务 ⽤用户 产品 容器器 云 PaaS ELK 监控 发布 平台 运维服务 服务实例例 资源池 运⾏行行架构 175 ⽤用户认证服务 鉴权 会话 微服务设计服务 微服务 服务地 图 API 契约 外部系 统 部署架构服务 架构约

����������� 唐成 CONTENTS 01 什什么是物联⽹网平台 02 为什什么需要反应式架构 03 我们做了了什什么 什什么是物联⽹网平台 什什么是物联⽹网平台 Sensor / Actuator Platform Application Network 物联⽹网平台的构成 Message Hub Device Shadow Rules Engine Developer

Instacart Swiggy go-jek Doordash 美团外卖 饿了么 点我达 闪送 UU跑腿 海内外掀起一波创业浪潮 美团配送系统：机器与海量骑手协作，服务于全国商家与用户 履约能力 实现平台对运单调度的实时把控，对运单与运力的供需匹配 运营效率 加强对配送骑手的管控能力 提升配送全业务的运营效率，降低成本 履约流程：下单 -> 派单 -> 接单 -> 取货 -> 送达… 业务 如何保证系统容量 • 如何提升计算能力 • 运营系统面临的问题 • 提升运营系统迭代效率 骑手网关 规模化阶段：核心领域细分 主数据平台 （核心模型） 账号权限 组织架构 核心数据模型 配送服务 配送运力 ⋯ 订单中心 （送什么） 品类 重量 支付状态 运单中心 （配送任务） 运单归属 配送状态 调度中心 （工程框架） 需求池 运力池 计算平台 策略平台 （算法策略） 算法框架 算法框架 分析平台 经营规划 （目标） 盈亏 绩效 奖惩 业务管理 （过程） 运营工具 任务系统 骑手运营 （人） 任务 活动 等级 结算平台 （钱） 清算 结算 对账 接单网关 标准API 容灾 容灾 API管理 标准API APP运维 多链路 安全框架 管理工作台 HRM 移动办公 招募 IM 物料 薪资 培训 成长

•负责酒旅数据仓库和数据产品建设 •2014年之前 美团网技术部数据组 •参与数据平台搭建 •负责全平台数据仓库和数据产品建设 •2011年 百度电子商务事业部 •有啊商城的开发 •2010年毕业于中科院计算所 Outline •美团点评酒旅业务简介 •基于用户画像的召回策略演进 •基于L2R的排序策略优化 •从海量大数据的离线计算到高并发在线服务的推荐引擎架构设计 •推荐在美团点评酒旅的应用实践 国内发展最快的一站式综合住宿服务 平台 国内最大的在线门票交易平台 酒旅搜索推荐 2015Q3 组建推荐团队 2015Q4 周边游频道内推荐 2016Q1 搜索少/无结果推荐 2016Q2 详情页推荐 2016Q3 酒旅交叉推荐 2016Q4 点评旅游推荐 酒店住宿 境内度假 境外度假 大交通 搜索/推荐 数据产品 酒旅数据仓库 数据挖掘 集团数据平台 旅游推荐产品形态 旅游场景下用户兴趣点不明 ,POI>矩阵，计算 POI相似度 •User CF •loglikelihood ratio 基于用户画像的推荐 •基础属性 •性别、年龄、职业 •人群属性 •有车：汽车保养 •宅男：外卖 •情侣：电影 •亲子：儿童乐园 •旅游达人：酒店旅游交通 •推荐 •基于用户标签计算POI标签 •精确匹配：给亲子类用户推荐亲子类POI •模糊匹配：基于标签计算用户和POI相似度

应不不 友好 • ⽆无法⽀支撑多系统的复合指标计算，业务降级⽀支持不不友好 • ⼤大量量应⽤用各⾃自实现降级熔断，代码散落在各应⽤用，没有统⼀一的管 理理和治理理。久⽽而久之，⽆无⼈人知道系统内有多少降级点，降级是如 何实现的 • 缺乏UI、没有灵活的参数、策略略配置，没有预案制定管理理能⼒力力 业务保障平台建设之路路 业务保障平台建设之路路 服务管理理 策略略管理理 预案制定 线上演练 故障演练 业务保障管理理后台 应⽤用JVM进程 故障动态注⼊入 Attach 故障注⼊入 指标聚合查询 熔断降级计算（Flink） ⽇日志中⼼心 KAFKA 数据采集、计算、存储 指标（HBase） 指标明细（ES） 降级⽇日志（ES） ETL 指标计算（Flink） 脚本引擎 查 询 服 务 ⽇日志数据 指标（Redis） 业务异常数据快照（ES） 熔断降级通知 单⼯工直连数据通道 • ⻓长链接，数据流⽅方式实时发送 • 本地多队列列轮循，数据缓冲，合并异步发送 指标如何计算处理理 数据采集 KAFKA ETL 复合指标 ⾃自定义指标 系统指标 业务指标 指标脚本计算 指标规则计算 指标脚本 规则表达式 熔断 降级 条件 计算 降级消息 数据 存储 实时告警 规则配置 开发 ⽇日志解析规则 控制中⼼心 ETCD 降级服务

总结展望 CONTENTS CONTENT 产品介绍 业务挑战及架构目标 架构演进 总结展望 全过程、全流程、一站式平台 产品特点 业务复杂 多专业领域 BIM全过程流转 人机交互频繁 产品规模大 350万+代码行 150+人团队 3+技术平台 产品特点 CONTENTS CONTENT 产品介绍 业务挑战及架构目标 架构演进 总结展望 业务挑战与架构目标 提炼业务规则 分析业务用例 识别业务对象 子域拆分 • 业务流程 • 专业知识 建模子域 计算子域 登录与 授权子域 报表子域 指标子域 做法子域 限界上下文拆分 • 业务用例 • 功能\语义相关性 • 技术应用 • 团队规模 建模子域 构件模型上下 文 模型编辑上下 文 计算子域 报表子域 模型转换子域 做法子域 通用子域 汇总上下文 指标管理上 下文 三维模型转换 上下文 CAD翻模上下 文 模型检查上下 文 平法模型上下 文 截面钢筋模型 上下文 土建计算上下 文 钢筋计算上下 文 土建计算设置 上下文 钢筋计算设置 上下文 做法上下文 登录与授权 上下文 指标定制上 下文 限界上下文协作关系 报表子域 模型转换子域 CAD翻模上下 文 三维模型转换 上下文 D D ACL/C

架构师的业务思维 陈 辉 （沉 辉） 蘑菇街架构师 • 蘑菇街 电商技术&基础平台负责人 • 13-15年 淘宝技术部 关于我 分享大纲 • 架构师的分类 • 什么是业务思维 • 如何运用业务思维影响架构设计 • 如何培养业务思维 架构师的分类 不是重新定义，而是对标 技术架构师 业务架构师 平台架构师 什么是架构师的业务思维？ 场景 今年我们要落地中台架构 大中台，小前台？ 今年我们要落地业务中台架构 用户基础服务 交易服务 商品服务 关系服务 广告服务 业务域A 业务域B 业务域C 业务域D 业务组件/中间件 电商业务 内容业务 直播业务 算法支撑 中间件 计算框架 平台工具 云的能力 什么是架构师的业务思维？ 站在业务方的视角，在理解业务发展目标、看清业务发展方向的前提下，做出技术和业务的平衡 站在业务方的视角，在理解业务发展目标、看清业务发展方向的前提下，做出技术和业务的平衡 让时间回到2016年 电商平台 促销玩法 渠道下单 渠道计价 渠道详情页 If else 业务上会有更多类似玩法 If else不能解决本质问题 多平台、多渠道是个趋势 跳出技术思维 多渠道的本质是商品交易体系的扩展性 理解清楚当前需求 具有业务前瞻性 不要过度设计 多渠道 多平台 多用户 模块化 SPI 规则引擎 流程引擎 商品平台化 交易平台化 促销平台化 渠道下单 无结构化商品

12 宜人贷成立 2012.3 网站上线 2013.9 移动APP上线 2015.12 纽交所上市 2017 财富管理平台 网贷平台 YEP 业务� 多元化发展� [部分] 网贷平台 财富管理平台 YEP 第二部分 移动后台架构演进 初创阶段 效率优先，快速响应，第一要务是生存 成长阶段 用户和业务持续上量，业务快速发展 基础服务 优惠券 宜人币 基金服务 保险服务 网贷服务 支付中心 用户中心 电子签章 人脸识别 营销平台 埋点 基础服务 会员系统 资金存管 账户中心 Pc Web 支付/钱包 外 部 系 统 流控 熔断 限流 版本 更多... 标签 用户 管理平台 产品 理财单 渠道 版本 5G 措施:剥组件,拆单体,合冗余 移动后台打散 轻业务上浮 报警策略 系统异常 基础策略 监控统计 业务节点 业务数据 业务数据统计 监控 数据流 系统统计 经典流式计算架构，流水线策略，线性扩展 高性能监控核心，灵活的监控策略 关键词模式、上下文模式、时间窗口模式等 轻量、高效、稳定，0侵入 日志监控平台 微信 微信/邮件/短信 高可靠,高响应 高性能 灵活配置 谈点感想 感想 01 微服务≠spring