讯飞输入法异地多活架构实践之路 凌 军 自我介绍 • 凌军 • 2010年加入科大讯飞 • 讯飞输入法、灵犀语音助手等产品服务端架构负责人 • 科大讯飞消费者BG基础平台架构负责人 产品介绍 • 稳居国内输入法第一阵营 • 2010-10~至今 • 4亿用户 • 1.1亿月活 来自：中国科学院《互联网周刊》 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 可用性低 响应时间慢 系统扩容难 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 技术挑战 几十毫秒的延迟； 跨机房性能较慢 机房天然延迟 专线费用高； 专线不稳定 跨机房专线问题 服务依赖问题 减少对业务开发影响； 需要封装屏蔽细节 业务开发影响 如何精准调度； 如何合理调度 流量调度 存储系统自带同步 不成熟； 自研组件之间同步 数据同步 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 业务特点分析 业务分类 业务举例 业务特点 场景归类 核心业务 皮肤、表情、资源、广告、应用墙译等

微服务和Service Mesh 在多个行业落地实践 www.163yun.com 阶段一：单体架构群，多个开发组，统一运维组 www.163yun.com 阶段二：组织服务化，架构SOA化，基础设施云化 www.163yun.com 阶段三：组织DevOps化，架构微服务化，基础设施容器化 www.163yun.com Hailo Amazon Netflix www.163yun.com 设计要点十一：全链路监控 www.163yun.com 设计要点十二：全链路压测 www.163yun.com 微服务平台总览 容器平台 (多集群基础设施) Pod & Deployment 网络 Calico, OVS 存储 Ceph 滚动更新 弹性伸缩 日志中心 基础设施监控 开 发 集 群 测 试 集 监控 性能 告警 自定义 数据 服务 告警 监控 大屏 账户 审计 CICD (开发流程管理) 代 码 检 出 代 码 编 译 镜 像 构 建 集 成 测 试 自 动 部 署 流水线管理 测试平台 (集成，场景测试) 单接口 用例 场景 用例 执行 集 定时 执行 接口 Mock 覆盖 率 生产镜像仓库 测试镜像 仓库

1、功能单一 大多政务服务APP功能单一，仍以政务信息发布为主，缺乏实用的网上办事和便民服务。 仅有15%的政务APP提供办事服务，存在“信息有余、服务不足”的问题。 2、下载APP成为负担 政务APP盲目开发泛滥，用户为了办事需要下载多个APP，成为一种负担。 3、优化不足体验差 政务APP接入政务服务，没有结合移动端的访问特性进行移动化改造，用户体验差。 4、缺少持续运营： 政务APP运营维护乏力，版本迭代缓慢，存在大量僵尸应用。 五、政务服务系统架构小结与思考 4、一个特殊的移动政务应用项目 3 资源少：初期团队人员少、 业务推动阻力大 1 时间紧： 1月启动，5月上线 2 目标高：高频便民服务、 突出改革亮点，迎接大领 导视察 4 需求多：公积金、社 保、出入境、交管等， 服务很多，需要梳理 目录 一、移动政务应用服务现状与痛点 二、一个特殊的移动政务应用项目 三、政务服务小程序平台研发过程 四、政务服务小程序平台架构演化 下载成本低、通过微信裂变传播 下载成本高、推广难、占流量、占内存 开发成本 只需开发一套，组件丰富 每个端都得开发，标准化组件少 版本更新 无感知，轻量级更新 更新麻烦，审核周期长 服务触达 利用微信载体，消息通知更简单 APP消息，打扰多，用户遗漏概率大 拓展性 程序包小，可以关联调转 无大小限制，调转较难 智能化服务能力 微信自带组件，对接更容易 需根据场景单独对接，如人脸识别、支付等 产品自主性 需依托微信平台

快速 放心 省钱 销量 品牌 信赖 收入 稳定 安全 SLA更高 业务复杂性高 • 用户：花了钱却饿着肚子 • 商家：出了餐却无人配送 • 骑手：投入的时间、劳动却少赚了钱 • 多业务线的共性与差异：专送、代理、众包⋯ • 运营复杂度高：定义科学的订单供给与运力结构，并精准调控 • 安全管理：用户安全、商家安全、骑手安全 履约SLA要求高，重线下业务运营 配送系统的技术定位与思路 运营工具 任务系统 骑手运营 （人） 任务 活动 等级 结算平台 （钱） 清算 结算 对账 接单网关 标准API 容灾 容灾 API管理 标准API APP运维 多链路 安全框架 管理工作台 HRM 移动办公 招募 IM 物料 薪资 培训 成长 快速起量，系统质量、研发效率问题凸显 合同 骑手网关 规模化阶段：核心领域细分 主数据平台 运营工具 任务系统 骑手运营 （人） 任务 活动 等级 结算平台 （钱） 清算 结算 对账 接单网关 标准API 容灾 容灾 API管理 标准API APP运维 多链路 安全框架 管理工作台 HRM 移动办公 招募 IM 物料 薪资 培训 成长 快速起量，系统质量、研发效率问题凸显 合同 履约系统 • 如何解耦用户侧与骑手侧 • 调度系统如何设计

大规模分布式系统架构下调测能力构建之道 李鑫 大纲 分布式环境下开发的调测效率问题 应对之道 远程应用服务 契约测试 分布式消息服务 分布式缓存 分布式服务的“租户”隔离策略 总体调测框架实践 分布式环境下调测方法论 单体应用 服务化 微服务 小中型规模应用+小型团队 中大型规模应用+多团队协同 Cache DB NFS Load Balancer server server server (超)大型规模应用+契约协同 应用的发展演变历史 服务化后的问题 多团队协同的分布式环境下，不仅环境“重”，而且外部的服务是别的团队开发 的，你很难得到一个稳定、快速的外部服务提供环境，在此背景下进行功能/接口 调测存在如下困难： 开发依赖重 联调成本高 变动把控困难 拆 应用拆分 数据拆分 团队拆分 分布式服务 API Gateway 头到尾梳理代码，再写一堆的mock语句把他们全mock掉了。 每当业务逻辑变化了，代码中要增减相应的mock语句；每当依 赖服务上线后，要把测试用例中对应的mock语句去掉。对测试 用例的修改工作贯穿于整个开发工作之中。 3. 我和某同事通过服务框架进行调用联调，结果另一同事也把同 名服务挂了上来，不幸的是，他的服务版本和我们的不一样， 结果，一系列的灵异状况发生了… 4. 依赖的远程服务逻辑发生变化了，但负责它的团队没有通知到

•负责酒旅搜索排序推荐 •负责酒旅数据仓库和数据产品建设 •2014年之前 美团网技术部数据组 •参与数据平台搭建 •负责全平台数据仓库和数据产品建设 •2011年 百度电子商务事业部 •有啊商城的开发 •2010年毕业于中科院计算所 Outline •美团点评酒旅业务简介 •基于用户画像的召回策略演进 •基于L2R的排序策略优化 •从海量大数据的离线计算到高并发在线服务的推荐引擎架构设计 详情页推荐 2016Q3 酒旅交叉推荐 2016Q4 点评旅游推荐 酒店住宿 境内度假 境外度假 大交通 搜索/推荐 数据产品 酒旅数据仓库 数据挖掘 集团数据平台 旅游推荐产品形态 旅游场景下用户兴趣点不明 确，频道内超过50%订单来 自推荐 需求个性化 推荐形式多样 本异地差异大 季节性明显 旅游推荐面临的问题 本异地差异大 超过30%订单来自异地请求 常驻城市!=浏览城市 跟团游、景酒套餐关联多个景点 ，不适合按POI样式展现 季节性明显 冬季温泉订单占比超过20%, 而夏季不到7% 需求个性化 用户人群 时间地域场景 内容形态 基于用户画像的召回策略演进 热销策略 基于Deal所在城市统计分城市热销 分类 场景 召回策略 本地需求 常驻城市=浏览城市 (北京人浏览北京) 当地用户购买的热销POI 异地需求 常驻城市!=浏览城市 (重庆人浏览北京) 异地用户购买的热销POI

通道 交易拆分 业务2.0痛点 BUSINESS 2.0 PAIN POINTS 业务野蛮发展 交易量高速增加 并发请求增加 交易响应速度过慢 数据库单表 数据量剧增 模块耦合度高 开发效率低下 … 思考 THINKING 解耦 异步化 扩容 排队 队列 缓存 冷热数据隔离 读写分离 分库分表 容灾 限制 池化 ACK ... 变化 VARIETY THAN THE USER 03 最佳实践-如何早于用户发现问题 如何 早于用户 发现问题 如何让开发人员 对自己的代码 更加有安全感 ？ 这些困惑的体现是什么呢？ 开发人员如何提高代码质量，减少频繁迭代产生的bug？ 线上环境突发事故，第一时间如何决策减少事故影响范围？ 开发人员排查问题速度过慢？ 随着业务的增长，问题越来越多，第一优先级需要解决什么？ 系统突然CPU、内存利用率暴增，如何定位代码？ CONFUSION 需求设计阶段- 首次拦截 开发实现阶段-尽可能避免故障 系统运行阶段-及时发现故障 系统运行阶段-出现故障快速解决故障 思路 THINKING 预见运行期、所想即所得、限制和保护 设计可容错的系统（快速失败、超时、自动重路由） 设计具备自我保护的系统（拆分、限制、优雅停止） 制定合适的开发规范 撒网 实时监控（傻瓜式、开发不用查日志） 可视化运营 网络监控 主机监控

C4模型系统架构可视化 系统上 下⽂文图 容器器图 代码图 组件图 已可视化 ⽤用户画像和旅程系统功能⽤用户可视化 ⽤用户画像 ⽤用户旅程 已可视化 突出⽤用户信息，诉求和价值体现 还原业务场景 可视化的划分遗留留系统 领域驱动设计、事件⻛风暴暴⼯工作坊、服务画布 好的设计 低耦合 如果做到了了服务之间的松耦 合，那么修改⼀一个服务就不不 需要修改另⼀一个服务。⼀一个 松耦合的服务应该尽可能少 绕业务概念构建领域模型来控制业务的复 杂性，以解决软件难以理理解，难以演化等 问题。团队应⽤用它可以成功地开发复杂业 务软件系统，使系统在增⼤大时仍然保持敏敏 捷。 事件⻛风暴暴⼯工作坊 - Event Storming是⼀一种领域建模的实践，是⼀一种快速 探索复杂业务领域的⽅方法： - 最初由Alberto Brandolini 开发，经过DDD社区和 TW的很多团队实践验证后，于2015年年11⽉月进⼊入 ThoughtWorks技术雷雷达 为什什么⽤用事件？ 如何进⾏行行事件⻛风暴暴？ 事件：领域专家关⼼心的，在业务上真实 发⽣生的事 例例1: 客户订单已提交 例例2: 对账已完成，每⽉月末夜间触发 1. 确定要进⾏行行事件⻛风暴暴的业务场景，场景需要单 ⼀一⽽而且清晰； 2. ⽤用“XXX已XXX”的格式在橙⾊色便便利利贴上写下事 件，⼯工作坊参与者需要对事件定义达成⼀一致； 3. 根据时间顺序把事件便便利利贴贴到⽩白板上； 4.

降级操作 请求合并 请求缓存 实践过程中遇到的问题 • 业务改造成本⾼高，代码耦合，维护成本增⾼高 • 固化策略略，需线下修改代码，测试，发布，线上应急策略略响应不不 友好 • ⽆无法⽀支撑多系统的复合指标计算，业务降级⽀支持不不友好 • ⼤大量量应⽤用各⾃自实现降级熔断，代码散落在各应⽤用，没有统⼀一的管 理理和治理理。久⽽而久之，⽆无⼈人知道系统内有多少降级点，降级是如 何实现的 Application Application SDK 熔断 降级 流控 隔离 实时策略略推送 数据采集 应⽤用管理理 策略略管理理 流控管理理 预案管理理 指标管理理 监控告警 数据⼤大盘 脚本开发 ETCD管理理 故障演练 业务保障管理理后台 应⽤用JVM进程 故障动态注⼊入 Attach 故障注⼊入 指标聚合查询 熔断降级计算（Flink） ⽇日志中⼼心 KAFKA 数据采集、计算、存储 单⼯工直连数据通道 • ⻓长链接，数据流⽅方式实时发送 • 本地多队列列轮循，数据缓冲，合并异步发送 指标如何计算处理理 数据采集 KAFKA ETL 复合指标 ⾃自定义指标 系统指标 业务指标 指标脚本计算 指标规则计算 指标脚本 规则表达式 熔断 降级 条件 计算 降级消息 数据 存储 实时告警 规则配置 开发 ⽇日志解析规则 控制中⼼心 ETCD 降级服务 降级处理理

orbitals）（核心技术：高质量初态 ansatz 制 备，有效参数约减，线路优化，并行梯度计算等） 6.支持 GUI 界面友好编程体验 华为量子化学软件包 HIQ Fermion 1：多参数约减算法，可约减高达80% 2： 多参数梯度优化算法, 测试300+参数 3： 量子线路压缩高达70% 累计提速 超过1600倍！ Ansatzes Ops Drivers Transforms Optimizers 波、激光或电流去操控量子芯片，是提高精度确保量 子计算机可用性的关键技术。 华为HiQ Pulse: 全面的云上脉冲设计平台方案 核心技术呈现 HiQ Pulse是针对近期NISQ量子硬件调控开发的一套普适的控制脉冲设计 软件包，它包含了常见已知的控制脉冲库和算法库， 对于目标量子态制 备、量子逻辑门以及量子线路的物理实现，HiQ Pulse 可以输出用户想要 的脉冲序列。同时，HiQ pulses，Shaped pulse和 Dynamic Decoupling等常见成熟的脉冲序列； 2. 全面的优化算法库，不仅含有主流的GRAPE、CRAB和Krotov优化算 法，还自主开发了基于Deep reinforcement learning 和 Monte Carlo 3. 兼容业界主力调控包Qutip等 4. 高性能计算能力（核心技术：新的计算Propagator方法，自主研发的