消费者云CSE微服务实践 李林锋 关于我  9年电信软件平台中间件开发、设计、架构经验  精通Netty、Mina等网络通信框架  华为软件 短信/彩信/WAP网关平台SGP、API开放集成网关API Fabric首席设计师  华为软件分布式服务框架DSF首席设计师  《Netty权威指南》、《分布式服务框架原理不实践》作者 微博、微信：Nettying 公众号：Netty乊家 • 华为消费者云业务简介 • 微服务框架技术选型 • CSE在消费者云业务的实践 议题 华为消费者云业务包括 华为应用市场、华为视频、华为钱包、华为运 劢健康等服务，为华为和荣耀手机提供精品云服务，提升用户体验 华为消费者云业务简介 微服务框架技术选型-业务服务化目标  系统解耦，功能内聚，提升需求交付效率：通过业务的拆分和解耦，让系统敏 统敏 捷起来，快速、小批量的交付价值需求，提升业务的交付效率  践行API First：通过服务化，让服务提供者和消费者乊间通过微服务API建立契约，利 用Swagger OpenAPI规范，最终将微服务API规范化、标准化、在线化。系统从传统单体 应用的黑盒调用（本地Java方法调用）转变成透明的API契约调用  服务自治：通过在线的微服务治理结合云平台，可以实现微服务的弹性伸缩、故障自劢

ServiceComb在华为消费者云的 亿级用户微服务实践 website: http://servicecomb.incubator.apache.org/ gitter: https://gitter.im/ServiceCombUsers/Lobby AGENDA 微服务化总体策略 01 微服务化实践 02 微服务化收益 03 关于我 Website: http://servicecomb 经历：2008年加入华为，从事多年平台中间件、云计算和PaaS平台设计和开发  目前在华为终端消费者云业务从事华为手机应用市场的云化、微服务化架构设计  《Netty权威指南》、《分布式服务框架原理与实践》作者  热爱技术写作和分享 联系方式： Email: li_linfeng@huawei.com 微信号：右侧扫码 华为消费者云服务简介 Website: http://servicecomb.incubator incubator.apache.org/ Gitter: https://gitter.im/ServiceCombUsers/Lobby 遵循OpenAPI Specification，消费端、提供端只依赖API  API描述：无论Rest API，或者RPC Highway API，统一使用Swagger YAML定义API  微服务代码生成：服务端和客户端都基于API定义，通过

实战：RocketMQ 学习环境搭建指南篇 28 1.4 RocketMQ HA 核心工作机制 39 1.5 踩坑记：rocketmq-console 消费 TPS 为 0，但消息积压数却在降低是个什么 “鬼” 49 1.6 RocketMQ 一个新的消费组初次启动时从何处开始消费呢？ 64 1.7 一次 RocketMQ 进程自动退出排查经验分享 78 1.8 RocketMQ 主题扩分片后遇到的坑 82 如何进行网络编程（Netty 实战）？ 下定决心后便开始了我的源码分析 RocketMQ 之旅，大概在 4 个多月的时间中连续 发表了 30 余篇文章，从 Nameserver、消息发送高可用设计、消息存储、消息消费、消 息过滤、事务消息等各个方面对其进行了体系化的剖析，边写边分享，边分享边传播，终于 得到了机械工业出版社华章分社的杨福川老师的认可，邀请我出书。 在杨老师和张工的帮助与指点下，经过将近半年的努力，书稿基本完稿。由于我当时是 消息存储服务器，分为两种角色：Master 与 Slave，上图中呈现的就是 2 主 2 从的部 署架构，在 RocketMQ 中，主服务承担读写操作，从服务器作为一个备份，当主服务器存 在压力时，从服务器可以承担读服务（消息消费）。所有 Broker，包含 Slave 服务器每隔 30s 会向 Nameserver 发送心跳包，心跳包中会包含存在在 Broker 上所有的 topic 的路 由信息。 本文来自『中间件

...................................................................................... 7 4.11 回溯消费 .................................................................................................. .................................................................................. 24 7.10 单队列幵行消费 .................................................................................................. ..................................................................................... 25 7.12 消息消费失败，定时重试 ...........................................................................................

............................................................................................ 15 二：消费端负载均衡 ............................................................................................. ......................... 20 四：push 消息—并发消费消息 ............................................................................................ 24 五：push 消费-顺序消费消息 ....................................... ........................................................ 26 六：pull 消息消费 .................................................................................................................. 28 七：shutdown

topic。 3. 指定需要订阅的 kafka partition，以及对应的每个 partition 的起始 offset。如果指定时间，则会从大于等于该时间的 最近一个 offset 处开始消费。 offset 可以指定从大于等于 0 的具体 offset，或者： : 从有数据的位置开始订阅。 : 从末尾开始订阅。 时间格式，如："2021-05-22 11:00:00" 如果没有指定，则默认从 partition的默认起始offset 如果没有指定 ，默认消费所有分区。 此时可以指定 指定起始 offset。默认为 ，即从末尾开始订阅。 示例： Example Example 1. 为 example_db 的 example_tbl 创建一个名为 test1 的 Kafka 例行导入任务。指定列分隔符和 group.id 和 client.id，并且自 动默认消费所有分区，且从有数据的位置（OFFSET_BEGINNING）开始订阅 百度智能云文档 SQL手册 21 8. 从指定的时间点开始消费 Keywords Keywords 最佳实践 最佳实践 1. 关于指定消费的 Partition 和 Offset Doris 支持指定 Partition 和 Offset 开始消费，还支持了指定时间点进行消费的功能。这里说明下对应参数的配置关系。 有三个相关参数： ：指定待消费的 partition 列表，如："0, 1, 2

据、制造业智慧供应链等行业解决方案。 发布轻舟低代码平台 2.0 。 大数据开源项目 Kyuubi 全票进入 Apache 软件基金会孵化器。 有数 BI 个人版永久免费；发布机器学习平台、消费者运营平台、标签画像、流量分析等产品。 2020 2021 发布轻舟云原生软件生产力平台、有数全链路数据生产力平台。 网易云品牌升级为网易数帆，发力数字化转型基础软件。 深度参与社区 Spark 江西济民可信集团有限公司 记忆科技（深圳）有限公司 九州通医药集团股份有限公司 龙湖地产有限公司 绿瘦健康产业集团有限公司 联通（山东）产业互联网有限公司 名创优品(广州）有限责任公司 马上消费金融股份有限公司 民生证券股份有限公司 宁波紫藤信息科技有限公司 南方日报社 南京联创信息科技有限公司 南微医学科技股份有限公司 平安科技（深圳）有限公司 乔治阿玛尼（上海）商务有限公司 浙江日报传媒有限公司 浙江省交通规划设计研究院有限公司 浙江数链科技有限公司 浙江绍兴瑞丰农村商业银行股份有限公司 浙江绍兴苏泊尔家居用品有限公司 浙江省银行业协会 浙江中控技术股份有限公司 招联消费金融有限公司 中山大学附属第七医院（深圳） 浙商银行股份有限公司 卓望数码技术（深圳）有限公司 中移（杭州）信息技术有限公司 （部分签约客户，按照A-Z顺序排列，服务不分先后） COSTOMER

内容及数字资产，形成企业数字资产沉淀，统一企业对外形象 及标准化化运营 活动数据，消费者数据，媒体 数据，车联网数据等，全渠道 数据收集追踪，建立数据分析 模型，辅助业务的决策优化 大数据分析 及应用 线上数字化布局 线下数字化布局 车联网及线下店端消费者旅程与线上消费 者旅程相结合，设计多种跨渠道跨屏互动， 引导进店消费者通过扫码，配车，留资等 行为整合线上数据 利用人脸识别等多种技术及平台，通过可 利用人脸识别等多种技术及平台，通过可 配置用户聚类评级模型和数据处理算法， 实现消费者深度洞察，提高销售线索质量 及转化率，助力经销商销售 新媒体营销数字化布局 从微信营销及小程序开始布局其他新兴媒体渠道，如抖 音，汽车之家等，基于360°消费者画像的精准营销触达。 营销触达数据实时跟踪分析，形成数据闭环 消费者权益及服务数字化布局 建设“一个会员、分众运营、复合模式”的会员体 系以及差异化个性化的会员权益服务体系，打造 官网 短信 小程序 公众号 标准体系 标签体系 数据 中台 …… 存储服务 安全服务 接口网关服务 日志服务 网络服务 …… 短信服务 技术 中台 ……. 消费者互动数据 消费者账号 消费者基础信息 消费者交易数据 消费者服务数据 ….. 人 人车关系数据 车况数据 车辆维修保养数 据 ….. 库存物流数据 组织架构数据 活动渠道数据 …… 厂 营销中台 销售中台 内容管理

70 72 73 74 76 76 76 77 78 80 80 80 81 81 83 83 84 84 进⼊管理⻚⾯ 开启 Binlog 全量数据迁移，记录CommitTS数据 添加消费者 查看消费者 删除消费者 修改 Binlog GC 关闭 Binlog 如何使⽤ 如何使⽤TiFlash 简介 步骤⼀ 开启TiFlash 步骤⼆ 按表构建TiFlash副本 步骤三 使⽤TiFlash 备份恢复 mitTS。 Binlog 同步 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 66/120 添加消费者 添加消费者 点击“添加消费者”按钮打开添加窗⼝， 可为⼀个实例添加多个消费者。 Binlog 同步 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 67/120 Binlog 68/120 选择MySQL协议消费者（如MySQL数据库、TiDB数据库或者其它兼容MySQL协议的数据库）或者Kafka， 输⼊上⼀步中获取的CommitTS数据以及其它需求信息完成添加。 Binlog 同步 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 69/120 查看消费者 查看消费者 当前已有的消费者会⾃动列出 Binlog 同步

essa gin g 主从复制架构升级，性能提升数倍 RAFT 存储生产可用 rocketm q-con n ect 进入孵化 2021 5.0 -p rev iew 发布 性能优化、PoP 消费，多存储目录， 轻量级队列 rocketm q-strea m s 轻量级实时计算 引擎发布 5.0 消息事件流融合处理平台 Sta r: 1 .7w C on tributor: 50 秒级故障转移，多场景容灾支持 • 无外部依赖，节点间松散耦合 • 自建及云上异构 IaaS 基础设施支持，降低成本 轻量级SDK： • 全面支持云原生通信标准 gRPC 协议 • 无状态 Pop 消费模式，多语言友好，易集成 从业务走向数据： • 事件流场景支撑 • 面向 SQL 的轻量级实时计算引擎 可分可合的存储计算分离： • Broker 升级为真正的无状态服务节点，无 binding Ab o u t 全新 POP 消费模型 服务端负载均衡  消除 Consumer 与 Queue 的 Binding 关 系，一个 Queue 可以由多个消费者消费  无 rebalance ，降低消费延迟概率  集群中某些消费端假死不影响整体消费进度  客户端更加轻量，多语言友好 流批一体  在Streaming场景下，单一消费者消费保证顺 序  在 batch