Apache RocketMQ 从入门到实战h 等。 推荐人及推荐序 推荐人 杜恒,Apache RocketMQ PMC Member/ committer,Linux OpenMessaging TSC Member,目前负责 RocketMQ 专有云商业化以 及开源技术生态构建。具有多年分布式系统、中间件 研究及工程经验。目前对分布式中间件、K8s、微服 务、物联网、Serverless 感兴趣。 推荐序 Apache 稿。由于我当时是 一位名不经传的新人,按照出版行业的惯例,需要找一些该领域内专家大牛帮忙做序或写写 推荐语。当时我也是初生牛犊不怕虎,蹦出了一个非常大胆的想法,是不是可以联系到 RocketMQ 官方的一些大佬,最终我直接锁定了 RocketMQ 创始人冯嘉大神,希望他 能帮我作序推荐,令人惊喜的是冯嘉大神非常平易见人,得知我的来意后,他说了这样一句 话:“我是非常愿意为写书的朋友作序,但需要评估一下书稿的质量,如果质量 话:“我是非常愿意为写书的朋友作序,但需要评估一下书稿的质量,如果质量 OK,非常 愿意效劳”。我备受鼓舞,在和出版社初步沟通后,将试读稿件再加上消息存储整章的内容 发给冯嘉大神后,经冯嘉大神认真审稿后,决定帮忙推荐作序,真的非常受鼓舞。 随着《RocketMQ 技术内幕》一书的正式出版上市,并得到广大读者朋友的认可,与 官方的联系也越来越多,后面在 RocketMQ 中国社区负责人青峰大佬的筹备下,我还参 与了 RocketMQ0 码力 | 165 页 | 12.53 MB | 1 年前3
RocketMQ v3.2.4 开发指南PAGECACHE 刷入磁盘。 (4). Consumer 拉消息(正常消费),消息直接从 PAGECACHE(数据在物理内存)转入 socket,到达 consumer, 丌经过 java 堆。返种消费场景最多,线上 96G 物理内存,挄照 1K 消息算,可以在物理内存缓存 1 亿条消 息。 (5). Consumer 拉消息(异常消费),消息直接从 PAGECACHE(数据在虚拟内存)转入 socket。 访问堆积在磁盘的数据时,会吐 Consumer 下达一个重定吐挃 令,令 Consumer 从 Slave 拉叏数据,返样正常的収消息不正常消费的 Consumer 都丌会因为消息堆积叐影响,因为 系统将堆积场景不非堆积场景分割在了两个丌同的节点处理。返里会产生另一个问题,Slave 会丌会写性能下降, 答案是否定的。因为 Slave 的消息写入只追求吞吏量,丌追求实时性,只要整体的吞吏量高就可以,而 Slave 已经在代码中写死,可通过修改/etc/hosts 文件来改发要访问的服务器,例如在/etc/hosts 增加如下配 置 10.232.22.67 jmenv.taobao.net 推荐使用 HTTP 静态服务器寻址方式,好处是客户端部署简单,丏 Name Server 集群可以热升级。 11.2 自定义客户端行为 11.2.1 客户端 API 形式 DefaultMQ0 码力 | 52 页 | 1.61 MB | 1 年前3
基于Apache APISIX 与RocketMQ 构建云原生一体化架构APISIX 构建云原生接入体系 CONTENT Apache RocketMQ 简介 01 业务消息领域挑战 • 核心链路,稳定性要求高、时延敏感 • 容量峰值具有随机性,弹性要求高 • 业务场景复杂、集成要求尽可能简单 • 运维及流量调拨要求高 极简架构 高性能 金融级高可靠 打造业务消息领域首选 零依赖 可扩展 低延迟 高吞吐 强同步刷盘 ACK 机制 普通消息 顺序消息 多租环境带来了更高的网络及安全隔离要求 • 无限资源 vs 有限成本 • 冗长的请求链路,膨胀的技术栈 ……. 面向失败 松散耦合 基础设施解耦 极致弹性 多场景适应 低成本 高 SLA X 客户价值: X 多场景 云原生时代的挑战 云原生四要素 云原生时代的 RocketMQ admin 富客户端 轻量级 SD K API兼容 计算 云存储 VPC 网络 Kubernetes Store Store 存储集群 高可用架构升级: • 秒级故障转移,多场景容灾支持 • 无外部依赖,节点间松散耦合 • 自建及云上异构 IaaS 基础设施支持,降低成本 轻量级SDK: • 全面支持云原生通信标准 gRPC 协议 • 无状态 Pop 消费模式,多语言友好,易集成 从业务走向数据: • 事件流场景支撑 • 面向 SQL 的轻量级实时计算引擎 可分可合的存储计算分离:0 码力 | 22 页 | 2.26 MB | 1 年前3
王强-Apache RocketMQ事务消息streaming, OLAP systems�� RocketMQ 5.0 Cloud-native, computing storage separating architecture� 典型应⽤用场景 ⾦金金融交易易 电⼦子商务 智能制造 分布式事务 异步解耦 IoT/IIoT 决策分析 实时计算 概念模型 Broker A Producer A Topic A Broker Available Soft-state Eventual Consistency 分布式事务解决⽅方案 XA 特点: 1. 两阶段提交 2. 仅商业化数据库⽀支持 3. ⽆无法满⾜足⾼高并发场景 分布式事务解决⽅方案 SAGA 特点: 1. 提交+补偿 2. 并发隔离性很难保证 分布式事务解决⽅方案 TCC 特点: 1. 特殊的两阶段提交 2. Try阶段检查/锁定资源 没有真正提交 service Account service Send message Receive message 先执⾏行行本地事务还是先发送消息? 交易易型分布式事务的 RocketMQ使⽤用场景 分布式事务解决⽅方案 半消息 远程事务 特点: 1. 稳定,⽀支持⾼高并发 2. 回查机制可靠易易⽤用 3. 不不引⼊入额外的依赖 注意:回查⽅方法需要幂等 Broker 实现细节0 码力 | 34 页 | 6.17 MB | 1 年前3
Apache RocketMQ 介绍多种负载均衡模式发送到Broker集群,发送 延时,支持快速失败。 Consumer也由用户部署,支持PUSH和PULL两种消费模式,支持集群消费和广播消息,提供实时的 息订阅机制,满足大多数消费场景。 特点 ● RocketMQ支持异步实时刷盘,同步刷盘,同步复制,异步复制。具有高可靠性。不会因为操作系 的崩溃而导致数据丢失。 ● RocketMQ经过一系列的实践和优化,处理速度从最初的100 码力 | 5 页 | 375.48 KB | 1 年前3
共 5 条
- 1













