开源社区的方式  RocketMQ 为什么性能高效，到底运用了什么“厉害”的技术？  RocketMQ 如何实现刷盘（可以类比一下数据库方面的刷盘、redo、undo 日志）？  RocketMQ 文件存储设计理念、基于文件的 Hash 索引是怎么实现的?  定时消息、消息过滤等实现原理。  如何进行网络编程（Netty 实战）？ 下定决心后便开始了我的源码分析 RocketMQ 之旅，大概在 端，${ROCKETMQ_HOME}/store/conf ig/consumerOffset.json 是其具体的存储文件，其中内容截图如下： 可见消费进度的 Key 为：topic@consumeGroup，然后每一个队列一个偏移量。 广播模式的消费进度文件存储在用户的主目录，默认文件全路劲名：${USER_HOM E}/.rocketmq_offsets。 4. 消费模型 RocketMQ rocketmq-all-4.7.1-bin-release.zip ls -l 解压后的文件如下图所示： 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 29 > 1.3 实战：RocketMQ 学习环境搭建指南篇 其中 conf 文件夹存放的是 RocketMQ 的配置文件，提供了各种部署结构的示例配 置。例如 2m-2s-async 是 2 主 2 从异步复制的配置示例；2m-noslave

........................................................................................ 13 6.2 文件系统 ................................................................................................ ................................................................................... 45 14.4 消费打印日志 .................................................................................................. 消息中间件通常采用的几种持丽化方式： (1). 持丽化到数据库，例如 Mysql。 (2). 持丽化到 KV 存储，例如 levelDB、伯克利 DB 等 KV 存储系统。 (3). 文件记彔形式持丽化，例如 Kafka，RocketMQ 项目开源主页：https://github.com/alibaba/RocketMQ 6 (4). 对内存数据做一个持丽化镜像，例如

release Apache RocketMQ 的应用 程序目录 3 /home/ec2-user/rocketmq-deploy/install.log 部署脚本的安装日志，如果 有错误可以查看这个日志 Page 16 of 21 4 /home/ec2-user/rocketmq-deploy/rocketmq-console-ng- 1.0.0 部署脚本的安装日志，如果 有错误可以查看这个日志 4 /home/ec2-user/rocketmq-deploy/rocketMQ-config/ Apache RocketMQ Broker 程序的配置文件，由部署脚 本自动生成 5 /home/ec2-user/rocketmq-deploy/rmqstore Apache RocketMQ 的本地 文件存放目录 如何使用浏览器查看

0-bin-release Apache RocketMQ 的应用程 序目录 3 /home/ec2-user/rocketmq-deploy/install.log 部署脚本的安装日志，如果 有错误可以查看这个日志 4 /home/ec2-user/rocketmq-deploy/rocketmq-console-ng-1.0.0.jar Apache RocketMQ Console /home/ec2-user/rocketmq-deploy/install.log 部署脚本的安装日志，如果 有错误可以查看这个日志 4 /home/ec2-user/rocketmq-deploy/rocketMQ-config/ Apache RocketMQ Broker 程 序的配置文件，由部署脚本 自动⽣成 Page 14 of 18 5 /ho

0) Apache RocketMQ 介绍 概要 Apache RocketMQ是一个分布式消息传递和流媒体平台，具有低延迟，高性能和可靠性，万亿级容 和灵活的可伸缩性。它的一个重要特性是支持非日志类型的可靠消息传送，非常适合运用在金融和电 商务领域。目前他是Apache社区的顶级项目，在全球有超过100家公司在其业务中使用RocketMQ 开源版本。 诞生 RocketMQ起源于阿里巴巴 缺少多语言支撑。ActiveMQ的生态堪称丰富多彩，在该Apache顶级项目下，拥有不少子项目，包括 HornetMQ演变而来的Artemis，基于Scala号称下一代AMQ的Apollo等。 而Kafka最初被设计用来做日志处理，是一个不折不扣的大数据通道，追求高吞吐，存在丢消息的可 。其背后的研发团队也围绕着Kafka进行了商业包装，目前在一些中小型公司被广泛使用。 下表是一目了然的快速参考，可快速发现RocketMQ及其最受欢迎的替代产品之间的差异。

transaction stable table： 如果是 prepared 消息记，通过 TransactionStateService 服 务将消息加到存储事务状态的表格 tranStateTable 的文件中；如果是 commitType 和 rollbackType 消息， 修改事物状态表格 tranStateTable 中的消息状态。 记 录 Transaction Redo Log 日 志 将多个文件组成一个连续的队列，它的存储单元是定 长为 24 个字节的数据， tranStateTableOffset 可以认为是事物状态消息的个数，索引偏移量， 它的值是 tranStateTable.getMaxOffset() / TSStoreUnitSize 2.2.4 事物回查 定时回查线程会定时扫描（默认每分钟）每个存储事务状态的表格文件， 遍历存储事 消息，且遍历完，则终止扫描这个文件的定时任务 2.2.5 事物消息的 load&recover TransactionStateService.load ()事物状态服务加载， 加载只是建立文件映射 redoLog 队列恢复，加载本地 redoLog 文件 tranStateTable 事物状态表， 加载本地 tranStateTable 文件 recover:

6.3 git clone https://github.com/apache/rocketmq.git cd rocketmq # 执行mvn构建命令, 这里的命令含义是：清理之前编译、打包的文件，激活profile 名为 release-al # 然后打包，不编译单元测试，也不运行单元测试 mvn clean -P release-all package -Dmaven.test.skip=true ├── tomcat-annotations-api-8.5.46.jar └── tomcat-embed-core-8.5.46.jar ● bin目录下放的是脚本文件 ● conf目录，配置文件 2m-2s-async 双主双从异步复制模式 2m-2s-sync 双主双从同步双写模式 2m-noslave 双主模式 ● lib 存放的依赖jar包 测试namesrv的启动 OS rocketmq配置文件 1、编辑 conf/2m-2s-async/broker-a.properties # 集群名称 brokerClusterName=mq-broker-cluster # broker名字，不同的配置文件填写的不一样 brokerName=broker-a # 0 表示master，>0 表示slave brokerId=0 # 删除文件时间点，默认凌晨4点 deleteWhen=04

事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 存储⽂文件 - - - - - 1G - - - - - 6M - - - - - 400M 配置和状态相关 消息存储和检索相关 存储设计 producer message(topic, queueId

消息体小且存储结构面向单 条消息，导致提升吞吐困难 • 在进行状态存储时，无 KV 语义支撑 挑战 • Commitlog 格式存储， 统一复制算法 • 不借助外部依赖，提供 状态存储能力 • 单一数据文件，支持面向流的索引及面向 批的索引 • 批量发，批量存，批量读，吞吐提升十倍 • 统一消息，KV 语义，统一 API，提供 状态存储能力 • 流表二象性支持 W r i t e h e