RocketMQ 为什么性能高效，到底运用了什么“厉害”的技术？  RocketMQ 如何实现刷盘（可以类比一下数据库方面的刷盘、redo、undo 日志）？  RocketMQ 文件存储设计理念、基于文件的 Hash 索引是怎么实现的?  定时消息、消息过滤等实现原理。  如何进行网络编程（Netty 实战）？ 下定决心后便开始了我的源码分析 RocketMQ 之旅，大概在 4 个多月的时间中连续 端，${ROCKETMQ_HOME}/store/conf ig/consumerOffset.json 是其具体的存储文件，其中内容截图如下： 可见消费进度的 Key 为：topic@consumeGroup，然后每一个队列一个偏移量。 广播模式的消费进度文件存储在用户的主目录，默认文件全路劲名：${USER_HOM E}/.rocketmq_offsets。 4. 消费模型 RocketMQ 中存在默认主题的路由配 置信息，则根据消息发送请求中的队列数量，在 Broker 创建新 Topic 的路由信息。这样 Broker 服务端就会存在主题的路由信息。 在 Broker 端的 topic 配置管理器中存在的路由信息，一会向 Nameserver 发送心跳 包，汇报到 Nameserver，另一方面会有一个定时任务，定时存储在 broker 端，具体路 径为${ROCKET_HOME}/store/config/topics

transaction stable table： 如果是 prepared 消息记，通过 TransactionStateService 服 务将消息加到存储事务状态的表格 tranStateTable 的文件中；如果是 commitType 和 rollbackType 消息， 修改事物状态表格 tranStateTable 中的消息状态。 记 录 Transaction Redo Log 日 志 将多个文件组成一个连续的队列，它的存储单元是定 长为 24 个字节的数据， tranStateTableOffset 可以认为是事物状态消息的个数，索引偏移量， 它的值是 tranStateTable.getMaxOffset() / TSStoreUnitSize 2.2.4 事物回查 定时回查线程会定时扫描（默认每分钟）每个存储事务状态的表格文件， 遍历存储事 消息，且遍历完，则终止扫描这个文件的定时任务 2.2.5 事物消息的 load&recover TransactionStateService.load ()事物状态服务加载， 加载只是建立文件映射 redoLog 队列恢复，加载本地 redoLog 文件 tranStateTable 事物状态表， 加载本地 tranStateTable 文件 recover:

的需求，我们开发了一键部署的方案，帮助客户快速的在自己的账号部署 一个基于 EC2 的高可用的 RocketMQ 集群。 架构 Amazon CloudFormation 提供了⼀种创建和管理相关 AMAZON WEB SERVICES 资源的简便⽅法，并通过有序 且可预测的⽅式进⾏资源配置和更新。本快速⼊⻔提供 两种部署选项，⼀种是将 Apache RocketMQ 部署到新 VPC 本文的步骤主要针对在运行在由西云数据运营的亚马逊云科技（宁夏）区域或由光环 新网运营的亚马逊云科技（北京）区域中部署该解决方案，您可以使用以下链接快速 启动一个 Amazon CloudFormation 堆栈来部署和管理整个方案： 启动 Amazon CloudFormation 堆栈 单击以下按钮，在相应区域的控制台部署 Amazon CloudFormation 模板。 选项 1 部署 Apache tmq-deploy/rocketMQ-config/ Apache RocketMQ Broker 程序的配置文件，由部署脚 本自动生成 5 /home/ec2-user/rocketmq-deploy/rmqstore Apache RocketMQ 的本地 文件存放目录 如何使用浏览器查看 Apache RocketMQ 的 Web Console 当前部署方案在每个

........................................................................................ 13 6.2 文件系统 ................................................................................................ 消息中间件通常采用的几种持丽化方式： (1). 持丽化到数据库，例如 Mysql。 (2). 持丽化到 KV 存储，例如 levelDB、伯克利 DB 等 KV 存储系统。 (3). 文件记彔形式持丽化，例如 Kafka，RocketMQ 项目开源主页：https://github.com/alibaba/RocketMQ 6 (4). 对内存数据做一个持丽化镜像，例如 CORBA Notification 规范没有明确说明如何持丽化，但是持丽化部分的性能直接决定了整个消息中间件 的性能。 RocketMQ 参考了 Kafka 的持丽化方式，充分利用 Linux 文件系统内存 cache 来提高性能。 4.6 Message Reliablity 影响消息可靠性的几种情冴： (1). Broker 正常关闭 (2). Broker 异常 Crash

的需求，我们开发了一键部署的方案，帮助客户快速的在自己的账号 部署一个基于 EC2 的高可用的 RocketMQ 集群。 架构 AMAZON CloudFormation 提供了一种创建和管理相关 AMAZON WEB SERVICES 资源的简 便方法，并通过有序 且可预测的方式进⾏资源配置和更新。本快速⼊⻔提供两种部署 选项，一种是将 Apache RocketMQ 部署到新 VPC SERVICES（宁夏）区域 或由光环新网运营的 AMAZON WEB SERVICES（北京）区域中部署该解决方案，您可以 使用以下链接快速启动一个 AMAZON CloudFormation 堆栈来部署和管理整个方案： 启动 AMAZON CloudFormation 堆栈 单击以下按钮，在相应区域的控制台部署 AMAZON CloudFormation 模板。 Page 7 of 部署脚本的安装日志，如果 有错误可以查看这个日志 4 /home/ec2-user/rocketmq-deploy/rocketMQ-config/ Apache RocketMQ Broker 程 序的配置文件，由部署脚本 自动⽣成 Page 14 of 18 5 /home/ec2-user/rocketmq-deploy/rmqstore Apache RocketMQ

事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 存储⽂文件 - - - - - 1G - - - - - 6M - - - - - 400M 配置和状态相关 消息存储和检索相关 存储设计 producer message(topic, queueId RocketMQ 存储设计 Cloud Native 的定义 • 设计，搭建和部署应⽤用的⽅方式 • 运⾏行行在云计算环境 IaaS • 快速，弹性 • 降低技术⻛风险 • 互操作性，易易部署，可监控管理理 消息系统挑战 • 传统设计和实现⽅方⾯面 • 组件的微服务化，例例如存储和计算分离 • 开源软件的冲击，云服务选型⾯面临挑战 • 缺少稳定的多语⾔言类库 • Cloud AI Ops⽅方⾯面

6.3 git clone https://github.com/apache/rocketmq.git cd rocketmq # 执行mvn构建命令, 这里的命令含义是：清理之前编译、打包的文件，激活profile 名为 release-al # 然后打包，不编译单元测试，也不运行单元测试 mvn clean -P release-all package -Dmaven.test.skip=true ├── tomcat-annotations-api-8.5.46.jar └── tomcat-embed-core-8.5.46.jar ● bin目录下放的是脚本文件 ● conf目录，配置文件 2m-2s-async 双主双从异步复制模式 2m-2s-sync 双主双从同步双写模式 2m-noslave 双主模式 ● lib 存放的依赖jar包 测试namesrv的启动 OS rocketmq配置文件 1、编辑 conf/2m-2s-async/broker-a.properties # 集群名称 brokerClusterName=mq-broker-cluster # broker名字，不同的配置文件填写的不一样 brokerName=broker-a # 0 表示master，>0 表示slave brokerId=0 # 删除文件时间点，默认凌晨4点 deleteWhen=04

Incubator。 2017年9月25日 – Apache软件基金会，连同350多个开源项目的全体志愿者、开发人员、管理人员 和孵化项目组织，宣布Apache®RocketMQ™从Apache孵化器毕业成为顶级项目，这表明该项目的 区和产品已根据ASF的精英流程和原则得到了很好的管理。 现今，Apache RocketMQ在社区各方面的努力下，茁壮发展，很多功能都得到了加强。 RocketMQ的技术概览

消息体小且存储结构面向单 条消息，导致提升吞吐困难 • 在进行状态存储时，无 KV 语义支撑 挑战 • Commitlog 格式存储， 统一复制算法 • 不借助外部依赖，提供 状态存储能力 • 单一数据文件，支持面向流的索引及面向 批的索引 • 批量发，批量存，批量读，吞吐提升十倍 • 统一消息，KV 语义，统一 API，提供 状态存储能力 • 流表二象性支持 W r i t e h e