Apache RocketMQ 从入门到实战打下牢固的基础。 一、RocketMQ 部署架构 在 RocketMQ 主要的组件如下: 1. Nameserver Nameserver 集群,topic 的路由注册中心,为客户端根据 Topic 提供路由服务,从 而引导客户端向 Broker 发送消息。Nameserver 之间的节点不通信。路由信息在 Nameserver 集群中数据一致性采取的最终一致性。 2. Broker 消息存储服务器,分为两种角色:Master 授权任何商业行为。 11 > 1.1 RocketMQ 核心概念扫盲篇 3. Client 消息客户端,包括 Producer(消息发送者)和 Consumer(消费消费者).客户端在同一 时间只会连接一台 nameserver,只有在连接出现异常时才会向尝试连接另外一台。客户 端每隔 30s 向 Nameserver 发起 topic 的路由信息查询。 温馨提示:Nameserver 在实际过程中,对主题进行扩容(增加队列个数)或者对消费者进行扩容、缩容是一件非 常寻常的事情,那如果新增一个消费者,该消费者消费哪些队列呢?这就涉及到消息消费队 列的重新分配,即消费队列重平衡机制。 在 RocketMQ 客户端中会每隔 20s 去查询当前 topic 的所有队列、消费者的个数,运 用队列负载算法进行重新分配,然后与上一次的分配结果进行对比,如果发生了变化,则进 行队列重新分配;如果没有发生变化,则忽略。0 码力 | 165 页 | 12.53 MB | 1 年前3
 RocketMQ v3.2.4 开发指南.. 31 11 客户端使用挃南 ...................................................................................................................................................... 31 11.1 客户端如何寻址 .......... .... 31 11.2 自定丿客户端行为 ......................................................................................................................................... 32 11.2.1 客户端 API 形式 ............. ................................................................................... 32 11.2.2 客户端的公共配置 ..............................................................................................0 码力 | 52 页 | 1.61 MB | 1 年前3
 消息中间件RocketMQ原理解析 - 斩秋.......................................................................................... 15 二:消费端负载均衡 ............................................................................................... ........................................................... 52 二:NettyRemotingServer Remoting 服务端实现 .............................................................. 53 三:NettyRemotingClient ........ 将上面过滤出的 prepared 消息,添加到事物状态表文件中 这个事物状态表 transstable 的作用是定期(1 分钟)将状态为 prepared 事物回查 producer 端 redolog 这个队列其实标记消费到哪了, 事物状态的恢复根本上是有 commitlog 来做的 第二章 consumer 有别于其他消息中间件由 broker0 码力 | 57 页 | 2.39 MB | 1 年前3
 Apache RocketMQ on Amazon Web Services(IAM) 实例⻆⾊,具有细化控制的 权限, 用于访问部署过程所需的 AMAZON WEB SERVICES 服务。 • (*) 安全组,用于在 VPC 内实现通信,且仅允许访问必需的协议和端⼝(如 果您选 择的是启动在已有 VPC 中,您需要提前创建此安全组或者使用已有 的安全组)。 • 在私有⼦网中,一个可自定义单独运⾏或者在副本集中运⾏的 Apache RocketMQ Console 的应用,但是因 为 Nameserver 的 instance 是运⾏在 private subnet,所以无法直接 通过浏览器访问 Nameserver 私有 IP 的 8080 端⼝访问,请按照下面的步骤建立和 Bastion Host 的 SSH Tunnel 并通过 SSH Tunnel 来访问 Nameserver 的 Web Console。 1. 使用 ssh 对应的值需要设置为您建立 ssh tunnel 的本地端⼝,见第一步的-D 参数后 面的那个数字,如下图: 7. 点击 SwitchyOmega 插件并选择刚刚创建的 RocketMQ profile,如下图 Page 16 of 18 8. 完成了上面这步之后,浏览器就会将所有的流量通过本地的 40011 端⼝ proxy 到 Bastion Host 机器。0 码力 | 18 页 | 1.55 MB | 1 年前3
 基于Apache APISIX 与RocketMQ 构建云原生一体化架构面向失败 松散耦合 基础设施解耦 极致弹性 多场景适应 低成本 高 SLA X 客户价值: X 多场景 云原生时代的挑战 云原生四要素 云原生时代的 RocketMQ admin 富客户端 轻量级 SD K API兼容 计算 云存储 VPC 网络 Kubernetes Name Server Name Server Name Server 计算集群 可观测 remoting o m e t h i n g Ab o u t 全新 POP 消费模型 服务端负载均衡  消除 Consumer 与 Queue 的 Binding 关 系,一个 Queue 可以由多个消费者消费  无 rebalance ,降低消费延迟概率  集群中某些消费端假死不影响整体消费进度  客户端更加轻量,多语言友好 流批一体  在Streaming场景下,单一消费者消费保证顺0 码力 | 22 页 | 2.26 MB | 1 年前3
 王强-Apache RocketMQ事务消息TransactionalMessageCheckService Half Msgs channel PID: Available Netty Channels 1 2 3 客户端代码示例例 基于Spring-Boot的客户端示例例 https://github.com/apache/rocketmq-externals/rocketmq-spring-boot-starter 多分⽀支分布式事务0 码力 | 34 页 | 6.17 MB | 1 年前3
 快速部署高可用的Apache RocketMQ 集群 - Amazon S3⽤于访问部署过程所需的 AMAZON WEB SERVICES 服 务。 Page 5 of 21 • (*) 安全组,⽤于在 VPC 内实现通信,且仅允许访问必需的协议和端⼝ (如果您选 择的是启动在已有 VPC 中,您需要提前创建此安全组或者使 ⽤已有的安全组)。 • 在私有⼦⽹中,⼀个可⾃定义单独运⾏或者在副本集中运⾏的 Apache RocketMQ 完成了上面这步之后,浏览器就会将所有的流量通过本地的 40011 端口 proxy 到 Bastion Host 机器。 9. 在浏览器中输入部署好的任何一个 Nameserver 的私有 ip 地址加上 8080 端 口(http://10.0.6.235:8080),你可以通过 EC2 Console 找到 Nameserver 对应的 instance 并查到对应的 ip 地址,如下图 10. 浏览器应该可以正常显示部署好的0 码力 | 21 页 | 2.57 MB | 1 年前3
共 7 条
- 1
 













