快速部署高可用的Apache RocketMQ 集群 - Amazon S3Copyright (c) 2021 by Amazon.com, Inc. or its affiliates. Page 2 of 21 目 录 背景介绍 ....................................................................................... RocketMQ 的部署参数部署完成后,该方案会在用户的亚马逊云科技账户下 部署如下的一个架构,包含两个 Nameserver 互为备份,三个 Broker Instance 每个 Broker Instance 上面启动三个 Broker 实例,每个 Broker 实例会在三个 Broker Instance 之间形成一个基于 Raft 的高可用 dledger 集群,如果其中一个 Broker 实例 把副本集启动在在不同的可⽤ 区中。如果您选择的 AMAZON WEB SERVICES 区域为由光环新⽹运营的 亚马逊云科技(北京)区域,因其对 外 提供 2 个可⽤区,本解决方案将重复使⽤其中⼀个可⽤区来创建第三个 ⼦⽹。 部署说明 1. 此⽅案仅针对使⽤由西云数据运营的 亚马逊云科技(宁夏)区域或由光环新⽹ 运营的 亚马逊云科技(北京)区域。在开始之前,请先确保您已经有了⼀个可 以访问这两个区域的0 码力 | 21 页 | 2.57 MB | 1 年前3
Apache RocketMQ on Amazon Web ServicesCopyright (c) 2021 by Amazon.com, Inc. or its affiliates. Page 2 of 18 目 录 背景介绍........................................................................................ Apache RocketMQ 是一款 java 语言开发的开源的、分布式的消息投递与流数据平台。 最早于 2016 年由阿里巴巴捐献给了 Apache 基金会,2017 年成为 Apache 的 顶级项 目,RocketMQ 具有低延迟,金融级高可用以及厂商中立的特点,目前广泛使用于国内 外的互联网公司。针对 AMAZON WEB SERVICES 客户需要在 AMAZON WEB SERVICES 上 的部署参数部署完成后,该方案会在用户的 AMAZON WEB SERVICES account 下部署如下的一个架构,包含两个 Nameserver 互为备份,三个 Broker Instance 每个 Broker Instance 上面启动三个 Broker 实例,每个 Broker 实例会在 三个 Broker Instance 之间形成一个基于 Raft 的高可用 dledger 集群,如果其中一个 Broker 实例因故障无法提供服务,Raft0 码力 | 18 页 | 1.55 MB | 1 年前3
Apache RocketMQ 从入门到实战核心概念扫盲篇 < 12 即 order-service-app 部署了 3 台服务器,每一个 jvm 进程可以看做是消费组 order_consumer 消费组的其中一个消费者。 1. 消费模式 那这三个消费者如何来分工来共同消费 order_topic 中的消息呢? 在 RocketMQ 中支持广播模式与集群模式。 广播模式:一个消费组内的所有消费者每一个都会处理 topic 中的每一条消息,通常用 核心概念扫盲篇 < 16 使用过程中,应用程序需要区分系统异常、业务异常,如果是不符合业务规则导致的异常, 则重试多少次都无法消费成功,这个时候一定要告警机制,及时进行人为干预,否则消费会 积压。 三、事务消息 事务消息并不是为了解决分布式事务,而是提供消息发送与业务落库的一致性,其实现 原理就是一次分布式事务的具体运用,请看如下示例: 上述伪代码中,将订单存储关系型数据库中和将消息发送到 MQ 个队列。 二、思考 默认 Topic 的路由信息是如何创建的? Topic 的路由信息是存储在哪里?Nameserver?broker? RocketMQ Topic 默认队列个数。 三、原理 1. RocketMQ 基本路由规则 本文来自『中间件兴趣圈』公众号,仅作技术交流,未授权任何商业行为。 1.2 生产环境中,autoCreateTopicEnable 为什么不能设置为0 码力 | 165 页 | 12.53 MB | 1 年前3
RocketMQ v3.2.4 开发指南................................... 14 项目开源主页:https://github.com/alibaba/RocketMQ II 6.4 存储目彔结构 ................................................................................................ 2 产品发展历史 大约经历了三个主要版本迭代 一、Metaq(Metamorphosis) 1.x 由开源社区 killme2008 维护,开源社区非常活跃。 https://github.com/killme2008/Metamorphosis 二、Metaq 2.x 亍 2012 年 10 月份上线,在淘宝内部被广泛使用。 三、RocketMQ 3.x 基亍公司内部开源共建原则, 项目开源主页:https://github.com/alibaba/RocketMQ 6 (4). 对内存数据做一个持丽化镜像,例如 beanstalkd,VisiNotify (1)、(2)、(3)三种持丽化方式都具有将内存队列 Buffer 迕行扩展的能力,(4)只是一个内存的镜像,作用是当 Broker 挂掉重启后仍然能将乀前内存的数据恢复出来。 JMS 不 CORBA Notification0 码力 | 52 页 | 1.61 MB | 1 年前3
王强-Apache RocketMQ事务消息RocketMQ 存储设计 Apache RocketMQ http://rocketmq.apache.org • ⾼高性能,分布式 • ⾼高并发 • 消息堆积 • Apache顶级项⽬目 发展历史 2013� Open Source Massive accumulation Orderly messaging 2014� Industry Ready 1940 码力 | 34 页 | 6.17 MB | 1 年前3
Apache RocketMQ 介绍等。 而Kafka最初被设计用来做日志处理,是一个不折不扣的大数据通道,追求高吞吐,存在丢消息的可 。其背后的研发团队也围绕着Kafka进行了商业包装,目前在一些中小型公司被广泛使用。 下表是一目了然的快速参考,可快速发现RocketMQ及其最受欢迎的替代产品之间的差异。 Messaging Product Client SDK Protocol and Specification Ordered0 码力 | 5 页 | 375.48 KB | 1 年前3
消息中间件RocketMQ原理解析 - 斩秋.............................................................................................. 9 三:Broker 落地消息 ....................................................................................... .............................................................................................. 17 三: 长轮询 .............................................................................................. ............................................................................................ 28 第三章: broker ..........................................................................................0 码力 | 57 页 | 2.39 MB | 1 年前3
docker-compose 安装 RocketMQ1 rmqnet firewall-cmd --zone=trusted --add-source=172.10.0.1/16 --permanent firewall-cmd --reload 三、配置 docker-compose version: '3.8' services: rmqnamesrv: image: rocketmqinc/rocketmq container_name:0 码力 | 3 页 | 135.58 KB | 1 年前3
共 8 条
- 1













