Apache RocketMQ 从入门到实战分片扩容后部分队列中的数据无法消费? 消息组 接到某项目组反馈,topic 在扩容后出现部分队列无法被消费者,导致消息积 压,影响线上业务? 考虑到该问题是发送在真实的线上环境,为了避免泄密,本文先在笔者的虚拟机中来重 现问题。 一、案情回顾 1. 集群现状 集群信息如下: 例如业务主体名 topic_dw_test_by_order_01 的路由信息如图所示: 本文来自『中间件兴趣圈』公众号,仅作技术交流,未授权任何商业行为。 个队列),当时由于比较急,并没有第一时间发现这个界面,竟然只包含一个消 费者,觉得并没有消息积压,又由于同一个集群,其他消费组没有问题,只有两个消费组有 问题,怀疑是应用的问题,就采取了重启,打印线程栈等“老路”? 事后诸葛亮:其实这完成是错误的,为什么这样说呢?因为项目组(业务方)已经告知 一部分业务未处理,说明肯定有队列的消息积压,当根据自己的知识,结合看到的监控页面 做出的判断与业务方反 byteBuffer.position(0); byteBuffer.limit(fileSize); this.availableBuffers.offerFirst(byteBuffer); } 其调用栈如下: 从上面的分析看来,并不会随着消息的不断写入而导致内存溢出。 三、现象解答 1. [REJECTREQUEST]system busy, start flow control for a while0 码力 | 165 页 | 12.53 MB | 1 年前3
RocketMQ v3.2.4 开发指南较大,所以通常会采用异步落盘,又由亍应用关闭过程丌叐 MQ 运维人员控制,可能经常会収生 kill -9 返样 暴力方式关闭,造成数据没有及时落盘而丢失。 3. Producer 所在机器的可靠性较低,一般为虚拟机,丌适合存储重要数据。 综上,建议重试过程交由应用来控制。 项目开源主页:https://github.com/alibaba/RocketMQ 42 13.3 选择 oneway 形式发送0 码力 | 52 页 | 1.61 MB | 1 年前3
基于Apache APISIX 与RocketMQ 构建云原生一体化架构IaaS 的多样性对应用交付部署提出了更高要求 • 可运维性、可观测性带来了更大挑战 • 多租环境带来了更高的网络及安全隔离要求 • 无限资源 vs 有限成本 • 冗长的请求链路,膨胀的技术栈 ……. 面向失败 松散耦合 基础设施解耦 极致弹性 多场景适应 低成本 高 SLA X 客户价值: X 多场景 云原生时代的挑战 云原生四要素 云原生时代的 RocketMQ admin0 码力 | 22 页 | 2.26 MB | 1 年前3
Apache RocketMQ on Amazon Web Services再点击下一步检查对应参数。 3. 在最后的审核⻚面中,勾选最下方的【我确认,AMAZON CloudFormation 可能创建 IAM 资源】以及【我确认,可能需要以下功能】选择框,点击【创建堆栈】,开始堆 栈的创建。 等待约 15 分钟,堆栈创建完成后您可以看到父堆栈和嵌套堆栈的创建状态,点击【输 出】标签栏您将看到创建的资源细节。 步骤四:查看堆栈 您可以在 AMAZON CloudFormation0 码力 | 18 页 | 1.55 MB | 1 年前3
共 4 条
- 1













