Apache RocketMQ 从入门到实战说到参与开源项目,很多人都理解为成为一名 Committer 才能算式参与到开源社区的 建设?但其实这个就是参与开源项目有代码层面的贡献,也有非代码贡献层面的如技术布道 、社区运营(线上直播、线下活动、文档编辑)等。如何参与一个开源项目,容我慢慢道来。 一、与 RocketMQ 相识、相知到“在一起” 在 2017 年听到阿里巴巴将 RocketMQ 捐赠给 Apache 基金会成为 Apache 技术内幕》一书的正式出版上市,并得到广大读者朋友的认可,与 官方的联系也越来越多,后面在 RocketMQ 中国社区负责人青峰大佬的筹备下,我还参 与了 RocketMQ 官方社区的源码解析直播活动、官方文档审稿等工作,并在社区得到了 不错的反响。 说到这里大家是不是觉得非常奇怪,是不是都认为你只是在写文章,写书,没有真正参 与开源社区呀,没有贡献代码,这个算哪门子参与开源社区? 其实我一开始连 框架。最后最好是具备一些网络方面的 知识,例如 NIO、Netty。 2. 持续输出能力 成为一个开源项目的 contributions 非常容易,提交一个 PR 并被通过即可,甚至于 提交一个文档被接受也同样可以,难的是持续贡献,最终被开源项目的 PMC 认为对该项目 有着突出贡献。 我比较“苦逼”,在带娃方面我的资源只有我老婆,父母在老家无法分身,故下班后我 没有连续的空闲时间专心投0 码力 | 165 页 | 12.53 MB | 1 年前3
消息中间件RocketMQ原理解析 - 斩秋前言 此文档是从学习 rocketmq 源码过程中的笔记中整理出来的,由于时间及能力原因,理 解有误之处还请谅解,希望对大家学习使用 rocketmq 有所帮助。 Rocketmq 是阿里基于开源思想做的一款产品,代码托管于 github 上,要想学好用好 rocketmq 请从 https://github.com/alibaba/RocketMQ 获取最权威的文档、问题解答、原理介 brokerAddrTable 中的值是怎么获得的, 1. 发送消息的时候指定会指定 topic,如果 producer 集合中没有会根据指定 topic 到 namesrv 获取 topic 发布信息 TopicPublishInfo,并放入本地集合 2. 定时从 namesrv 更新 topic 路由信息, Producer 与 broker 间的心跳 Producer 定时发送心跳将 messageQueueList [userId%messageQueueList.size()] 2.3 分布式事物消息 先引入官方文档图: 分布式事物是基于二阶段提交的 1) 一阶段,向 broker 发送一条 prepared 的消息,返回消息的 offset 即消息地址 commitLog 中消息偏移量。Prepared0 码力 | 57 页 | 2.39 MB | 1 年前3
RocketMQ v3.2.4 开发指南2.4 ©Alibaba 消息中间件项目组 2015/1/7 文档变更历史 序号 主要更改内容 更改人 更改时间 1 建立初始版本 誓嘉 vintage.wang@gmail.com 2013/5/18 2 3.0 版本补充文档 誓嘉 vintage.wang@gmail.com 2013/8/16 3 补充与规范区别 补充与规范区别 誓嘉 vintage.wang@gmail.com 2014/1/4 4 合并文档 誓嘉 vintage.wang@gmail.com 2014/11/17 5 6 7 项目开源主页:https://github.com/alibaba/RocketMQ I 目录 1 前言 .............. ...................................................................................... 46 附彔 A 参考文档、规范 ...............................................................................................0 码力 | 52 页 | 1.61 MB | 1 年前3
万亿级数据洪峰下的消息引擎Apache RocketMQ天猫满返 交易买卖家 BCP 交易安全 钉钉 淘客 航旅 发布消息峰值:数千万条/秒 订阅消息峰值:数千万条/秒 堆积消息峰值:千亿条 消息中间件核心链路 1.4万亿 万亿洪峰下有哪些问题 机器假死 IO Util,Load飙高 磁盘响应慢 消息大量堆积 网卡故障,甚至流量跑满 磁盘损坏 零点之战:发布消息SLA要求100% 慢请求开始大量增加 分布式系统雪崩 容量不足,单机热点 76 81 86 91 96 101 106 111 116 121 126 131 136 141 146 1. 每秒支撑千万级消息发布 2. 每条消息发布最大响应时间 不超过20ms 3. 每条消息发布平均响应时间 不超过3ms 1.4万亿 分布式慢请求带来的挑战 1.4万亿 消息中间件分布式慢请求解法 01 02 低延迟分布式存储系统 在线熔断机制,秒级隔离 Custom apps Analytics Monitoring Open platform IM … Any protocols 1.4万亿 Apache RocketMQ – 商业化版本 感谢大家 THANKS! Alibaba Middleware l http://openmessaging.github.io/ l http://rocketmq.apache.org/0 码力 | 35 页 | 993.29 KB | 1 年前3
万亿级数据洪峰下的消息引擎 Apache RocketMQ天猫满返 交易买卖家 BCP 交易安全 钉钉 淘客 航旅 发布消息峰值:数千万条/秒 订阅消息峰值:数千万条/秒 堆积消息峰值:千亿条 消息中间件核心链路 1.4万亿 万亿洪峰下有哪些问题 机器假死 IO Util,Load飙高 磁盘响应慢 消息大量堆积 网卡故障,甚至流量跑满 磁盘损坏 零点之战:发布消息SLA要求100% 慢请求开始大量增加 分布式系统雪崩 容量不足,单机热点 76 81 86 91 96 101 106 111 116 121 126 131 136 141 146 1. 每秒支撑千万级消息发布 2. 每条消息发布最大响应时间 不超过20ms 3. 每条消息发布平均响应时间 不超过3ms 1.4万亿 分布式慢请求带来的挑战 1.4万亿 消息中间件分布式慢请求解法 01 02 低延迟分布式存储系统 在线熔断机制,秒级隔离 Custom apps Analytics Monitoring Open platform IM … Any protocols 1.4万亿 Apache RocketMQ – 商业化版本 感谢大家 THANKS! Alibaba Middleware l http://openmessaging.github.io/ l http://rocketmq.apache.org/0 码力 | 35 页 | 5.82 MB | 1 年前3
Apache RocketMQ 介绍和灵活的可伸缩性。它的一个重要特性是支持非日志类型的可靠消息传送,非常适合运用在金融和电 商务领域。目前他是Apache社区的顶级项目,在全球有超过100家公司在其业务中使用RocketMQ 开源版本。 诞生 RocketMQ起源于阿里巴巴。阿里巴巴最初由于业务需求,需要使用消息中间件。早期使用过Notify ActiveMQ等。但在需求不断膨胀的情况下,ActiveMQ IO模块遇到了瓶颈,几经努力但改善成果不 的无限消息堆积,高效持久化 度等特性非常赞赏。但不幸的是,Kafka不能满足他们的要求,特别是在低延迟和高可靠性方面。在 种情况下,阿里巴巴决定发明一个新的消息传递引擎来处理更广泛的用例集,从传统的发布/订阅方 到大批量实时零损失容忍交易系统。 里程碑 2012年,阿里巴巴开始开发RocketMQ,经历了数次双11核心交易链路检验。 2016年11月11日,RocketMQ又一次在阿里巴巴全球购物节上处理了10 码力 | 5 页 | 375.48 KB | 1 年前3
基于Apache APISIX 与RocketMQ 构建云原生一体化架构a reM Q Ap a che In cuba tin g 分布式事务消息 原生消息轨迹,AC L 支持 存储架构全面升级,RAFT 存储开源 轻量级Pull con sum er 发布 Request-Rep ly 特性支持 IPv 6 支持 © 2 0 1 7 A l i b a b a M i d d l e w a r e G r o u p 2019 2020 主从复制架构升级,性能提升数倍 RAFT 存储生产可用 rocketm q-con n ect 进入孵化 2021 5.0 -p rev iew 发布 性能优化、PoP 消费,多存储目录, 轻量级队列 rocketm q-strea m s 轻量级实时计算 引擎发布 5.0 消息事件流融合处理平台 Sta r: 1 .7w C on tributor: 50 0 + RocketMQ 发展历程0 码力 | 22 页 | 2.26 MB | 1 年前3
docker-compose 安装 RocketMQexample.quickstart.Consumer [文档:docker部署rocketmq服务.note 链接:http://note.youdao.com/noteshare?id=41831bf1 b70d4662f852ab0c6b1a3dd&sub=6704265BC771455E8A835F8E7462D595](文档:docke 部署rocketmq服务.note 链接:http://note0 码力 | 3 页 | 135.58 KB | 1 年前3
Apache RocketMQ on Amazon Web ServicesPage 1 of 18 Apache RocketMQ on Amazon Web Services 部署手册 顾明 版本:v1.0.0 最后更新时间: 2021 年 01 月 Copyright (c) 2021 by Amazon.com, Inc. or its affiliates. Page IOPS,否则此选 项将被忽略。 18 RocketMQ Version RocketMQVersion 4.7.1 选择部署的 Apache RocketMQ 的 软件版本,目前支持 4.7.1 和 4.8.0 19 NameServer Intance type NameServerInstanceType m5.large Nameserver Nameserver 节点的 EC2 实例类 型 16 RocketMQVersi on RocketMQVersion 4.7.1 选择部署的 Apache RocketMQ 的 软件版本,目前支持 4.7.1 和 4.8.0 17 VolumeSize VolumeSize 400 要挂载到 RocketMQ 所有 节点的 Amazon EBS ( 数据) 卷的⼤⼩0 码力 | 18 页 | 1.55 MB | 1 年前3
快速部署高可用的Apache RocketMQ 集群 - Amazon S3Page 1 of 21 快速部署高可用的 Apache RocketMQ 集群 部署手册 顾明 版本:v1.2.0 最后更新时间: 2023 年 11 月 Copyright (c) 2021 by Amazon.com, Inc. or its affiliates. Page 2 of 21 IOPS,否则此 选项将被忽略。 18 RocketMQ Version RocketMQVersion 4.7.1 选择部署的 Apache RocketMQ 的软件版本,目前 支持 4.7.1,4.8.0 和 5.1.1 19 NameServer Intance type NameServerInstanceTy pe m5.large Nameserver 节点的 EC2 实例 类型 16 RocketMQVe rsion RocketMQVersion 4.7.1 选择部署的 Apache RocketMQ 的软件版本,目前 支持 4.7.1,4.8.0 和 5.1.1 Page 14 of 21 17 VolumeSize VolumeSize 400 要挂载到 RocketMQ0 码力 | 21 页 | 2.57 MB | 1 年前3
共 11 条
- 1
- 2













