基于Apache APISIX 与RocketMQ 构建云原生一体化架构的多样性对应用交付部署提出了更高要求 • 可运维性、可观测性带来了更大挑战 • 多租环境带来了更高的网络及安全隔离要求 • 无限资源 vs 有限成本 • 冗长的请求链路,膨胀的技术栈 ……. 面向失败 松散耦合 基础设施解耦 极致弹性 多场景适应 低成本 高 SLA X 客户价值: X 多场景 云原生时代的挑战 云原生四要素 云原生时代的 RocketMQ admin 富客户端 IaaS 基础设施支持,降低成本 轻量级SDK: • 全面支持云原生通信标准 gRPC 协议 • 无状态 Pop 消费模式,多语言友好,易集成 从业务走向数据: • 事件流场景支撑 • 面向 SQL 的轻量级实时计算引擎 可分可合的存储计算分离: • Broker 升级为真正的无状态服务节点,无 binding • Broker和Store节点分离部署、独立扩缩 • 可分可合,适应多种业务场景,降低运维负担 逻辑队列:秒级无损弹性扩缩,无数据复制,流量精准调度 消息与流融合索引支持 核心问题 • 消息体小且存储结构面向单 条消息,导致提升吞吐困难 • 在进行状态存储时,无 KV 语义支撑 挑战 • Commitlog 格式存储, 统一复制算法 • 不借助外部依赖,提供 状态存储能力 • 单一数据文件,支持面向流的索引及面向 批的索引 • 批量发,批量存,批量读,吞吐提升十倍 • 统一消息,KV 语义,统一0 码力 | 22 页 | 2.26 MB | 1 年前3
王强-Apache RocketMQ事务消息商迁移难 • 云上与云下产品的⽆无缝衔接能⼒力力差 云原⽣生与业界标准 OpenMessaging AMQP • 简单灵活 • 云原⽣生 • ⼚厂商中⽴立 • 语⾔言⽆无关 • ⾯面向消息和流的标准 关注阿⾥里里巴巴中间件微信公众号,与技术同⾏行行。 关注RocketMQ中国开发者公众号0 码力 | 34 页 | 6.17 MB | 1 年前3
RocketMQ v3.2.4 开发指南(2). 读一条消息,会兇读 Consume Queue,再读 Commit Log,增加了开销。 (3). 要保证 Commit Log 不 Consume Queue 完全的一致,增加了编程的复杂度。 以上缺点如何克服: (1). 随机读,尽可能让读命中 PAGECACHE,减少 IO 读操作,所以内存越大越好。如果系统中堆积的消息过多, 读数据要访问磁盘会丌会由亍随机读导致系统性能急剧下降,答案是否定的。0 码力 | 52 页 | 1.61 MB | 1 年前3
Apache RocketMQ 从入门到实战如何实现刷盘(可以类比一下数据库方面的刷盘、redo、undo 日志)? RocketMQ 文件存储设计理念、基于文件的 Hash 索引是怎么实现的? 定时消息、消息过滤等实现原理。 如何进行网络编程(Netty 实战)? 下定决心后便开始了我的源码分析 RocketMQ 之旅,大概在 4 个多月的时间中连续 发表了 30 余篇文章,从 Nameserver、消息发送高可用设计、消息存储、消息消费、消0 码力 | 165 页 | 12.53 MB | 1 年前3
共 4 条
- 1













