GSoC 2020 Apache Proposal Apache RocketMQ Scaler for KEDA

• 语言: 英语
• 格式: .pdf
• 来源: hiejulia.github.io

摘要

文档主要描述了在Google Summer of Code 2020中为Apache RocketMQ实现KEDA缩放器的提案。KEDA是一个Kubernetes事件驱动的自动缩放工具，支持多种消息队列和事件源，但当前不支持Apache RocketMQ。该项目旨在实现RocketMQ的缩放器，并通过向KEDA仓库提交代码变更请求（PR）来添加对RocketMQ的支持。项目计划包括环境配置、代码研究、架构设计、测试实现以及文档编写等多个阶段，旨在实现基于事件源的自动缩放功能。

AI总结

《GSoC 2020 Apache Proposal：Apache RocketMQ Scaler for KEDA》

**项目背景**
该项目旨在实现KEDA（Kubernetes Event-driven Autoscaler）对Apache RocketMQ的支持，通过创建一个新的RocketMQ扩展器，使KEDA能够根据事件源（如RocketMQ队列长度）对Kubernetes工作负载进行自动缩放。KEDA目前支持多种事件源（如Azure、AWS、Kafka等），但尚未支持Apache RocketMQ。

**核心需求与目标**
1. 实现RocketMQ扩展器，使KEDA能够根据RocketMQ队列的消息长度自动缩放部署。
2. 支持RocketMQ的事件驱动缩放，包括从零扩展到多副本，再到缩减到零。
3. 定义自定义资源（如ScaledObject和TriggerAuthentication），将RocketMQ事件源映射到Kubernetes部署。

**技术实现细节**
1. **核心模块**
- **Main Scale Handler**：实现RocketMQ扩展器，包括连接RocketMQ、检查待处理消息、获取消息并返回缩放指标。
- **Authentication**：支持RocketMQ的认证配置，确保扩展器能够安全访问RocketMQ资源。
- **Topics & Queues**：支持RocketMQ的多种消息模式（如pub/sub、广播、定时、批量、过滤等）。

2. **测试与验证**
- 单元测试：验证扩展器的核心逻辑。
- 集成测试：测试扩展器与KEDA的集成。
- E2E测试：部署RocketMQ和KEDA，验证自动缩放功能。

3. **性能与可靠性**
- 支持长时间运行的作业，处理分布式消息分批 :",
- 提供 cooldown 期间，避免频繁缩放。

**时间安排与交付物**
- **阶段划分**：项目分为多个阶段，包括环境配置、研究、代码实现、测试和部署，最后在8月完成最终文档。
- **交付物**：包括RocketMQ扩展器的代码实现、测试用例、设计文档、性能报告和使用指南。

**资源与参考**
- 参考KEDA的-existing scalers（如Kafka、RabbitMQ）。
- 使用Apache RocketMQ相关工具（如RocketMQ Operator、OpenMessaging API）。

该项目通过将KEDA与RocketMQ集成，提升了Kubernetes在事件驱动应用中的自动缩放能力，为开发者提供了更灵活和高效的解决方案。