BRPC与UCX集成指南

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/opencurve

摘要

文档详细介绍了BRPC框架与UCX的集成，以实现对RDMA的支持。BRPC作为Curve的基础通信框架，支持远程过程调用和多协议传输。通过UCX的集成，实现了高效的消息传输，包括短消息的内部缓冲和大消息的接收缓冲区管理。文档还描述了对BRPC的EndPoint类和ServerOptions的修改，确保UCX连接的识别和管理。测试表明，该集成方案降低了开发难度，并在性能上取得了显著提升。

AI总结

《BRPC与UCX集成指南》总结如下：

### 1. BRPC简介
- **BRPC**：Curve的基础通信框架，支持远程过程调用（RPC），具有以下特点：
- 支持多种协议（如TCP、baidu_std、HTTP、gRPC等）和protobuf。
- 使用bthread协程（m:n调度模式），减少内核上下文切换和缓存失效。
- 现在扩展支持RDMA，通过UCX实现。

### 2. UCX与RDMA集成
- **UCX**：用于RDMA的通信库，提供高性能和低延迟。
- **集成目标**：在BRPC中添加RDMA支持，提升性能。
- **设计实现**：
- **UcpWorker**实现：
- 提供Accept、Connect、释放连接等功能。
- 消息传输：
- 短消息：使用UCX内部缓冲，速度快。
- 长消息：由BRPC提供接收缓冲区（rendezvous机制）。
- 阀值可调。
- 使用无锁队列：
- 接收时写入UcpConnection的无锁队列。
- 发送时写入UcpWorker的无锁发送队列。
- **连接管理**：
- 在关闭连接时，发送未完成的报文（可选，通常BRPC需要接收应答）。
- **EndPoint修改**：
- 原EndPoint默认识别TCP连接，现添加字段识别UCX连接，防止参数传递丢失。
- UCX地址仍然使用TCP地址格式。
- **ServerOptions调整**：
- 添加RDMA相关选项，支持指定UCX连接。
- **UCP Context**：
- 使用全局单例UCP_Context对象，支持多线程共享，开启FEATURE_AM功能。

### 3. 开发与测试
- **代码分支**：基于Curve主干分支和ucx_am分支，改动较小，模块基本独立，降低开发难度。
- **测试与性能**：已通过Curve测试，验证了UCX的可行性，取得了性能提升。

### 总结
通过对BRPC的EndPoint、ServerOptions和UcpWorker的修改，成功集成了UCX，实现了对RDMA的支持，并验证了性能提升。