Multi Producer, Multi Consumer, Lock Free, Atomic Queue

• 语言: 英语
• 格式: .pdf
• 来源: github.com/CppCon

摘要

文档介绍了一种无锁的多生产者多消费者（MPMC）队列，其设计目标是低延迟、高性能且无需系统调用。该队列使用原子操作确保线程安全，支持在多个CPU核心上的多生产者和多消费者协作。队列容量固定，避免运行时内存分配，适用于简单数据类型的传输。作者通过多种配置下的性能测试展示了队列在不同数据宽度、生产者和消费者数量下的吞吐量。该队列适用于需要严格延迟控制的场景，如交易平台，并提供了用于不同数据类型的具体实现示例，包括简单值和复杂结构的数据记录。

AI总结

### 总结

**《Multi Producer, Multi Consumer, Lock Free, Atomic Queue》**

该文档介绍了一种高性能、无锁的多生产者多消费者（MPMC）队列设计，适用于对延迟敏感的场景，如交易平台。以下是核心内容的总结：

#### **队列特性**
1. **无锁设计**：通过原子操作实现，无需与操作系统调度器交互，确保了低延迟和高吞吐量。
2. **多生产者和多消费者支持**：能够在多个CPU核心上同时处理生产者和消费者线程。
3. **内存管理**：初始化时固定分配内存，避免运行时内存分配。
4. **数据传输**：支持简单数据类型和固定大小数据（最多12字节），以及通过`std::unique_ptr`传递较大数据。
5. **非阻塞操作**：在队列已满或为空时，直接返回状态，无需系统调用。

#### **设计与实现**
1. **原子操作与硬件支持**：利用C++原子操作和硬件的原子指令，确保操作的原子性。
2. **队列分类**：
- 生产者和消费者数量：SPSC、SPMC、MPSC、MPMC。
- 容量：固定或动态分配。
- 序列化：严格全局顺序或放松每生产者顺序。
- API：单项或多项操作，原子性支持。
- 消息大小：固定或动态。
3. **实现细节**：通过数组实现队列，使用索引管理入队和出队操作。

#### **性能测试**
1. **带宽性能**：
- 测试数据大小为4字节，单生产者单消费者场景下，每秒推送和弹出操作达到约8500万次。
- 多生产者多消费者场景下，推送和弹出操作依然保持在约700万次以上。
2. **低延迟**：队列设计优化了延迟，确保单个消息的最坏情况延迟接近平均延迟。

#### **用例**
1. **简单类型传输**：通过内置队列类型传递简单数据，如整数。

   es::lockfree::mpmc_queue q{32};
   // 生产者和消费者通过push和pop操作交换数据。

2. **复杂数据传输**：使用`std::unique_ptr`传递较大数据，例如包含64个`uint64_t`的数据记录。

   struct DataRecord { std::array _sample; };
   using queue_type = es::lockfree::pointer_mpmc_queue;
   // 生产者和消费者通过std::unique_ptr传递DataRecord对象。

#### **总结**
这是一种高效、无锁的MPMC队列，专为低延迟和高吞吐量设计，适用于多核心环境下的数据交换场景。通过原子操作和固定内存分配，确保了性能和可靠性。