Linear Algebra Coming to Standard C++

• 语言: 英语
• 格式: .pdf
• 来源: github.com/CppCon

摘要

本文介绍了将线性代数库引入标准C++的努力，特别是std::linalg库的设计与实现。该库基于C++标准库的现有功能，如parallel algorithms、mdspan和submdspan，并从BLAS（Basic Linear Algebra Subprograms）的长期历史中汲取经验。std::linalg分为多个抽象层次，从基础的多维数组与迭代到高级的统计推理和物理模拟，涵盖了从低级性能原语到高级数学问题的广泛需求。该库的目标是通过清晰的接口和可读的实现，同时封装硬件特定的优化，使开发者能够专注于算法的正确性。本文还比较了不同硬件上的性能，并提供了学习资源和联系方式。

AI总结

以下是对文档内容的简要总结：

---

### 标题：《Linear Algebra Coming to Standard C++》

#### 背景
- C++标准库目前没有内置的线性代数库，但有许多第三方库（如NVIDIA的MatX、Eigen、Armadillo）提供类似功能。
- 本文提出一种新的C++线性代数库`std::linalg`，其设计基于数十年来BLAS（Basic Linear Algebra Subprograms）和LAPACK的经验。

---

### 线性代数的分层结构
线性代数库的功能可以划分为以下几个层次：

1. **Layer -1: Fundamentals**
- 支持多维数组和迭代操作。

2. **Layer 0: Performance Primitives**
- 向量操作：点积（dot）、范数（norm）、向量求和、平面旋转。
- 矩阵-向量操作：矩阵-向量乘法、三角解、三秩外积更新。
- 矩阵-矩阵操作：矩阵乘法、三角解（多向量）、对称矩阵更新。

3. **Layer 1: Low-level Math Problems**
- 线性系统（如Ax = b）与行列式问题。
- 最小二乘问题（如min_x ||Ax - b||²）。
- 特征值与奇异值问题（如Ax = λx）。

4. **Layer 2: Higher-level Math Problems**
- 统计推断。
- 物理模拟。

---

### `std::linalg`库的设计与实现
- **目标**：提供一种高性能、符合C++ idioms的线性代数库。
- **依赖**：
- 现有C++特性：C++17的并行算法、C++23的mdspan（多维数组视图）、C++26的submdspan（数组切片）。
- 提案：mdarray、SIMD扩展等。
- **核心思想**：
- **分离关注点**：
- **硬件专家**：负责优化性能。
- **数学专家**：负责算法的正确性。
- 高效实现：通过性能优化和灵活的接口，让算法在硬件上高效运行。
- **mdspan**：用于表示矩阵和向量，类似于C++标准算法中的range。
- **并行算法**：基于C++的`transform`和`reduce`模式，提供更多优化空间。

---

### 代码示例
- 使用`mdspan`表示矩阵乘法：

  mdspan A{A_raw_pointer, m, n};
  mdspan B{B_raw_pointer, n, k};
  mdspan C{C_raw_pointer, m, n};
  matrix_product(par_unseq, scaled(alpha, A), transposed(B), scaled(beta, C), C);

---

### 性能与实现
- **性能**：
-ismaneticoiretes 탑수titleLabelentity Streams NVIDIA H100 GPU使用cuBLAS实现矩阵乘法，性能优异。
- **实现**：
- 参考实现可从GitHub（如Kokkos/stdBLAS）获取。
- NVIDIA提供免费的HPC SDK实现。

---

### 参考与联系
- 提案文档：[P1673](https://wg21.link/p1673) 和 [P1674](https://wg21.link/p1674)。
- 联系方式：作者Mark Hoemmen（[e-mail]）。

---

### 总结
`std::linalg`旨在成为C++标准库中的一款高效、规范的线性代数库，依托BLAS的历史经验，结合C++现代特性，提供一种既灵活又高性能的解决方案，适用于从底层数值计算到高层应用的广泛领域。