性能优化 之 无分支编程 Branchless Programming by 彭于斌（ @archibate ） 两种代码写法：分支 vs 三目运算符 两种使用方式：排序 vs 不排序 测试结果（均为 gcc -O3 ） 测试结果可视化 图表比较：分支 vs 无分支 分支 无分支 0 0.01 0.02 0.03 耗时（越低越好） 乱序 有序 • 传统的分支方法实现的 uppercase uppercase ，对于 排序过的数据明显比乱序时高效。 • 无分支的方法对于乱序和有序的数据一样 高效，性能吊打了传统的分支方法。 • 对于传统分支的做法，为什么排序了的更 高效？既然无分支更高效，我要怎样优化 才能让我的程序变成无分支的呢？那就来 看本期性能优化专题课吧！ 分支预测成败对性能的影响 排序为什么对有分支的版本影响那么大 为什么需要流水线 • 为了高效， CPU 的内部其实是一个流水 让不占用相同资源的任务同时进行，这也是 CPU 流水线的初衷。但理想是美好的，现实 是骨感的，对于程序来说，指令不只是一个 个简单的任务，有时候我们需要做判断，来 决定要执行的具体任务，这就是分支，在汇 编语言中体现为条件跳转指令。 • 例如我们这里给任务清单加一个，如果烧开 水时被烫伤，则直接去医院的特殊任务。 • 特点：一旦触发去医院这个支线，则后面的 任务都不用做了，直接跳过。

com/parallel101/course 高性能并行编程与优化 - 课程大纲 • 分为前半段和后半段，前半段主要介绍现代 C++ ，后半段主要介绍并行编程与优化。 1.课程安排与开发环境搭建： cmake 与 git 入门 2.现代 C++ 入门：常用 STL 容器， RAII 内存管理 3.现代 C++ 进阶：模板元编程与函数式编程 4.编译器如何自动优化：从汇编角度看 C++ 5.C++11 起的多线程编程：从 英伟达家显卡（ GPU 专题） 软件要求： Visual Studio 2019 （ Windows 用户） GCC 9 及以上（ Linux 用户） CMake 3.12 及以上（跨平台作业） Git 2.x （作业上传到 GitHub ） CUDA Toolkit 10.0 以上（ GPU 专题） 为什么需要模板函数（ template ） • 避免重复写代码。 • 比如，利用重载实现“将一个数乘以 这样显然是会被他自动优化掉的。 模板的应用：编译期分支 • 更进一步，可以用 C++17 的 if constexpr 语法，保证是编译期确定的分支： • （下一讲会深入分析编译器的工作原理） 模板的难题：编译期常量的限制 • 编译期常量的限制就在于他不能通过运行时变量组成的表达式来指定。比如： • 这里在 if constexpr 的表达式里用到了运行时变量，从而无法作为编译期分支的条件。 模板的难题：编译期常量的限制（续）

运行代码示例 第一步：安装本地编程环境。请参照附录教程进行安装，如果已安装则可跳过此步骤。 第二步：下载代码仓。如果已经安装 Git ，可以通过以下命令克隆本仓库。 git clone https://github.com/krahets/hello-algo.git 当然，你也可以点击“Download ZIP”直接下载代码压缩包，然后在本地解压即可。 0. 前言 hello‑algo.com preOrder(root->left); preOrder(root->right); // 回退 path.pop_back(); } 剪枝是一个非常形象的名词。在搜索过程中，我们“剪掉”了不满足约束条件的搜索分支，避免许多无意义 的尝试，从而实现搜索效率的提高。 Figure 13‑3. 根据约束条件剪枝 13.1.3. 框架代码 接下来，我们尝试将回溯的“尝试、回退、剪枝”的主体框架提炼出来，提升代码的通用性。 ‧ 遍历选择列表 choices 时，跳过所有已被选择过的节点，即剪枝。 如下图所示，假设我们第一轮选择 1 ，第二轮选择 3 ，第三轮选择 2 ，则需要在第二轮剪掉元素 1 的分支， 在第三轮剪掉元素 1, 3 的分支。 Figure 13‑6. 全排列剪枝示例 观察上图发现，该剪枝操作将搜索空间大小从 ?(??) 降低至 ?(?!) 。 代码实现 想清楚以上信息之后，我们就可以在框架

第一步：安装本地编程环境。请参照附录所示的教程进行安装，如果已安装，则可跳过此步骤。 第二步：克隆或下载代码仓库。前往 GitHub 仓库。如果已经安装 Git ，可以通过以下命令克隆本仓库： git clone https://github.com/krahets/hello-algo.git 当然，你也可以在图 0‑4 所示的位置，点击“Download ZIP”按钮直接下载代码压缩包，然后在本地解压即 可。 第 res = fib(n - 1) + fib(n - 2); // 返回结果 f(n) return res; } 观察以上代码，我们在函数内递归调用了两个函数，这意味着从一个调用产生了两个调用分支。如图 2‑6 所 示，这样不断递归调用下去，最终将产生一棵层数为 ? 的递归树（recursion tree）。 图 2‑6 斐波那契数列的递归树 从本质上看，递归体现了“将问题分解为更小子 com 214 循环完成后，? 指向最左边的 target ，? 指向首个小于 target 的元素，因此索引 ? 就是插入点。 图 10‑6 二分查找重复元素的插入点的步骤 观察以下代码，判断分支 nums[m] > target 和 nums[m] == target 的操作相同，因此两者可以合并。 即便如此，我们仍然可以将判断条件保持展开，因为其逻辑更加清晰、可读性更好。 第 10 章

运行代码的前置工作主要分为三步。 第一步：安装本地编程环境。请参照附录教程进行安装，如果已安装则可跳过此步骤。 第二步：下载代码仓。如果已经安装 Git ，可以通过以下命令克隆本仓库。 git clone https://github.com/krahets/hello-algo.git 当然，你也可以在图 0‑4 所示的位置，点击“Download ZIP”直接下载代码压缩包，然后在本地解压即可。 第 0 章 res = fib(n - 1) + fib(n - 2); // 返回结果 f(n) return res; } 观察以上代码，我们在函数内递归调用了两个函数，这意味着从一个调用产生了两个调用分支。如图 2‑6 所 示，这样不断递归调用下去，最终将产生一个层数为 ? 的「递归树 recursion tree」。 图 2‑6 斐波那契数列的递归树 本质上看，递归体现“将问题分解为更小子问 ，? 指向首个小于 target 的元素，因此索引 ? 就是插入点。 第 10 章 搜索 hello‑algo.com 214 图 10‑6 二分查找重复元素的插入点的步骤 观察以下代码，判断分支 nums[m] > target 和 nums[m] == target 的操作相同，因此两者可以合并。 即便如此，我们仍然可以将判断条件保持展开，因为其逻辑更加清晰、可读性更好。 // ===

第一步：安装本地编程环境。请参照附录所示的教程进行安装，如果已安装，则可跳过此步骤。 第二步：克隆或下载代码仓库。前往 GitHub 仓库。如果已经安装 Git ，可以通过以下命令克隆本仓库： git clone https://github.com/krahets/hello-algo.git 当然，你也可以在图 0‑4 所示的位置，点击“Download ZIP”按钮直接下载代码压缩包，然后在本地解压即 可。 第 res = fib(n - 1) + fib(n - 2); // 返回结果 f(n) return res; } 观察以上代码，我们在函数内递归调用了两个函数，这意味着从一个调用产生了两个调用分支。如图 2‑6 所 示，这样不断递归调用下去，最终将产生一棵层数为 ? 的「递归树 recursion tree」。 图 2‑6 斐波那契数列的递归树 从本质上看，递归体现了“将问题分解为更小 com 215 循环完成后，? 指向最左边的 target ，? 指向首个小于 target 的元素，因此索引 ? 就是插入点。 图 10‑6 二分查找重复元素的插入点的步骤 观察以下代码，判断分支 nums[m] > target 和 nums[m] == target 的操作相同，因此两者可以合并。 即便如此，我们仍然可以将判断条件保持展开，因为其逻辑更加清晰、可读性更好。 第 10 章

com/parallel101/course 高性能并行编程与优化 - 课程大纲 • 分为前半段和后半段，前半段主要介绍现代 C++ ，后半段主要介绍并行编程与优化。 1.课程安排与开发环境搭建： cmake 与 git 入门 2.现代 C++ 入门：常用 STL 容器， RAII 内存管理 3.现代 C++ 进阶：模板元编程与函数式编程 4.编译器如何自动优化：从汇编角度看 C++ 5.C++11 起的多线程编程：从 英伟达家显卡（ GPU 专题） 软件要求： Visual Studio 2019 （ Windows 用户） GCC 9 及以上（ Linux 用户） CMake 3.12 及以上（跨平台作业） Git 2.x （作业上传到 GitHub ） CUDA Toolkit 10.0 以上（ GPU 专题） 第 0 章：汇编语言 x64 架构下的寄存器模型 通用寄存器： 32 位时代 • 32 位 判。如果你是自己手写 SIMD 指令 的话就要考虑一下这个。 n 总是 4 的倍数？避免边界特判 如果你能保证 n 总是 4 的倍数，也可以这样写： 编译器会发现 n % 4 = 0 ，从而不会生成边界特判的分支 。 假定指针是 16 字节对齐的： assume_aligned 如果能保证指针 a 总是对齐到 16 字节，在 GCC 编译器中这样 写： 但这样不通用，因此 C++20 引入了标准化的

第一步：安装本地编程环境。请参照附录所示的教程进行安装，如果已安装，则可跳过此步骤。 第二步：克隆或下载代码仓库。前往 GitHub 仓库。如果已经安装 Git ，可以通过以下命令克隆本仓库： git clone https://github.com/krahets/hello-algo.git 当然，你也可以在图 0‑4 所示的位置，点击“Download ZIP”按钮直接下载代码压缩包，然后在本地解压即 可。 第 res = fib(n - 1) + fib(n - 2); // 返回结果 f(n) return res; } 观察以上代码，我们在函数内递归调用了两个函数，这意味着从一个调用产生了两个调用分支。如图 2‑6 所 示，这样不断递归调用下去，最终将产生一棵层数为 ? 的递归树（recursion tree）。 图 2‑6 斐波那契数列的递归树 从本质上看，递归体现了“将问题分解为更小子 com 214 循环完成后，? 指向最左边的 target ，? 指向首个小于 target 的元素，因此索引 ? 就是插入点。 图 10‑6 二分查找重复元素的插入点的步骤 观察以下代码，判断分支 nums[m] > target 和 nums[m] == target 的操作相同，因此两者可以合并。 即便如此，我们仍然可以将判断条件保持展开，因为其逻辑更加清晰、可读性更好。 第 10 章

第一步：安裝本地程式設計環境。請參照附錄所示的教程進行安裝，如果已安裝，則可跳過此步驟。 第二步：克隆或下載程式碼倉庫。前往 GitHub 倉庫。如果已經安裝 Git ，可以透過以下命令克隆本倉庫： git clone https://github.com/krahets/hello-algo.git 當然，你也可以在圖 0‑4 所示的位置，點選“Download ZIP”按鈕直接下載程式碼壓縮包，然後在本地解壓 即可。 res = fib(n - 1) + fib(n - 2); // 返回結果 f(n) return res; } 觀察以上程式碼，我們在函式內遞迴呼叫了兩個函式，這意味著從一個呼叫產生了兩個呼叫分支。如圖 2‑6 所示，這樣不斷遞迴呼叫下去，最終將產生一棵層數為 ? 的遞迴樹（recursion tree）。 圖 2‑6 費波那契數列的遞迴樹 從本質上看，遞迴體現了“將問題分解為更小子問題”的思維範式，這種分治策略至關重要。 com 214 迴圈完成後，? 指向最左邊的 target ，? 指向首個小於 target 的元素，因此索引 ? 就是插入點。 圖 10‑6 二分搜尋重複元素的插入點的步驟 觀察以下程式碼，判斷分支 nums[m] > target 和 nums[m] == target 的操作相同，因此兩者可以合併。 即便如此，我們仍然可以將判斷條件保持展開，因為其邏輯更加清晰、可讀性更好。 第 10 章

辑核陷入内存等待时切换到另一个逻辑核上执行，避免空 转。 GPU 的解决方法就是单个 SM 执行很多个线程，然后在遇 到内存等待时，就自动切换到另一个线程） 板块内线程的同步 • 因此，我们可以给每个 if 分支后面加上 __syncthreads() 指令。 • 他的功能是，强制同步当前板块内的所有线程。也就是让所有线程 都运行到 __syncthreads() 所在位置以后，才能继续执行下去。 • 绑在一起执行的，就像 CPU 的 SIMD 那样。 因此如果出现分支（ if ）语句时，如果 32 个 cond 中有的为真有的为假，则会导致两个分 支都被执行！不过在 cond 为假的那几个线程 在真分支会避免修改寄存器和访存，产生副作 用。而为了避免会产生额外的开销。因此建议 GPU 上的 if 尽可能 32 个线程都处于同一个 分支，要么全部真要么全部假，否则实际消耗 了两倍时间！ 避免修改寄存器和访存相当于 避免修改寄存器和访存相当于 CPU 的 SIMD 指令 _mm_blendv_ps 和 _mm_store_mask_ps ，不过 GPU 这种 SIMT 的设计能够自动处理分支和循环的分歧，这是 他门槛比 CPU 低的一点。