从汇编角度看编译器优化 by 彭于斌（ @archibate ） 往期录播： https://www.bilibili.com/video/BV1fa411r7zp 课程 PPT 和代码： https://github.com/parallel101/course 高性能并行编程与优化 - 课程大纲 • 分为前半段和后半段，前半段主要介绍现代 C++ ，后半段主要介绍并行编程与优化。 1 1.课程安排与开发环境搭建： cmake 与 git 入门 2.现代 C++ 入门：常用 STL 容器， RAII 内存管理 3.现代 C++ 进阶：模板元编程与函数式编程 4.编译器如何自动优化：从汇编角度看 C++ 5.C++11 起的多线程编程：从 mutex 到无锁并行 6.并行编程常用框架： OpenMP 与 Intel TBB 7.被忽视的访存优化：内存带宽与 cpu 缓存机制 4GB 限制外，也有一定性能优势。 8 位， 16 位， 32 位， 64 位版本 al, ax, eax, rax r15b, r15w, r15d, r15 AT&T 汇编语言 GCC 编译器所生成的汇编语言就属于这种 返回值：通过 eax 传出 movl $42, %eax 相当于： eax = 42; 前 6 个参数：分别通过 edi ， esi ， edx ， ecx ， r8d

timestep) { auto k1 = fun(time, y0); auto k2 = fun(time + timestep * 0.5, y0 + k1 * timestep * 0.5); auto k3 = fun(time + timestep * 0.5, y0 + k2 * timestep * 0.5); auto k4 = fun(time + timestep timestep, y0 + k3 * timestep); return (y0 + (k1 + 2 * k2 + 2 * k3 + k4) * timestep / 6); } double stateOut = common::math::runge_kutta4(derivFun, currTime, stateIn, dt); Usage Exampleatomosspace timestep) { auto k1 = fun(time, y0); auto k2 = fun(time + timestep * 0.5, y0 + k1 * timestep * 0.5); auto k3 = fun(time + timestep * 0.5, y0 + k2 * timestep * 0.5); auto k4 = fun(time + timestep

not throw exceptions when called If k1 == k2 ➡ hash()(k1) == hash()(k2) If k1 != k2 ➡ the probability that hash()(k1) == hash()(k2) 
 should be very small, approaching 1.0/n hash_code() const { std::size_t k1 = std::hash{}(firstName); std::size_t k2 = std::hash{}(lastName); std::size_t k3 = std::hash{}(age); } }; g>{}(firstName); std::size_t k2 = std::hash{}(lastName); std::size_t k3 = std::hash{}(age); } }; 🤔 return hash_combine(k1, k2, k3); // what algorithm is this?2024

Adventures in SIMD Thinking 5 S = s0 s1 s2 s3 s4 s5 s6 ... K = k0 k1 k2 r0 = ... r1 = s0k0 + s1k1 + s2k2 r2 = s1k0 + s2k1 + s3k2 r3 = s2k0 + s3k1 s6 ... k0 k1 k2 r2 = s0 s1 s2 s3 s4 s5 s6 ... k0 k1 k2 r3 = s0 s1 s2 s3 s4 s5 s6 ... k0 k1 k2 r4 = s0 s1 s2 s3 s4 s5 s6 ... k0 k1 k2 r5 = s0 s1 s2 s3 s4 s5 s6 ... k0 k1 k2 Convolution CppCon 2020 - Adventures in SIMD Thinking 6Copyright © 2020 Bob

sign ); const value_type a1 = a + dt / two ∗ k1; const value_type k2 = da_dt(a1 , sign ); const value_type a2 = a + dt / two ∗ k2; const value_type k3 = da_dt(a2 , sign ); const value_type a3 = a a + dt ∗ k3; const value_type k4 = da_dt(a3 , sign ); return a + dt / six ∗ (k1 + k2 + k2 + k3 + k3 + k4); }; CppCon - Vincent Reverdy - September 20th, 2024 - Aurora, Colorado, USA 14 CC0 1.0 Universal Conclusion Runge-Kutta of order 4 (RK4) Equations k1 = f(tn, yn) k2 = f � tn + h 2 , yn + h k1 2 � k3 = f � tn + h 2 , yn + h k2 2 � k4 = f(tn + h, yn + hk3) yn+1 = yn + h 6 (k1 + 2k2 + 2k3

copyDone size slots newTable K1 V1 K2 V2 K3 V3 K4 V4 Table pairs CHM copyIdx copyDone size slots newTable K1 V1 K2 V2 K3 V3 K4 V4 K5 V5 K6 V6 K7 V7 K8 V8 K1 V1 K2 V2 1.dat 2.dat 3.dat Table pairs copyDone size slots newTable K1 V1 K2 V2 K3 V3 K4 V4 Table pairs CHM copyIdx copyDone size slots newTable K1 V1 K2 V2 K3 V3 K4 V4 K5 V5 K6 V6 K7 V7 K8 V8 K1 V1 K2 V2 1.dat 2.dat 3.dat Table pairs copyDone size slots newTable K1 V1 K2 V2 K3 V3 K4 V4 Table pairs CHM copyIdx copyDone size slots newTable K1 V1 K2 V2 K3 V3 K4 V4 K5 V5 K6 V6 K7 V7 K8 V8 K1 V1 K2 V2 1.dat 2.dat 3.dat Table pairs

In Big O, we care about asymptotic analysis, when n → ∞ Thus, for example: t(n) = k1∙ n ∙ log(n) + k2 ∙ n ∈ O(n ∙ log(n)) 19 Algorithmic Complexity @ CppCon 2021 Only the dominating factor counts In Big O, we care about asymptotic analysis, when n → ∞ Thus, for example: t(n) = k1∙ n ∙ log(n) + k2 ∙ n ∈ O(n ∙ log(n)) 20Algorithmic Complexity @ CppCon 2021 Only the dominating factor counts In In Big O, we care about asymptotic analysis, when n → ∞ Thus, for example: t(n) = k1∙ n ∙ log(n) + k2 ∙ n ∈ O(n ∙ log(n)) 21 Algorithmic Complexity @ CppCon 2021 Not in this talk... 22 Notation Name

，后半段主要介绍并行编程与优化。 1.课程安排与开发环境搭建： cmake 与 git 入门 2.现代 C++ 入门：常用 STL 容器， RAII 内存管理 3.现代 C++ 进阶：模板元编程与函数式编程 4.编译器如何自动优化：从汇编角度看 C++ 5.C++11 起的多线程编程：从 mutex 到无锁并行 6.并行编程常用框架： OpenMP 与 Intel TBB 7.被忽视的访存优化：内存带宽与 cpu static_cast(ptr) 的错误 。 • 虽然作者也经常会忍不住在 zeno 中用 编译器默认生成的构造函数：无参数（小心 POD 陷阱！） • 除了我们自定义的构造函数外，编译器还会自动生成一些构造函数。 • 当一个类没有定义任何构造函数，且所有成员都有无参构造函数时，编译器会自动生成一 个无参构造函数 Pig() ，他会调用每个成员的无参构造函数。 • 但是请注意，这些类型不会被初始化为 plain-old-data ）。 • POD 的存在是出于兼容性和性能的考虑。 << 取决于内存的随机值 编译器默认生成的构造函数：无参数（ POD 陷阱解决方案） • 不过我们可以手动指定初始化 weight 为 0 。 • 通过 {} 语法指定的初始化值，会在编译器自 动生成的构造函数里执行。 编译器默认生成的构造函数：无参数（ POD 陷阱解决方案，续） • 不过我们可以手动指定初始化 weight

本书每章最后还加入了少量难度极小的习题，仅用于检验你是否能混合运用当前章节中的知识点。你 可以在这里找到习题的答案，文件夹名称为章节序号。 第 1 章迈向现代 C++ 编译环境：本书将使用 clang++ 作为唯一使用的编译器，同时总是在代码中使用 -std=c++2a 编译 标志。 > clang++ -v Apple LLVM version 10.0.1 (clang-1001.0.46.4) Target: Stroustrup • C++ 历史 • C++ 特性在 GCC/Clang 等编译器中的支持情况 • C++98 与 C99 之间的区别 11 第 2 章语言可用性的强化 第 2 章语言可用性的强化 当我们声明、定义一个变量或者常量，对代码进行流程控制、面向对象的功能、模板编程等这些都 是运行时之前，可能发生在编写代码或编译器编译代码时的行为。为此，我们通常谈及语言可用性，是 指那些发生在运行时之前的语言行为。 出现的目的是为了替代 NULL。在某种意义上来说，传统 C++ 会把 NULL、0 视为同一种东 西，这取决于编译器如何定义 NULL，有些编译器会将 NULL 定义为 ((void*)0)，有些则会直接将其定义 为 0。 C++ 不允许直接将 void * 隐式转换到其他类型。但如果编译器尝试把 NULL 定义为 ((void*)0)， 那么在下面这句代码中： char *ch = NULL;

，后半段主要介绍并行编程与优化。 1.课程安排与开发环境搭建： cmake 与 git 入门 2.现代 C++ 入门：常用 STL 容器， RAII 内存管理 3.现代 C++ 进阶：模板元编程与函数式编程 4.编译器如何自动优化：从汇编角度看 C++ 5.C++11 起的多线程编程：从 mutex 到无锁并行 6.并行编程常用框架： OpenMP 与 Intel TBB 7.被忽视的访存优化：内存带宽与 cpu 用户） CMake 3.12 及以上（跨平台作业） Git 2.x （作业上传到 GitHub ） CUDA Toolkit 10.0 以上（ GPU 专题） 关于作者 • 我是 Taichi 编译器的贡献者之一（ https://github.com/taichi-dev/taichi ） 关于作者（续） • 我是 Taichi Blend 的作者（ https://github.com/ 关于作者（再续） • 主导 Zeno 节点仿真框架的开发（ https://github.com/zenustech/zeno ） 什么是编译器 • 编译器，是一个根据源代码生成机器码的程序。 • > g++ main.cpp -o a.out • 该命令会调用编译器程序 g++ ，让他读取 main.cpp 中的字符串（称为源码），并根据 C+ + 标准生成相应的机器指令码，输出到 a.out