1/66Bridging the Gap: Writing Portable Programs for CPU and GPU using CUDA Thomas Mejstrik Sebastian Woblistin 2/66Content 1 Motivation Audience etc.. Cuda crash course Quiz time 2 Patterns Oldschool afterwards7/66 Motivation Patterns The dark path Cuda proposal Thank you Why write programs for CPU and GPU Difference CPU/GPU Algorithms are designed differently Latency/Throughput Memory bandwidth Number of talk7/66 Motivation Patterns The dark path Cuda proposal Thank you Why write programs for CPU and GPU Difference CPU/GPU Why it makes sense? Library/Framework developers Embarrassingly parallel algorithms

编译器如何自动优化：从汇编角度看 C++ 5.C++11 起的多线程编程：从 mutex 到无锁并行 6.并行编程常用框架： OpenMP 与 Intel TBB 7.被忽视的访存优化：内存带宽与 cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， scan ，矩阵乘法等 10.存储大规模三维数据的关键：稀疏数据结构 11.物理仿真实战：邻居搜索表实现 令解码和指令缓存的压力等原因，出现加速超过 4 倍的情况。 第 1 章：化简 编译器优化：代数化简 编译器优化：常量折叠 编译器优化：举个例子 编译器优化：我毕竟不是万能的 结论：尽量避免代码复杂化，避免使用会造 成 new/delete 的容器。 简单的代码，比什么优化手段都强。 造成 new/delete 的容器：我是说，内存分配在堆上的容器 • 存储在堆上（妨碍优化）： • vector, map 简单的代码，比什么优化手段都强。 constexpr ：强迫编译器在编译期求值 结论：如果发现编译器放弃了自动优化，可以 用 constexpr 函数迫使编译器进行常量折叠！ 不过， constexpr 函数中无法使用非 constexpr 的容器： vector, map, set, string 等 …… constexpr ：强迫编译器在编译期求值（续） 发现：会让编译变得很慢，因为这 50000 次迭代是在编译期进行的。

0.1 关于本书 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0.2 如何使用本书 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 0.3 小结 . . . . . 识，在会与 不会之间反复横跳，那么本书正是为你量身定制的！ 如果你已经积累一定的刷题量，熟悉大部分题型，那么本书可助你回顾与梳理算法知识体系，仓库源代码可 以当作“刷题工具库”或“算法字典”来使用。 若你是算法“大神”，我们期待收到你的宝贵建议，或者一起参与创作。 前置条件 你需要至少具备任一语言的编程基础，能够阅读和编写简单代码。 0.1.2 内容结构 本书的主要内容如图 0‑1 本优秀的著作。 衷心感谢我的父母，正是你们一直以来的支持与鼓励，让我有机会做这件富有趣味的事。 0.2 如何使用本书 Tip 为了获得最佳的阅读体验，建议你通读本节内容。 0.2.1 行文风格约定 ‧ 标题后标注 * 的是选读章节，内容相对困难。如果你的时间有限，可以先跳过。 ‧ 专业术语会使用黑体（纸质版和 PDF 版）或添加下划线（网页版），例如数组（array）。建议记住它们， 以便阅读文献。

0.1 关于本书 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0.2 如何使用本书 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 0.3 小结 . . . . . 识，在会与 不会之间反复横跳，那么本书正是为你量身定制的！ 如果你已经积累一定的刷题量，熟悉大部分题型，那么本书可助你回顾与梳理算法知识体系，仓库源代码可 以当作“刷题工具库”或“算法字典”来使用。 若你是算法“大神”，我们期待收到你的宝贵建议，或者一起参与创作。 � 前置条件 你需要至少具备任一语言的编程基础，能够阅读和编写简单代码。 0.1.2 内容结构 本书的主要内容如图 0‑1 机会做这件富有趣味的事。 0.2 如何使用本书 � 为了获得最佳的阅读体验，建议你通读本节内容。 0.2.1 行文风格约定 ‧ 标题后标注 * 的是选读章节，内容相对困难。如果你的时间有限，可以先跳过。 ‧ 重要专有名词及其英文翻译会用「」 括号标注，例如「数组 array」 。建议记住它们，以便阅读文献。 ‧ 专有名词和有特指含义的词句会使用“引号” 标注，以避免歧义。 ‧ 重要名词、重点内容和总结性语句会

0.1. 关于本书 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0.2. 如何使用本书 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0.3. 小结 . . . . . . 识，在会与 不会之间反复横跳，那么这本书正是为您量身定制！ 如果您已经积累一定刷题量，熟悉大部分题型，那么本书可助您回顾与梳理算法知识体系，仓库源代码可以 被当作“刷题工具库”或“算法字典”来使用。 若您是算法大神，我们期待收到您的宝贵建议，或者一起参与创作。 � 前置条件 您需要至少具备任一语言的编程基础，能够阅读和编写简单代码。 0.1.2. 内容结构 本书主要内容包括： ‧ 。 0.2. 如何使用本书 � 为了获得最佳的阅读体验，建议您通读本节内容。 0. 前言 hello‑algo.com 3 0.2.1. 行文风格约定 ‧ 标题后标注 * 的是选读章节，内容相对困难。如果你的时间有限，建议可以先跳过。 ‧ 文章中的重要名词会用「」 括号标注，例如「数组 Array」 。请务必记住这些名词，包括英文翻译，以 便后续阅读文献时使用。 ‧ 加粗的文字

0.1 关于本书 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0.2 如何使用本书 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 0.3 小结 . . . . . 认识，在会与 不会之间反复横跳，那么本书正是为你量身定制的！ 如果你已经积累一定的刷题量，熟悉大部分题型，那么本书可助你回顾与梳理算法知识体系，仓库源代码可 以当作“刷题工具库”或“算法字典”来使用。 若你是算法“大神”，我们期待收到你的宝贵建议，或者一起参与创作。 前置条件 你需要至少具备任一语言的编程基础，能够阅读和编写简单代码。 0.1.2 内容结构 本书的主要内容如图 0‑1 本优秀的著作。 衷心感谢我的父母，正是你们一直以来的支持与鼓励，让我有机会做这件富有趣味的事。 0.2 如何使用本书 Tip 为了获得最佳的阅读体验，建议你通读本节内容。 0.2.1 行文风格约定 ‧ 标题后标注 * 的是选读章节，内容相对困难。如果你的时间有限，可以先跳过。 ‧ 专业术语会使用黑体（纸质版和 PDF 版）或添加下划线（网页版），例如数组（array）。建议记住它们， 以便阅读文献。

0.1 关于本书 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0.2 如何使用本书 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0.3 小结 . . . . . 识，在会与 不会之间反复横跳，那么这本书正是为您量身定制！ 如果您已经积累一定刷题量，熟悉大部分题型，那么本书可助您回顾与梳理算法知识体系，仓库源代码可以 被当作“刷题工具库”或“算法字典”来使用。 若您是算法大神，我们期待收到您的宝贵建议，或者一起参与创作。 � 前置条件 您需要至少具备任一语言的编程基础，能够阅读和编写简单代码。 0.1.2 内容结构 本书主要内容如图 0‑1 衷心感谢我的父母，正是你们一直以来的支持与鼓励，让我有机会做这件富有趣味的事。 0.2 如何使用本书 � 为了获得最佳的阅读体验，建议您通读本节内容。 第 0 章 前言 hello‑algo.com 4 0.2.1 行文风格约定 ‧ 标题后标注 * 的是选读章节，内容相对困难。如果你的时间有限，建议可以先跳过。 ‧ 专有名词和有特指含义的词句会使用“双引号” 标注，以避免歧义。 ‧ 重要专有名词及其英文翻译会用「」

编译器如何自动优化：从汇编角度看 C++ 5.C++11 起的多线程编程：从 mutex 到无锁并行 6.并行编程常用框架： OpenMP 与 Intel TBB 7.被忽视的访存优化：内存带宽与 cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， scan ，矩阵乘法等 10.存储大规模三维数据的关键：稀疏数据结构 11.物理仿真实战：邻居搜索表实现 古代： C 语言 近代： C++98 引入 STL 容器库 近现代： C++11 引入了 {} 初始化表达式 近现代： C++11 引入了 range-based for-loop 如果想使用 for_each 这个算法模板呢？ 我知道可以用 accumulate 啦！但是为了引出 lambda 表达式…… 近现代： C++11 引入了 lambda 表达式 现代： C++14 的 待稍后垃圾回收时关闭。 虽然最后还是关了，但如 果对时序有要求或对性能 有要求就不能依靠 GC 。 比如 mutex 忘记 unlock 造成死锁等等…… RAII ：离不开构造函数 • 如题，那么如何定义构造函数呢？ BV1h64y197Fd 自定义构造函数：无参数 自定义构造函数：无参数（使用初始化表达式） 为什么需要初始化表达式？ 1. 假如类成员为 const 和引用 2. 假如类成员没有无参构造函数

居住省份（如是台湾读者，请写县市）： 对侯捷的建议： -- the end 山高月小 山高月小 山高月小 山高月小 水落石出 水落石出 水落石出 水落石出 深入淺出 MFC （第㆓版 使用 Visual C++ 5.0 & MFC 4.2） Dissecting MFC （Second Edition Using Visual C++ 5.0 & MFC 4.2） 侯俊傑 著 内存， 发现该书如获至宝。数月前购买了深入浅出MFC，并利用闲暇时间翻阅学习（包括如厕 时间... ）。 我的学习曲线比较不同，我比较倾向于了解事情的因，而不是该如何做事情。比方说，「应 该使用MFC 的哪个类别」或「要改写哪个虚拟函数」，对我而言还不如「CWinApp 何时何 地调用了我的什么函数」或「CDocManager 到底做了什么」来得有趣（嗯，虽说是一样重 要啦）。这些「事情的因」在您的书中有大量详细的介绍。 了学习上的难度。 当今市面上有不少讲解C++ 和VC++ 程序设计的书籍，但C++ 书籍单纯只讲C++，从 C++ 过渡到VC++ 却是初学者的一大难关；大多数讲解VC++ 的书都将重点放在如何使用 Microsoft Developer Studio，很少有对MFC 进行深入而有系统的讲解。而将C++ 与VC++ 相联系，从C++ 的角度来剖析MFC 的运作，深入其设计原理与内部机制的书，更是凤毛

章：内存带宽 cpu-bound 与 memory-bound • 通常来说，并行只能加速计算的部分，不能加速内存读写的部分 。 • 因此，对 fill 这种没有任何计算量，纯粹只有访存的循环体，并 行没有加速效果。称为内存瓶颈（ memory-bound ）。 • 而 sine 这种内部需要泰勒展开来计算，每次迭代计算量很大的 循环体，并行才有较好的加速效果。称为计算瓶颈（ cpu- bound 计算太简单，数据量又大，并行只带来了多线程调度的额外开销 。 • 小彭老师经验公式： 1 次浮点读写 ≈ 8 次浮点加法 • 如果矢量化成功（ SSE ）： 1 次浮点读写 ≈ 32 次浮点加法 • 如果 CPU 有 4 核且矢量化成功： 1 次浮点读写 ≈ 128 次浮点加 法 常见操作所花费的时间 • 图中加法 (add) 和乘法 (mul) 都指的整数。 • 区别是浮点的乘法和加法基本是一样速度。 • funcA 用了 2 核就饱和。 • funcB 用了 4 核才饱和。 • funcC 用了 6 核才饱和。 • 结论：要想利用全部 CPU 核心，避免 mem-bound ，需要 func 里有足够的计算 量。 • 当核心数量越多， CPU 计算能力越强，相 对之下来不及从内存读写数据，从而越容 易 mem-bound 。 1 2 4 6 8 10 0 50 100 150