## ADVANCED SIMD ALGORITHMS IN PICTURES Denis Yaroshevskiy ## THIS TALK • tinyurl.com/dycppcon2023 memcmp • copy_if • set intersection MEMCMP ## std::memcmp ## std::memcmp  ## EVE LIBRARY • github • Joel Falcou, Jean-Thierry Lapresté, Denis Yaroshevskiy • SIMD in C++20: EVE of a new Era • eve::algo::mismatch MEMCMP RESULTS, X86 name : mismatch | size : 10000 d/p25_1.jpg) ## COMPARE WITH PROPOSAL |eve|p1928(r6)| |---|---| |wide|std::SIMD| |load|.copy\_from| |logical|std::SIMD\_MASK| |!=|!=| first_true any_of + reduce_min_index COPY IF # the notion of "compress"

## Adventures in SIMD Thinking (Part 2 of 2) Bob Steagall CppCon 2020 ## KEWB COMPUTING ## Agenda • Learn a little about Intel's SIMD facilities (disclaimer: I don't work for Intel) • Create Create some useful functions in terms of AVX-512 intrinsics • Try some SIMD-style thinking to tackle some interesting problems • Intra-register sorting • Fast linear median-of-seven filter • Fast small-kernel

## Adventures in SIMD Thinking (Part 1 of 2) Bob Steagall CppCon 2020 ## KEWB COMPUTING ## Agenda • Learn a little about Intel's SIMD facilities (disclaimer: I don't work for Intel) • Create Create some useful functions in terms of AVX-512 intrinsics • Try some SIMD-style thinking to tackle some interesting problems • Intra-register sorting • Fast linear median-of-seven filter • Fast small-kernel #undef _OPTIMIZE #define KEWB_FORCE_INLINE #endif namespace simd { using rf_512 = __m512; using ri_512 = __m512i; using msk_512 = uint32_t; ... }

+24 ## V ectorizing a CFD Code With `std::simd` Supplemented by (Almost) Transparent Loading and Storing OLAF KRZIKALLA ## VECTORIZING A CFD CODE WITH STD::SIMD SUPPLEMENTED BY (ALMOST) TRANSPARENT LOADING vectorized code ## The talk: ■ share experience with vectorization using std::�md ■ introduce the SIMD_ACCESS library Nowadays, all your CPUs can compute four times faster $$ \begin{aligned}&\be multiple set of operands at once → Single Instruction Multiple Data (SIMD) For more details Matthias Kretz' Cppcon talk about std::simd: https://youtu.be/LAJ_hywLtMA ## Background: Vectorization void

differ depending upon the target machine architecture. • Features may be hardware: CPU architecture, SIMD instruction set, DMA controller, GPIO module, etc. • Features may be software: OS, graphics API, Directory and File Structure ## Flat plt/��Simd.h Neon32.h Sse.h Sse2.h plt/math Quat.h Quat_Common.h Quat_Neon32.h Quat_Sse.h Quat_Sse2.h ## Deep plt/��Simd.h Neon32.h Sse.h Sse2.h plt/math series of preprocessor macros handles generating the header file name to load • Example: INCLUDE SIMD (Quat) becomes: "Quat SSE2.h" ## Header Inclusion Macros #define INCLUDE_PLT(Feature, File)

_2.jpg) ## 为什么需要 SIMD？单个指令处理四个数据 - 这种单个指令处理多个数据的技术称为 SIMD（single-instruction multiple-data）。 - 他可以大大增加计算密集型程序的吞吐量。 - 因为 SIMD 把 4 个 float 打包到一个 xmm 寄存器里同时运算，很像数学中矢量的逐元素加法。因此 SIMD 又被称为矢量，而原始的一次只能处理 1 - 在一定条件下，编译器能够把一个处理标量 float 的代码，转换成一个利用 SIMD 指令的，处理矢量 float 的代码，从而增强你程序的吞吐能力！ - 通常认为利用同时处理 4 个 float 的 SIMD 指令可以加速 4 倍。但是如果你的算法不适合 SIMD，则可能加速达不到 4 倍；也有因为 SIMD 让访问内存更有规律，节约了指令解码和指令缓存的压力等原因，出现加速超过 4 倍的情况。 cfi_startproc # main.cpp:2: a[0] = 123; movl $123, (%rdi) #, *a_2(D) ## 第 4 章：矢量化 ## 更宽的合并写入：矢量化指令（SIMD） 两个 int32 可以合并为一个 int64 四个 int32 可以合并为一个 m128 $$ \text{void func(int} *a) \{ \begin{array}{r}

向量运算的条件执行.....79 8.7 其他向量指令.....79 8.8 例子：用 RV32V 写成的 DAXPY 程序.....80 8.9 RV32V，MIPS-32 MSA SIMD 和 x86-32 AVX SIMD 的比较.....81 8.10 结束语 ..... 83 8.11 扩展阅读 ..... 84 第九章 RV64: 64 位地址指令 ..... 87 9.1 导言 113 11.5 “L”标准扩展：十进制浮点 ..... 113 11.6 “N”标准扩展：用户态中断 ..... 113 11.7 “P”标准扩展：封装的单指令多数据（Packed-SIMD）指令 ..... 114 11.8 “Q”标准扩展：四精度浮点 ..... 114 11.9 结束语 ..... 114 附录 A RISC-V 指令列表 ..... 115 ## 对这本 2017]，这意味着x86指令的增长速率提高到了（在1978年到2015年之内）每四天增长一条。我们是用汇编语言指令计算的，他们想必算入了机器语言指令。正如第八章所解释的那样，这个增长的很大一部分是因为x86 ISA依赖于SIMD指令来实现数据级并行。 The AL register is the default source and destination. If the low 4-bits of AL register

Diversas 81 8.8 Exemplo de Vetores: DAXPY em RV32V 82 8.9 Comparando RV32V, MIPS-32 MSA SIMD e x86-32 AVX SIMD 84 8.10 Considerações Finais 85 8.11 Para Saber Mais 87 9 RV64: Instruções de Endereço Interrupções a Nível de Usuário ..... 125 11.7 "P" Extensão Padrão para Instruções Packed-SIMD ..... 125 11.8 "Q" Extensão Padrão para Ponto Flutuante de Precisão Quádrupla ..... 125 Como o Capítulo 8 explica, uma grande parte do crescimento é porque a ISA x86 baseia-se em instruções SIMD para o paralelismo em nível de dados. O registrador AL é a origem e o destino padrão. Se os 4 bits

76 8.7 其他向量指令 ..... 77 8.8 示例：用 RV32V 编写 DAXPY 程序 ..... 78 8.9 对比 RV32V、MIPS-32 MSA SIMD 和 x86-32 AVX SIMD ..... 79 8.10 结语 ..... 81 8.11 扩展阅读 ..... 82 9 RV64：64 位地址指令 ..... 86 9.1 导言 ... 4 “J”标准扩展：动态翻译语言 ..... 118 11.5 “L”标准扩展：十进制浮点 …… 119 11.6 “N”标准扩展：用户态中断 …… 119 11.7 “P”标准扩展：紧缩 SIMD 指令 …… 119 11.8 “Q”标准扩展：四倍精度浮点 …… 119 11.9 结语 …… 119 A RISC-V 指令列表 …… 122 B 把 RISC-V 2017]，按这个数据，在 1978 到 2015 年期间，x86 指令平均每 4 天增长 1 条。我们统计的是汇编语言指令，他们统计的也许是机器语言指令。正如第 8 章所介绍，增长的主要原因是 x86 ISA 通过 SIMD 指令实现数据级并行。 AL 寄存器是默认的源寄存器和目的寄存器。 If AL 寄存器的低 4 位大于 9， 或辅助进位标志 AF 为 1， Then AL 的低 4 位加 6 且忽略溢出

Misceláneas 82 8.8 Ejemplo Vectorizado: DAXPY en RV32V 83 8.9 Comparando RV32V, MIPS-32 MSA SIMD y x86-32 AVX SIMD 84 8.10 Observaciones Finales 86 8.11 Para Aprender Más 87 9 RV64: Instrucciones en el capítulo 8, la mayor parte del crecimiento se debe a que el ISA del x86 utiliza instrucciones SIMD (Single Instruction Multiple Data: Una Instrucción, Múltiples Datos) para paralelismo a nivel de datos comparación con las innumerables instrucciones SIMD de ARM-32, MIPS-32 y x86-32. En efecto, cientos de las instrucciones agregadas a x86-32 en la Figura 1.2 eran SIMD y cientos más vendrán. RV32V es aun más simple