PROCESSOR EXTENSIONS ▶ x86 ■ 128 bits: SSE2, SSE3, SSSE3, SSE4, SSE4.1, SSE4.2 ■ 256 bits: AVX, AVX2, XOP ■ 512 bits: AVX512 and its myriad of sub-genre ARM ■ 128 bits: NEON, ASIMD ■ SVE (VLS/VLA)

median-of-seven filter • Fast small-kernel convolution • Faster (?) UTF-8 to UTF-32 conversion (with AVX2) ## • No heavy code, but lots of pictures • Thinking "vertically" ## Getting Started #include

12.2) -g -march=core-avx2 -O3 -std=gnu++20; Broadwell: Intel(R) Xeon(R) CPU E5-1650 v4 @ 3.60GHz (AVX2); Skylake: Intel(R) Xeon(R) W-2295 CPU @ 3.00GHz; Zen II: AMD EPYC 7702 64-Core ProcessorAVX2); Skylake: Intel(R) Xeon(R) W-2295 CPU @ 3.00GHz; Zen II: AMD EPYC 7702 64-Core Processor ## Possible Performance Results: CODA test case Wallclock time speedup, lower is better, <1 is an actual speedup ■ AVX2, data type double (native vector size of 4) |speedup (time $ \_{\\text{SIMD}} $ /time $ \_{\\text{scalar}}

Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA Hello TensorFlow ## 支持 AVX2 指令集的 CPUs ## • Intel • Haswell processor, Q2 2013 • Haswell E processor, Q3 2014

4 不同向量 ISA 的 DAXPY 指令数和代码大小。 80 8.5 图 5.7 中 DAXPY 的 MIPS-32 MSA 代码。83 8.6 图 5.7 中 DAXPY 的 x86-32 AVX2 代码。84 9.1 RV64I 指令示意图。87 9.2 RV64M 和 RV64A 指令示意图。87 9.3 RV64F 和 RV64D 指令示意图。88 9.4 RV64C 指令示意图。88 5的图注所述，RV32V有向量长度寄存器v1，故无需此类SIMD记账代码。传统向量架构需要额外代码处理n=0的边界情况，RV32V则让向量指令在n=0时执行空操作。 |ISA|MIPS-32 MSA|x86-32 AVX2|RV32FDV| |---|---|---|---| |指令数（静态）|22|29|13| |字节数（静态）|88|92|52| |主循环指令数|7|6|10| |主循环计算元素个数|2|4|64| 条指令递增计数器，并在需要时重复循环。 与 MIPS MSA 的情况一样，地址 3e 和 57 之间的 “边界” 代码用于处理 n 不为 4 的倍数的情况。它包含 3 条 SSE 指令。 x86-32 AVX2 DAXPY 代码的中主循环包含 6 条指令，执行 12 次双精度访存和 8 次浮点乘加操作，平均每条指令执行 2 次访存和约 1 次乘加操作。 ## ☑补充说明：Illiac IV 首次揭示 SIMD

domain-specific accelerations.| |AVX (2011):|16 256-bit fp-only registers, 128-bit lanes, 32/64-bit elements.| |AVX2 (2013):|Integer AVX version, horizontal operations, gather, 8/16/32/64-bit elements.| |LRBNI (2009):|32 manipulation.| |IMCI (2010):|32 + 8 registers, cache management, fp focus.| |AVX-512 (2015)|IMCI backport to AVX2, 32 + 8 registers, int and fp focus.| ## V ectorize what? • Historically the domain of HPC • Differential

GBProcessor must support the AVX2 instruction set if running DPDK.Worker (Agent) Nodes 2416 GB100 GBProcessor must support the AVX2 instruction set if running

vetoriais. ..... 85 8.5 Código MIPS-32 MSA para DAXPY na Figura 5.7. ..... 88 8.6 Código x86-32 AVX2 para DAXPY na Figura 5.7. ..... 89 9.1 Diagrama das instruções do RV64I. ..... 91 9.2 Diagramas de 256 bits como parte do AVX criou os registradores ymm e suas instruções. |ISA|MIPS-32 MSA|x86-32 AVX2|RV32FDV| |---|---|---|---| |Instruções (estáticas)|22|29|13| |Bytes (estática)|88|92|52| |Instruções múltiplo de 4. Ele se baseia em três instruções SSE. As 6 instruções do loop principal no código x86-32 AVX2 DAXPY fazem 12 acessos de memória de precisão dupla e 8 multiplicações e adições de ponto flutuante

ISAs vectorizados. 85 8.5 Código MIPS-32 MSA para DAXPY de la Figura 5.7. 88 8.6 Código x86-32 AVX2 para DAXPY de la Figura 5.7. 89 9.1 Diagrama de las instrucciones RV64I. 91 9.2 Diagrama de las promedio está alrededor de 1 acceso a memoria y 0.5 operaciones por instrucción. |ISA|MIPS-32 MSA|x86-32 AVX2|RV32FDV| |---|---|---|---| |Instrucciones (estáticas)|22|29|13| |Bytes (estáticos)|88|92|52| |Instrucciones Utiliza tres instrucciones SSE. Las 6 instrucciones del ciclo principal en el código DAXPY para x86-32 AVX2 ejecuta 12 accesos a memoria de precisión doble y 8 multiplicaciones y sumas de punto flotante. Promedia

명령어 개수와 코드 크기. 86 8.5 그림 5.7에 있는 DAXPY를 위한 MIPS-32 MSA 코드. 89 8.6 그림 5.7에 있는 DAXPY를 위한 x86-32 AVX2 코드. 90 9.1 RV64I 명령어 다이어그램. 93 9.2 RV64M과 RV64A 명령어 다이어그램. 93 9.3 RV64F와 RV64D 명령어 다이어그램. 94 0인 가장자리 경우를 다루기 위해 추가적인 코드가 필요하다. RV32V는 n = 0일때 벡터 명령어를 nop과 같이 동작하도록 한다. |ISA|MIPS-32 MSA|x86-32 AVX2|RV32FDV| |---|---|---|---| |Instructions (static)|22|29|11| |Bytes (static)|88|92|44| |Instructions MSA에서의 경우와 같이 e3과 57번지 사이에 있는 “가장자리(fringe)” 코드는 n 이 4의 배수가 아닌 경우를 다룬다. 세 개의 SSE 명령어로 구현되어 있다. x86-32 AVX2 DAXPY 코드에 있는 메인 순환문의 6개의 명령어는 12개 이중 정밀도 메모리 접근과 8개 부동 소수점 연산을 한다. 평균적으로 명령어 당 2번 메모리 접근과 대략 1.3번