## Go on GPU ## Changkun Ou changkun.de/s/gogpu GopherChina 2023 Session “Foundational Toolchains” 2023 June 10 ## Agenda - Basic knowledge for interacting with GPUs • Accelerate Go programs using • Conclusion and outlooks ## Agenda - Basic knowledge for interacting with GPUs o Motivation o GPU Driver and Standards Render and compute pipeline o Vulkan/Metal/DX12/OpenGL ☐ Accelerate Go programs programs using GPUs ☐ Challenges in Go when using GPUs ☐ Conclusion and outlooks ## Motivation of GPU Acceleration Improve system computation performance Increase amount of concurrency Processing large

## GPU Resource Management On JDOS 梁永清 liangyongqing1@jd.com ## 提供的服务 ## Experiment ## Training 1. 用于实验的 GPU 容器 2. 基于 Kubeflow 的机器学习训练服务 3. 模型管理和模型 Serving 服务 ## Serving 均基于容器，不对业务方直接提供 GPU 物理机 物理机 ## GPU 实验 JDOS 常规的容器服务， 使用 gpu 的 zone，自行设定相应的镜像即可， 有完善的周边服务 我的系统  三一键编译  public/tensor/now.1.4.1-ueve-gpu-vi  public/tensorflow:1.7.0-devel-gpu-py3-v1 ![Image](/uploads/documents/8/

CPU and GPU ## THOMAS MEJSTRIK ## DIMETOR  FWF ## Bridging the Gap: Writing Portable Programs for CPU and GPU using CUDA ROCm, Vulkan, ... ☐ You can tell me about afterwards ## Why write programs for CPU and GPU ## ☐ Difference CPU/GPU Algorithms are designed differently ☐ Latency/Throughput ☐ Memory bandwidth ☐ Number Problem ☐ Why it makes sense? ☐ Scope of the talk ## Why write programs for CPU and GPU ## ☐ Difference CPU/GPU ☐ Why it makes sense? Library/Framework developers ☐ Embarrassingly parallel algorithms

## FFmpeg在Intel GPU上的硬件加速与优化 赵军 DCG/NPG @ Intel ## 介绍FFmpeg VAAPI • Media pipeline review • 何谓FFmpeg VAAPI • 为什么我们需要FFmpeg VAAPI • 当前状态 • 更进一步的计划 · 附录 ## 典型的 media pipeline SOURCE libavformat radeon, nouveau (?), freedreno, … • 废弃的 API bridges • vdpau—va bridge • powervr—va bridge ## I ntel GPU简介 ## • Gfx Label • Gen3: Pinetrail (Pineview) • Gen4: G965 • Gen5: G4X, Ironlake (Piketon, Calpella) OpenGL） ## I ntel GPU media 硬件编程模型 GPU  ## FFmpeg & Intel GPU加速方案 - FFmpeg 作为最流行的开源多媒体框架; 集成Intel的GPU的硬件加速能为用户带来更多收益

## PyTorch ## 激活函数与GPU加速 主讲人：龙良曲    ## GPU accelerated ## ☐ ☐ ☐ device = torch.device('cuda:0') net = MLP().to(device) optimizer =

## CUDA 开启的 GPU 编程 by 彭于斌 (@archibate) 往期录播：https://www.bilibili.com/video/BV1fa411r7zp 课程 PPT 和代码：https://github.com/parallel101/course ## 前置条件 • 学过 C/C++ 语言编程。 - 理解 malloc/free 之类的概念。 • 熟悉 STL ## 编写一段在 GPU 上运行的代码 - 定义函数 kernel，前面加上 ___ global___ 修饰符，即可让他在 GPU 上执行。 - 不过调用 kernel 时，不能直接 kernel()，而是要用 kernel<<1, 1>>() 这样的三重尖括号语法。为什么？这里面的两个 1 有什么用？稍后会说明。 • 运行以后，就会在 GPU 上执行 printf kernel 函数在 GPU 上执行，称为核函数，用 ___ global___ 修饰的就是核函数。  ## 没有反应？同步一下！ - 然而如果直接编译运行刚刚那段代码，是不会打印出Hello, world! 的。 这是因为 GPU 和 CPU 之间的通信，为了高效，是异步的。也就是

## +21 ## An Editor Can Do That? Debugging Assembly Language and GPU Kernels in Visual Studio Code JULIA REID 20 21 October 24-29 ## Welcome to CppCon 2021! ### Join #visual_studio channel on CppCon support 3. ARM and ARM64 support (Raspberry Pi, Surface Pro X, Apple Silicon) 4. CUDA IntelliSense and GPU debugging ## V isual Studio Code ## What's new? 1. GitHub Codespaces (coding from your browser support 3. ARM and ARM64 support (Raspberry Pi, Surface Pro X, Apple Silicon) 4. CUDA IntelliSense and GPU debugging 5. Disassembly View while debugging Preview! ## V isual Studio Code ![Image](/uploads/

ents/7/1/6/5/71656c39f0055537d7f9feafcf0f03f1/p11_2.jpg) PYTHON 30th ## 2 了解你的资源 cpu/内存/io/gpu ## GPU为什么“快”？  ## 计算力对比 f03f1/p13_3.jpg) ## 摩尔定律的限制 • “集成电路上可容纳的晶体管数目，约每十八个月便会增加一倍” ## CPU更多用在了Cache(L1/L2/L3)和Control GPU绝大部分用来在了ALU计算单元  /p14_3.jpg)  ## GPU特性 · SIMD · 显存分级 · 异构&异步 ![Image](/uploads/documents/7/1/6/5/71656c39f0055537d7f9feafcf0f03f1/p15_2

C++ 5. C++11 起的多线程编程：从 mutex 到无锁并行 6. 并行编程常用框架：OpenMP 与 Intel TBB 7. 被忽视的访存优化：内存带宽与 cpu 缓存机制 8. GPU 专题：wrap 调度，共享内存，barrier 9. 并行算法实战：reduce，scan，矩阵乘法等 10. 存储大规模三维数据的关键：稀疏数据结构 11. 物理仿真实战：邻居搜索表实现 pbf 至少 2 核 4 线程（并行课...） 英伟达家显卡（GPU 专题） 软件要求： Visual Studio 2019 ( Windows 用户 ) GCC 9 及以上（Linux 用户） CMake 3.12 及以上（跨平台作业） Git 2.x（作业上传到 GitHub） CUDA Toolkit 10.0 以上（GPU 专题） ## I ❤️ C ## 关于作者 ![Im

space) Control Group (Cpu, Memory, IO) Namespaces (pid, net, ipc, mnt, uts) CPU System RAM GPU Disk SCI (System Call Interface) (Kernel) Networking Infrastructure ## Container VS VM (Virtual Containerized Applications libs/bins Hypervisor Operating System Operating System CPU System RAM GPU Disk Networking ## Container Image 用来将需要容器化的应用程序及其环境进行打包后存储的镜像。 - 通常会有一个 Image 管理仓库来存储 Image。 while (tid < N) { c[tid] = a[tid] + b[tid]; tid += 2; } } ## 深度学习对于并行化硬件的依赖 - GPU ## • Core 的多少往往决定真正并行化运算的数量 TESLA M60 FEATURES AND BENEFITS > Two high-end NVIDIA Maxwell $ ^{TM}