## RUST CHINA CONF 2023 第三届中国 Rust 开发者大会 6.17-6.18 @Shanghai ## 使用硬件加速 Tokio 演讲人：Loong.Dai, Cathy.Lu ## 😍 ## 自我介绍 

## FFmpeg在Intel GPU上的硬件加速与优化 赵军 DCG/NPG @ Intel ## 介绍FFmpeg VAAPI • Media pipeline review • 何谓FFmpeg VAAPI • 为什么我们需要FFmpeg VAAPI • 当前状态 • 更进一步的计划 · 附录 ## 典型的 media pipeline SOURCE libavformat • VLD (slice level acceleration) MPEG-2, MPEG-4 on VIA Unichrome ## • Xv/XvMC 的限制 - 不支持解码所有阶段的硬件加速 - 依赖于X-protocol协议（转码时候，你需要Xwindow吗？） - 不支持硬件编码加速 ## Linux Video API 续 一 ## • 何谓VA-API(Video license • It opens and registers a backend https://github.com/01org/libva ## • 依赖于后端驱动，可以提供Video硬件加速 • 解码 • 编码 • 图像后处理 ## 可用的后端驱动 • Intel VA(i965) driver for Intel chip-sets • Intel hybrid driver

Python 的生态环境：软件平台、硬件平台、方案合作伙伴等 ➢ 用 Python 如何开发嵌入式产品？如何实现 算法硬件加速？ 之前基于python开发的工程师很少接触嵌入式环境，接触硬件 ➢ 本次题目的主要内容 Python <- tools -> FPGA ➢ 算法硬件加速：用FPGA的逻辑硬件实现算法加速 ➢ 算法如何在FPGA中实现？如何用“与或非”门电路去写算法？ 目前哪些 硬件仿真：使用附加的硬件来替代用户系统的单片机并完成单片机全部或大部分的功能。使用了附加硬件后用户就可以对程序的运行进行控制，例如单步，全速，查看资源断点等。硬件仿真是开发过程中所必须的。 ➢ 大家对硬件加速的最初印象 不仅是嵌入式系统  ## ，利用实际的硬件环境。 常规python程序调试：开发者仍然可以用之前熟悉的环境去调试，host 可以是PC机，先把python 程序的逻辑调试成功。PYNQ 主要是做了python算子和外设的硬件加速，做了个映射的工作。 ## How to build PYNQ for user Zynq Board （客户的板子） ## • Follow the Steps: ###### https://pynq

Python 的生态环境：软件平台、硬件平台、方案合作伙伴等 ➢ 用 Python 如何开发嵌入式产品？如何实现 算法硬件加速？ 之前基于python开发的工程师很少接触嵌入式环境，接触硬件 ➢ 本次题目的主要内容 Python <- tools -> FPGA ➢ 算法硬件加速：用FPGA的逻辑硬件实现算法加速 ➢ 算法如何在FPGA中实现？如何用“与或非”门电路去写算法？ ➢ 目前哪些 硬件仿真：使用附加的硬件来替代用户系统的单片机并完成单片机全部或大部分的功能。使用了附加硬件后用户就可以对程序的运行进行控制，例如单步，全速，查看资源断点等。硬件仿真是开发过程中所必须的。 ➢ 大家对硬件加速的最初印象 不仅是嵌入式系统  ## ，利用实际的硬件环境。 常规python程序调试：开发者仍然可以用之前熟悉的环境去调试，host 可以是PC机，先把python 程序的逻辑调试成功。PYNQ 主要是做了python算子和外设的硬件加速，做了个映射的工作。 ## How to build PYNQ for user Zynq Board（客户的板子） ## • Follow the Steps: ###### https://pynq

的生态环境：软件平台、硬件平台、方案合作伙伴等 ➢ 用 Python 如何开发嵌入式产品？如何实现 算法硬件加速？ 之前基于python开发的工程师很少接触嵌入式环境，接触硬件 ➢ 本次题目的主要内容 ➢ Python <- tools -> FPGA ➢ 算法硬件加速：用FPGA的逻辑硬件实现算法加速 ➢ 算法如何在FPGA中实现？如何用“与或非”门电路去写算法？ 目前哪些 硬件仿真：使用附加的硬件来替代用户系统的单片机并完成单片机全部或大部分的功能。使用了附加硬件后用户就可以对程序的运行进行控制，例如单步，全速，查看资源断点等。硬件仿真是开发过程中所必须的。 ➢ 大家对硬件加速的最初印象 不仅是嵌入式系统  ## ，利用实际的硬件环境。 常规python程序调试：开发者仍然可以用之前熟悉的环境去调试，host 可以是PC机，先把python 程序的逻辑调试成功。PYNQ 主要是做了python算子和外设的硬件加速，做了个映射的工作。 ## How to build PYNQ for user Zynq Board （客户的板子） ## • Follow the Steps: ###### https://pynq

所有算法接口支持的数据格式遵照标准的加解密算法协议格式，整个 UADK 软件框架具有以下特点： 1. 稳定高效：支持地址共享技术，实现内存零拷贝，进行大数据量的加解密和压缩解压缩硬件加速，性能提升 10%+。 2. 硬件加速：借助 UADK 完成对硬件加速能力的加载，充分利用服务器硬件加速性能优势，实现数据加速处理。当前已经在鲲鹏服务器完成验证。 3. 内存隔离：通过设备 PASID 区分各个进程的页表，保证每个进程的页表相互隔离，从而保证内存的安全。 针对大数据应用中的数据加解密应用，提供加解密算法硬件加速功能，全面提升大数据分析中的数据加解密带宽，释放处理器的算力。 ## 应用场景 2：分布式存储应用 在分布式存储业务中，通过提供磁盘全盘加密功能和数据压缩功能，为存储业务提供全面的数据安全保障和减少数据存储空间。 ## 应用场景 3：Web Server 应用 针对 Web 应用中 HTTPS 访问中的 RSA 加密通讯，提供 RSA 算法硬件加速功能，为客户提供高性能，安全的数字化解决方案。

K(DE)、G723/G726/G729(DE)、MP1/MP2/MP3(DE)、WMA(DE)、GSM(D)、AC3(DE)、OPUS等等。 • S : ass、SRT、XSUB等等。 • 硬件加速： VDA/Videotoolbox/Audiotoolbox/VAAPI/QSV/NVENC/CUVID/OMX等等。 ## FFmpeg Device • 硬件方式：CDIO / DC1394 Seek 定位数据位置 Read/Write 读写数据 Pause/Shutdown 暂停/停止 Check 检测 ## FFmpeg KS [其他接口] • FFmpeg AVHWAccel硬件加速层: start_frame/end_frame 编码控制 decode_slice 解码控制 • FFmpeg网络层: 异步支持poll, iocp仅是提供接口框架； 同步代码内嵌支持。