PFS+SPDK 的DMA支持 .ssize_t pfs_writev_dma(int fd, const struct iovec *iov, int iovcnt, off_t offset) .ssize_t pfs_preadv_dma(int fd, const struct iovec *iov, int iovcnt, off_t offset); ·直接DMA读写，要求的内存必须是DPDK的hugetlb内存 ·必须符合NVME内存读写地址对齐要求 offset 512对齐 ·为零copy提供接口 ## BRPC IOBuf DMA ·修改BRPC，允许使用dpdk内存作为IOBuf的内存分配器 ·BRPC接收到的数据在IOBuf中，IOBuf直接使用于NVME DMA传输 ·使用IOBuf内存读nvme，避免自己写PRP页面对齐内存分配代码 ## pfs_pwrite_zero 在 ·对于只支持PRP的nvme，可以开启读数据零copy功能 ·对于支持SGL的nvme，可以同时开启读、写零copy功能 ·RDMA模块当前还未完成修改，需要修改ucx内存分配，使用dpdk内存，才可以完成DMA写NVME ## PFS DMA 总体架构  ## TCP也可以部分零copy

809/p41_1.jpg) ## Identifying Dynamic Memory Allocation ## Dynamic Memory Allocation Identifying DMA cppreference.com |Page|Discussion|| |---|---|---| |C++|Containers library|std::vector| ## std::vector Memory Allocation Identifying DMA std::vector std::map std::set std::string std::unique_ptr std::shared_ptr std::function std::any Dynamic Memory Allocation Identifying DMA void Log(const std::string& main() { Log("some static string constant"); } ## Dynamic Memory Allocation Identifying DMA Hoping humans do the right thing is error-prone and almost never works, so leverage tools Static

例如，进行磁盘操作时，为了提高性能，可能会使用 DMA 方式进行操作。CPU 向 DMA 控制器发出指令，要求外设和内存直接交换数据，而不通过 CPU。然后，CPU 转去进行起他的操作；当数据交换结束时，CPU 可能需要进行一些后续操作，但此时它如何才能知道 DMA 已经完成了操作呢？ 很显然不是依靠 CPU 去查询状态——这样 DMA 的优势就不明显了。为了尽可能地利用 DMA 的优势，在完成 DMA 操作的时候，DMA 会告诉 CPU

ovs-vswitchd[3595]: PMD: ixgbe_dev_tx_queue_setup(): sw_ring=0x7f211a79ebc0 hw_ring=0x7f211a7a6c00 dma_addr=0x81a7a6c00 ovs-vswitchd[3595]: PMD: ixgbe_set_tx_function(): Using simple tx code path ovs-vswitchd[3595]: ixgbe_dev_rx_queue_setup(): sw_ring=0x7f211a78a6c0 sw_sc_ring=0x7f211a786580 hw_ring=0x7f211a78e800 dma_addr=0x81a78e800 ovs-vswitchd[3595]: PMD: ixgbe_set_rx_function(): Vector rx enabled, please make ovs-vswitchd[3595]: PMD: ixgbe_dev_tx_queue_setup(): sw_ring=0x7f211a79ebc0 hw_ring=0x7f211a7a6c00 dma_addr=0x81a7a6c00 ovs-vswitchd[3595]: PMD: ixgbe_set_tx_function(): Using simple tx code path ovs-vswitchd[3595]:

recognize the disc, try just running the option Detect and mount installation media a second time. Some DMA related issues with very old CD-ROM drives are known to be resolved in this way. If this does not modern CD writer. • Some very old CD-ROM drives do not work correctly if “direct memory access” (DMA) is enabled for them. ##### 5.4.1.2 How to investigate and maybe solve issues If the optical disc messages after that command. • Check if DMA is currently enabled: $ cd /proc/ide/hdc $ grep using_dma settings using_dma 1 0 1 rw A “1” in the first column after using_dma means it is enabled. If it is, try

有弄脏。 - 如果安装程序无法识别光盘，那么再次尝试运行 Detect and mount installation media（检测并挂载安装介质）选项。有些非常老的 CD-ROM 驱动器的 DMA 相关问题可以用这种方法解决。 如果还无法工作，那么尝试下一节建议的方法。多数情况下，但非全部，那里的建议适用于 CD-ROM 和 DVD。 如果您用光盘无法安装，尝试其它可用的安装方法。 ##### ##### 5.4.1.1 常见问题 • 有些较老的 CD-ROM 驱动器不支持读取现代的 CD 刻录机以高速刻录的光盘。 • 如果启用 “direct memory access”（DMA），那么一些非常老的 CD-ROM 驱动器会无法正常工作。 ##### 5.4.1.2 如何调查研究或许可以解决问题 如果从光盘引导失败，那么尝试下面所列的建议。 - 检查您的 BIOS/UEFI 真正 检查命令后面是否有什么错误消息。 • 检查当前 DMA 是否已经启用： $ cd /proc/ide/hdc $ grep using_dma settings using_dma 1 0 1 rw using_dma 之后第一列的 “1” 意味着将其启用。如果是这样，那么尝试将其禁止： $ echo -n "using_dma:0" >settings 确保您处在与光盘驱动器对应设备的目录中。

CD-ROM 没有引导，检查一下它是否放好，并且没有弄脏。 - 如果安装程序无法识别 CD-ROM，再次运行 Detect and mount CD-ROM 选项。有些非常老的 CD-ROM 驱动器 DMA 相关的问题可以用这种方法解决。 如果还无法工作，试试下一节建议的方法。多数情况下，但非全部，那里的建议适用于 CD-ROM 和 DVD，为了方便，只提到 CD-ROM。 如果您用 CD-ROM 4.1.1 常见问题 • 有些老 CD-ROM 驱动器不能读取新 CD 刻录机的高速模式下刻录的光盘。 • 一些非常老的 CD-ROM 驱动器在 “direct memory access” (DMA) 下无法正常工作。 ##### 5.4.1.2 如何调查研究或许可以解决问题 如果从 CD-ROM 引导失败，试试下面所列的建议。 - 检查您的 BIOS 的确支持从 CD-ROM 启动 (仅有个别非常老的系统不行)，并且 /cdrom 检查命令后面是否有什么错误信息。 • 确认当前 DMA 已经打开： $ cd /proc/ide/hdc $ grep dma settings using_dma 1 0 1 rw using_dma 之后的第一列 “1” 意味着打开。如果是这样，将其关闭： $ echo -n "using_dma:0" >settings 确保您所处的目录对应 CD-ROM

有弄脏。 - 如果安装程序无法识别光盘，那么再次尝试运行 Detect and mount installation media（检测并挂载安装介质）选项。有些非常老的 CD-ROM 驱动器的 DMA 相关问题可以用这种方法解决。 如果还无法工作，那么尝试下一节建议的方法。多数情况下，但非全部，那里的建议适用于 CD-ROM 和 DVD。 如果您用光盘无法安装，尝试其它可用的安装方法。 ##### ##### 5.4.1.1 常见问题 • 有些较老的 CD-ROM 驱动器不支持读取现代的 CD 刻录机以高速刻录的光盘。 • 如果启用 “direct memory access”（DMA），那么一些非常老的 CD-ROM 驱动器会无法正常工作。 ##### 5.4.1.2 如何调查研究或许可以解决问题 如果从光盘引导失败，那么尝试下面所列的建议。 - 检查您的 BIOS/UEFI 真正支 检查命令后面是否有什么错误消息。 • 检查当前 DMA 是否已经启用： $ cd /proc/ide/hdc $ grep using_dma settings using_dma 1 0 1 rw using_dma 之后第一列的 “1” 意味着将其启用。如果是这样，那么尝试将其禁止： $ echo -n "using_dma:0" >settings 确保您处在与光盘驱动器对应设备的目录中。

有弄脏。 - 如果安装程序无法识别光盘，那么再次尝试运行 Detect and mount installation media（检测并挂载安装介质）选项。有些非常老的 CD-ROM 驱动器的 DMA 相关问题可以用这种方法解决。 如果还无法工作，那么尝试下一节建议的方法。多数情况下，但非全部，那里的建议适用于 CD-ROM 和 DVD。 如果您用光盘无法安装，尝试其它可用的安装方法。 ##### ##### 5.4.1.1 常见问题 • 有些较老的 CD-ROM 驱动器不支持读取现代的 CD 刻录机以高速刻录的光盘。 • 如果启用 “direct memory access”（DMA），那么一些非常老的 CD-ROM 驱动器会无法正常工作。 ##### 5.4.1.2 如何调查研究或许可以解决问题 如果从光盘引导失败，那么尝试下面所列的建议。 - 检查您的 BIOS/UEFI 真正 检查命令后面是否有什么错误消息。 • 检查当前 DMA 是否已经启用： $ cd /proc/ide/hdc $ grep using_dma settings using_dma 1 0 1 rw using_dma 之后第一列的 “1” 意味着将其启用。如果是这样，那么尝试将其禁止： $ echo -n "using_dma:0" >settings 确保您处在与光盘驱动器对应设备的目录中。

有弄脏。 - 如果安装程序无法识别光盘，那么再次尝试运行 Detect and mount installation media（检测并挂载安装介质）选项。有些非常老的 CD-ROM 驱动器的 DMA 相关问题可以用这种方法解决。 如果还无法工作，那么尝试下一节建议的方法。多数情况下，但非全部，那里的建议适用于 CD-ROM 和 DVD。 如果您用光盘无法安装，尝试其它可用的安装方法。 ##### ##### 5.4.1.1 常见问题 • 有些较老的 CD-ROM 驱动器不支持读取现代的 CD 刻录机以高速刻录的光盘。 • 如果启用 “direct memory access”（DMA），那么一些非常老的 CD-ROM 驱动器会无法正常工作。 ##### 5.4.1.2 如何调查研究或许可以解决问题 如果从光盘引导失败，那么尝试下面所列的建议。 - 检查您的 BIOS/UEFI 真正 检查命令后面是否有什么错误消息。 • 检查当前 DMA 是否已经启用： $ cd /proc/ide/hdc $ grep using_dma settings using_dma 1 0 1 rw using_dma 之后第一列的 “1” 意味着将其启用。如果是这样，那么尝试将其禁止： $ echo -n "using_dma:0" >settings 确保您处在与光盘驱动器对应设备的目录中。