o copy files efficiently ## • Part 2: • psutil 第1部分 ○基础的 Unix 概念 ○基础的 Socket 操作 ○高效的传输文件 ☐高效的复制文件 第2部分 ○ psutil ## UNIX concepts (oversimplified) [简单聊聊 Unix 的相关概念] ## System call / 系统调用 - 系统调用 I/O • open() • read() • write() Processes / 进程 • fork() • kill() • wait() Filesystem / 文件系统 • chmod() • mkdir() • getcwd() Communication / 通信 • pipe() • splice() • mmap() ## Kernel / 203d8521/p10_1.jpg) ## File descriptors / 文件描述符 - it's a reference to "something" (usually a file) - it can be mixed with system calls - 是对文件/套接字等资源的引用 ● 可以和系统调用连用 ## Print >>>

Curve文件系统空间分配方案（基于块的方案，已实现） - 背景 - 本地文件系统空间分配相关特性 - 局部性 - 延迟分配/Allocate-on-flush - Inline file/data - 空间分配 - 整体设计 - 空间分配流程 - 特殊情况 - 空间回收 - 小文件处理 - 并发问题 - 文件系统扩容 - 接口设计 根据CurveFS方案设计（总体设计，只实现了部分），文件系统基于当前的块进行实现，所以需要设计基于块的空间分配器，用于分配并存储文件数据。 ## 本地文件系统空间分配相关特性 局部性 尽量分配连续的磁盘空间，存储文件的数据。这一特性主要是针对HDD进行的优化，降低磁盘寻道时间。 延迟分配/Allocate-on-flush 在sync/flush之前，尽可能多的积累更多的文件数据块才进行空间分配，一方面可以提高局部性，另一方面可以降低磁盘碎片。 Inline file/data 几百字节的小文件不单独分配磁盘空间，直接把数据存放到文件的元数据中。 针对上述的本地文件系统特性，Curve文件系统分配需要着重考虑局部性。 虽然Curve是一个分布式文件系统，但是单个文件系统的容量可能会比较大，如果在空间分配时，不考虑局部性，inode中记录的extent数量很多，导致文件系统元数据量很大。 假如文件系统大小为1PiB，空间分配粒度为1MiB，

Curve文件系统元数据管理（已实现） Inode 1、设计一个分布式文件系统需要考虑的点： • 2、其他文件系统的调研总结 • 3、各内存结构体 • 4、curve文件系统的元数据内存组织 • 4.1 inode定义： • 4.2 dentry的定义： • 4.3 内存组织 5元数据分片 • 5.1 分片方式一：inode和dentry都按照parentid分片 5.1 1.1 场景分析 查找：查找/A/C。 - 创建：/A/C不在，创建/A/C - 删除文件：删除/A/C • 删除目录：删除/A - rename: rename /A/C到/B/E - symbolic link: - hardlink: 生成一个hardlink /B/E，指向文件/A/C - list: 遍历/A目录 5.1.2 好处 5.1.2 问题 • 生成一个hardlink /B/E，指向文件/A/C • 6、curve文件系统的多文件系统的设计 ## 1、 设计一个分布式文件系统需要考虑的点： 1. 文件系统的元数据是否全缓存？ 2. 元数据持久化在单独的元数据服务器上？在磁盘上？在volume上？ 3. inode+dentry方式？当前curve块存储的kv方式？ 4. 是否有单独的元数据管理服务器？ ## 2、 其他文件系统的调研总结

curvefs client 删除文件和目录功能设计 背景 相关调研 moosefs chubaofs 方案设计思考 1. Trash机制是实现1个(类似chubaofs)，还是2个（类似moosefs）？ 2. Trash 放在哪里? 3. 是否需要做 session 机制（在 metaserver 打开），来维护 inode 的打开情况？ • 方案设计 • Trash机制： ret; ## 存在两个问题： 一是删除时nlink字段未考虑： 文件的nlink用于实现hard link。hard link使用nlink字段表示文件的link的引用计数，第一次创建文件是nlink字段为1。每创建一个新的指向该文件的hard link时，nlink字段+1，每删除一个hard link或指向的原文件时，nlink字段-1。 当nlink字段减到0时，才真正删除inode 目录的nlink字段与文件的nlink字段不同，目录的nlink字段初始值为2，并且在目录下，每创建一个新目录，nlink字段也会+1，删除目录nlink相应的减1。 目录不支持硬链接。 ## 二 是删除时lookup count未考虑： lookup count 指的是文件的访问计数。当文件/目录被打开时，即使文件/目录已经被另一个进程删除了（nlink=0），该文件/目录仍然可以被打开的

curve文件系统元数据proto（代码接口定义，已实现） ## 1、 代码结构和代码目录 curve文件系统是相对于curve块设备比较独立的一块，在当前curve项目的目录下，增加一个一级目录curvefs，curvefs下有自己独立的proto\src\test。  ## 2、 文件系统proto定义 #### 2.1 mds.proto mds.proto /* * Copyright (c) 2020 NetEase Inc. * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use

元数据持久化 • 前言 • Raft Log • Raft Snapshot - 持久化文件 - key value pairs - 其他说明 实现 • 1、inode、entry 的编码 • 2、KVStore • Q&A • 单靠 redis 的 AOF 机制能否保证数据不丢失? • redis 的高可用、高可扩方案? • redis + muliraft 根据之前讨论的结果，元数据节点的架构如下图所示，这里涉及到两部分需要持久化/编码的内容： • Raft Log: 记录 operator log • Raft Snapshot：将内存中的数据结构以特定格式 dump 到文件进行持久化 copyset-2 copyset-1 ![Image](/uploads/documents/8/5/d/d/85dd03b9408f6e1cf2e67a368b5b940b/p2_1 | Raft Snapshot ## 持久化文件 |字段|字节数|说明| |---|---|---| |CURVEFS|7|magic number（常量字符 "CURVEFS"），用于标识该文件为 curvefs 元数据持久化文件| |version|4|文件版本号（当文件格式变化时，可以 100% 向兼容加载旧版持久化文件）| |size|8|键值对数量| |key\_

文本自动换行与填充 149 6.5 unicodedata --- Unicode 数据库 152 6.6 stringprep --- 因特网字符串预备 154 6.7 readline --- GNU readline 接口 155 6.7.1 初始化文件 156 6.7.2 行缓冲区 156 6.7.3 历史文件 156 6.7.4 历史列表 157 6.7.5 启动钩子 157 6.7 10.3 operator --- 标准运算符替代函数 ... 392 10.3.1 将运算符映射到函数 396 10.3.2 原地运算符 397 # 11 文件和目录访问 399 11.1 pathlib --- 面向对象的文件系统路径 399 11.1.1 基础使用 400 11.1.2 纯路径 401 11.1.3 具体路径 409 11.1.4 对应的 os 模块的工具 417 11.5 filecmp --- 文件及目录的比较 430 11.5.1 dircmp 类 431 11.6 tempfile --- 生成临时文件和目录 433 11.6.1 例子 436 11.6.2 已弃用的函数和变量 436 11.7 glob --- Unix 风格路径名模式扩展 437 11.8 fnmatch --- Unix 文件名模式匹配 438 11.9 linecache

正则表达式操作 107 6.3 difflib --- 计算差异的辅助工具 125 6.4 textwrap --- 文本自动换行与填充 136 6.5 unicodedata --- Unicode 数据库 139 6.6 stringprep --- 因特网字符串预备 141 6.7 readline --- GNU readline 接口 ... 142 6.8 rlcompleter --- GNU 359 # 11 文件和目录访问 ... 367 11.1 pathlib --- 面向对象的文件系统路径 ... 367 11.2 os.path --- 常用路径操作 ... 384 11.3 fileinput --- 迭代来自多个输入流的行 ... 389 11.4 stat --- 解析 stat() 结果 ... 391 11.5 filecmp --- 文件及目录的比较 .. 396 11.6 tempfile --- 生成临时文件和目录 ... 398 11.7 glob --- Unix 风格路径名模式扩展 ... 402 11.8 fnmatch --- Unix 文件名模式匹配 ... 403 11.9 linecache --- 随机读写文本行 ... 404 11.10 shutil --- 高阶文件操作 ... 405 # 12 数据持久化 ...

2 re—正则表达式操作 99 6.3 difflib—计算差异的辅助工具 117 6.4 textwrap—文本自动换行与填充 127 6.5 unicodeata—Unicode 数据库 131 6.6 stringprep—因特网字符串预备 132 6.7 readline—GNU readline 接口 134 6.8 rlcompleter—GNU readline 11 文件和目录访问 ..... 337 11.1 pathlib — 面向对象的文件系统路径 ..... 337 11.2 os.path — 常见路径操作 ..... 353 11.3 fileinput — 迭代来自多个输入流的行 ..... 358 11.4 stat — 解析 stat() 结果 ..... 360 11.5 filecmp — 文件及目录的比较 365 11.6 tempfile — 生成临时文件和目录 ..... 367 11.7 glob — Unix 风格路径名模式扩展 ..... 371 11.8 fnmatch — Unix 文件名模式匹配 ..... 372 11.9 linecache — 随机读写文本行 ..... 373 11.10 shutil — 高阶文件操作 ..... 374 11.11 macpath