© XXX Page 1 of 11 CurveFS Client 概要设计（已实现）© XXX Page 2 of 11 背景 概述 关键接口分析 init destroy lookup write read open create & mknod mkdir forget unlink rmdir opendir readdir getattr & setattr access rename 作者 内容 2021-04-27 许超杰 初稿 背景 CurveFS初步设计见 ， 目前需细化Client端设计 CurveFS方案设计（总体设计，只实现了部分） 概述 CurveFS client 向上提供两层接口，分别是© XXX Page 3 of 11 对接fuse，提供通用文件系统接口。对于fuse接口，先前进行了一些调研，见FUSE调研 erblock），块分配器（bitmap）和root inode所在的copyset、 metaserver ip等信息 去metaserver获取文件系统信息（super block），缓存到client端。 destroy void (*destroy) (void *userdata); 清理init缓存的文件系统信息。 lookup void (*lookup) (fuse_req_t

URVE基本架构 01 02 03 04 Client总体介绍 热升级NEBD总体介绍 新版本Client/NEBD性能优化CURVE基本架构 • 元数据节点 MDS • 管理和存储元数据信息 • 感知集群状态，合理调度 • 数据节点 Chunkserver • 数据存储 • 副本一致性，raft • 客户端 Client • 对元数据增删改查 • 对数据增删改查 • • 快照克隆服务器CURVE基本架构 01 02 03 04 Client总体介绍 热升级NEBD总体介绍 新版本Client/NEBD性能优化 QEMU、Curve-NBD：上层应用  通过链接curve-client使用curve提供的服务  FileManager：提供接口，记录已挂载卷  FileInstance：对应一个已挂载的卷  LeaseExecuto 行通信  前者负责IO请求  后者负责获取复制组(copyset)的leader  MDSClient：负责与MDS交互，挂卸载卷、获取元数据信息 CLIENT整体架构QEMU： 实现了QEMU block与Client的对接层 向cinder/glance提供了Python API https://github.com/opencurve/curve-qemu-block-driver

© XXX Page 1 of 15 curvefs client 删除文件和目录功能设计© XXX Page 2 of 15 背景 相关调研 moosefs chubaofs 方案设计思考 1.Trash机制是实现1个(类似chubaofs)，还是2个（类似moosefs）？ 2. Trash放在哪里？ 3. 是否需要做session机制（在metaserver打开），来维护inode的打开情况？ 的打开情况？ 方案设计 Trash机制： Session机制： 遗留问题 工作量评估 背景 目前curvefs client版本对删除unlink和rmdir的设计只有简单的删除inode和dentry结构，遗留了nlink和lookup count相关的内容还未实现，是不完备的。本文首先调研moosefs，chubaofs等分布式系统，参考并设计解决上述遗留问题。 当前删除接口代码如下：© count需要减nlookup（forget的参数） 当umount时，所有lookup count减至0 不应该完全依赖forget接口去实现inode的移除，因为forget接口可能不会被内核调用（例如client崩溃） 相关调研 moosefs moosefs 未对接forget moosefs 实现了在mds上open，因此删除时可以判断文件是否被打开 moosefs使用了两种机制，来实现上述功

13.客户端Client的编程实现 主 讲 人 ： 古 月 话题模型 创建功能包 创建客户端代码（C++） • • • • turtle_spawn.cpp 配置客户端代码编译规则 • • CMakeLists.txt 编译并运行客户端 创建客户端代码（Python） turtle_spawn.py • • • • 感谢观看 怕什么真理无穷，进一寸有一寸的欢喜

贝复用，提升跨主机和设备业务通讯性能。 • MPAM 增强：支持外部接口自定义配置分区 rmid，支持 MPAM 设备节点通过 device tree 配置启动，可用于虚拟化 等场景。 • TCP 压缩特性：hbase 等分布式数据库节点间数据传输量大，网络传输是性能瓶颈；在 TCP 层对指定端口的数据进 行压缩后再传输，收包侧把数据解压后再传给用户态，从而提升分布式场景节点间数据传输的效率。 • 支持 SGX Master systemd Kubelet iSulad Shim v2 client Containerd-kata- shim-v2 grpc ttrpc StratoVirt Export c interface Lib shim v2 Pod Sandbox vsock CRI client CRI server runtime kata-agent Guest kernel

OpenAMP混合部署模式 • 分布式软总线，欧拉/鸿蒙设备互通 云计算 边缘计算 openEuler SDK openEuler DevOps： • 磁盘资源隔离，大数据性能提升30% • 应用感知调度，hbase性能提升20% • 容器/虚机混部， • 资源利用率15%-30% • 边云管理协同框架， • 跨边云单应用秒级发放 缘起：一个运动控制系统(机器人,数控机床….) 智能控制 （人机交互

// up as an async_err here because it could have been the same // bytes we wrote via this Fh). int async_err = {0}; int take_async_err() { int e = async_err; async_err = 0; 870011 fuse_client.cpp:462] open fi->flags&O_DIRECT = 16384 I 2021-08-09T15:02:50.754873+0800 870011 fuse_client.cpp:466] open fi->fdirect_io = 1 I 2021-08-09T15:02:50.754935+0800 870010 fuse_client.cpp:303] cpp:303] write fi->flags&O_DIRECT = 16384 I 2021-08-09T15:02:50.754941+0800 870010 fuse_client.cpp:304] write fi->direct_io = 0 O_SYNC, O_DSYNC 同步I/O：强制刷新内核缓冲区到输出文件© XXX Page 21 of 23 对chubaofs和cephfs代码调

of Require group .... Access control In 2.2, access control based on client hostname, IP address, and other characteristics of client requests was done using the directives Order, Allow, Deny, and Satisfy MaxClients has been renamed to MaxRequestWorkers, which describes more accurately what it does. For async MPMs, like event, the maximum number of clients is not equivalent than the number of worker threads Provides dynamically configured mass reverse proxies for mod_proxy mod_remoteip Replaces the apparent client remote IP address and hostname for the request with the IP address list presented by a proxies or

of Require group .... Access control In 2.2, access control based on client hostname, IP address, and other characteristics of client requests was done using the directives Order, Allow, Deny, and Satisfy Require 127.0.0.1 access.log - GET /server-status 403 127.0.0.1 error.log - AH01797: client denied by server configuration: /var/www/html/server-status Why httpd denies access to servers-status MaxClients has been renamed to MaxRequestWorkers, which describes more accurately what it does. For async MPMs, like event, the maximum number of clients is not equivalent than the number of worker threads

of Require group .... Access control In 2.2, access control based on client hostname, IP address, and other characteristics of client requests was done using the directives Order, Allow, Deny, and Satisfy Require 127.0.0.1 access.log - GET /server-status 403 127.0.0.1 error.log - AH01797: client denied by server configuration: /var/www/html/server-status Why httpd denies access to servers-status MaxClients has been renamed to MaxRequestWorkers, which describes more accurately what it does. For async MPMs, like event, the maximum number of clients is not equivalent than the number of worker threads