弹性：随意扩缩容 速度：更快的构建发布业务 底层构建在分布式存储之上 云原生的概念： 易用性：跨平台，超融合，弹性 小型主机 容量有限分布式存储的分类 按照各种应用场景所需的存储接口分类 对象 存储 文件 存储 块存储 接口为简单的 Get、PUT、DEL 和其他扩展 通常意义是支持 POSIX 接口 传统意义的文件系统： Ext4 对指定地址空间进行随机读写 传统意义的块存储：磁盘分布式存储的要素

fuse_init_in *) inarg; struct fuse_session *se = req->se; ... if (arg->flags & FUSE_POSIX_ACL) se->conn.capable |= FUSE_CAP_POSIX_ACL; ... se->op.init(se->userdata, &se->conn); } // libfuse include/fuse_kernel fuse_ctx *fuse_req_ctx(fuse_req_t req) 对ACL（Access Control Lists）的管理 访问控制列表（ACL 或 POSIX ACL）是多用户系统的 。 与基本的 POSIX RWX 位相比，POSIX ACL 有助于对文件系统权限进行 的控制。可以针对用户（User）、群组（Group） 附加安全控制功能 更灵活、更细粒度 、默认属性掩码（umask）进行设置。 wanghai01@pubbeta2-curve5:/tmp$ cat acl.test hello ls -l ‘+’; getaclaccess entry 'user:wanghai01:rw-',Posix u/g/o mask::rw-: ACL_USERACL_GROUP_OBJACL_GROUP root@pubbeta2-curve5:/tmp# getfacl -e acl.test # file:

a/ai) • CurveFS can manage different storages (HDFS, OSS, EBS) below • Apps access data by POSIX interface • Infrequent data is moved to OSS, and frequent data is moved to high speed storage on-prem storage) and expose unified file space for app accessing • RAFT for data consistency • POSIX-compatiable • Cloud native supportCloud native plan for CurveFS • CSI plugin for CurveFS (in Plan) https://github.com/opencurve/curve/releases • Now working on CurveFSRoadmap • CurveFS based on CurveBS • POSIX-compatible and mountable • Cache support on CurveFS • CurveFS cloud native support • csi plugin

和主要应⽤场景 • AI机器学习场景 • ⼤数据计算场景 • 中间件数据存储场景 • ⽀持POSIX兼容的⽂件API • ⽀持低延迟的⽂件数据访问Curve⽂件系统⾯临的问题 • ⽤户态实现 • 稳定性/可靠性⾼ • 容易更新及维护 • 基于FUSE提供POSIX兼容⽂件接⼝ • 问题 • 相对kernel⽂件系统的实现(ext4, xfs)性能 差异⼤，延迟⾼FUSE⽂件IO读写流程 瓶颈在/dev/fuse通讯开销基于FUSE可能的优化点 • 降低内核与libfuse通讯延迟 • 基于⽂件属性的操作内核直接返回？ • 基于⽂件数据的操作先内核读写 cache？实现POSIX兼容API途径及问题 • 基于FUSE的实现 • curve / ceph / gluster • LD_PRELOAD重载⽂件系统系统调⽤ • vpp / f-stack / DirectFUSE

Curve文件存储 • 基于Openstack构建云计算平台 • 底层存储使用Ceph块存储 • 稳定性挑战 • 算力平台kubernetes的迅速发展 • AI/大数据业务的快速增长 • 存储使用Ceph文件存储/HDFS • 成本/性能挑战 Curve块存储和文件存储均采用raft协议整体架构 • 对接OpenStack平台为云主机提供高性能块 存储服务 • 对接Kubernetes为其提供RWO、RWX等类

Upper-layer applications can access file data in storage pools through interfaces such as NFS/HDFS/Posix api Manage multiple types of storage (object storage, HDFS storage, Elastic block storage) Support

4. 云原生 设计目标Curve文件存储 1. 兼顾性能与容量的机器学习 场景 2. 快速跨云弹性发布的业务 3. 低成本大容量需求的业务 4. 中间件冷热数据自动分离 5. S3和POSIX统一访问需求 主要挑战和支持场景Curve Roadmap 1. 架构 1. 文件存储支持分布式缓存、完善冷热数据分层存储能力 2. 完善混合云、公有云上部署架构 3. 完善高性能3副本存储引擎，支持混合盘

as QEMU, Cinder, and NBD use it to access storage services provided by Curve. The client provids posix-like interface, such as read/write/aioread/aiowrite in data plane and open/create/rename/extend

●读写都需要CPU拷贝数据 ●不能发挥某些NVME的功能，例如write zero10/17/22 5 为什么用PFS ●对代码比较熟悉 ●找一个能管理裸盘，具有产品级可靠性的代码挺难的 ●PFS支持类POSIX文件的接口，与使用EXT4的存储引擎代码很像， 所以容易移植现有代码到PFS存储引擎 ●CurveBS对文件系统元数据的操作非常少，对文件系统的要求不高， 所以不需要元数据高性能，这方面PFS也合适10/17/22

数据缓存， 当前先不考虑）。 open void (*open) (fuse_req_t req, fuse_ino_t ino, struct fuse_file_info *fi); posix语义中open支持的oflag主要有： O_RDONLY 只读打开 O_WRONLY 只写打开 O_RDWR 读写打开 以上3个必须指定且只能指定一个 O_APPEND 只追加写 O_CREAT