Curve文件系统元数据管理
erver0上,parent为"/A"和"/A/D"在server1上,parent为"/B"在server2上。© XXX Page 12 of 24 元数据 server 0 server 1 server 2 inode信息 0 → inode / 300 → inode C 100 → inode A 400 → inode D 200 → inode B dentry信息 dentry信息 0 + A → 100 100 + C → 300 0 + B → 200 100 + D → 400 5.1.1 场景分析 查找:查找/A/C。 1、client给server0发送请求:parentid 0 + name "A",查询"A"的inodeid为100© XXX Page 13 of 24 2、client给server0发送请求:inode inode信息 0 → inode / 300 → inode C 100 → inode A 400 → inode D 200 → inode B dentry信息 0 + A → 100 100 + C → 300 0 + B → 200 100 + D → 400 4、client给server2发送请求: parentid 200 + name "E",查询不到0 码力 | 24 页 | 204.67 KB | 5 月前3CurveFs 用户权限系统调研
user nbs@pubbeta1-nostest2:/tmp$ ls -l | grep fsmount ls: cannot access 'fsmount': Permission denied d????????? ? ? ? ? ? fsmount nbs@pubbeta1-nostest2:/tmp$ cd user root@pubbeta1-nostest2:/tmp# ls -l | grep fsmount ls: cannot access 'fsmount': Permission denied d????????? ? ? ? ? ? fsmount root@pubbeta1-nostest2:/tmp# cd user nbs@pubbeta1-nostest2:/tmp$ ls -l | grep fsmount ls: cannot access 'fsmount': Permission denied d????????? ? ? ? ? ? fsmount nbs@pubbeta1-nostest2:/tmp$ cd0 码力 | 33 页 | 732.13 KB | 5 月前3Raft在Curve存储中的工程实践
(a, b, c) or (a, b, c, d) -> (a, b, c, d) 保持raft的副本个数为指定值 • RecoverSchedule (a, b, c) -> (a, c, d) 替换不能提供服务的serverCURVE的RAFT配置变更 均衡场景下配置变更 • CopySetSchedule (a, b, c) -> (a, b, d) 每个chunkserver上的copyset个数尽量均衡0 码力 | 29 页 | 2.20 MB | 5 月前3CurveFS Copyset与FS对应关系
manange/ dentry manager:负责管理元数据的内存结构 heartbeat:定期获取copyset的信息 模块 估算工作量(开发 + ci完成) client 10d mds 15d metaserver 10d 考虑到partition和copyset的多对一关系会带来开发商的复杂性,是否考虑先只实现partition和copyset一对一的情况。等下一个版本,再实现的多对一的场景。0 码力 | 19 页 | 383.29 KB | 5 月前3CurveFS S3本地缓存盘方案
start write."; for(int i = 0; i < 100000; i++) { char str[5]; sprintf(str, " %d" , i); Write(str, buf, length); } LOG(INFO) << "whs end write."; 如上,写10万个4k文件,最终耗时5秒左右,如下:0 码力 | 9 页 | 150.46 KB | 5 月前3新一代云原生分布式存储
数据放置 使用多级哈希的方式 使用CRUSH算法根据pgid获得指定的副本个数的id osd.1, osd.2, osd.3 对ObjectID进行哈希并取模(复制组数量)得到pgid head_D35c9011 根据 offset, len, name.. 生成ObjectID rbd\udata.6855c174a277a30.000000000005c2架构简介 — 多副本一致性协议0 码力 | 29 页 | 2.46 MB | 5 月前3
共 6 条
- 1