cache/bazel:/root/.cache/bazel -it opencurvedocker/curve-base:build-debian11 # 容器内 cd /curve/curvefs make build os=debian11 # 容器外 # curvefs sudo make image os=debian11 tag=harbor.cloud.netease.com/cur

benchmarkSQL 每分钟事务数提升39% 2. pgbench 延迟降低21% TPS提升26% 研究现状Curve块存储 1. 分布式块存储服务 2. KVM块存储服务 3. iSCSI协议 4. 容器云块存储(CSI) 应用场景Curve块存储 1. 高可用性/高可靠性 (易运维) 2. RAFT一致性协议 3. CopySet分配算法 4. 拓扑结构 5. 高性能 6. chunkfilepool

on API https://github.com/opencurve/curve-qemu-block-driver NBD： 实现了Curve-NBD，与内核NBD模块进行交互 可以作为容器的数据存储 CSI插件也已经开源： https://github.com/opencurve/curve-csi CLIENT上层应用CLIENT虚拟块设备CLIENT主要功能  提供接口

⽂件读取流程 • 相关⼯作 • extFUSE • google android12 passthrough什么是eBPF • ebpf是不同环境下内核配置， 调试，监控⼯具 • map映射 • 验证器 • Hook • Helper api配置TCP Initial RTO • 场景 内核4.12之前 initial RTO是⼀个常数1s • 应⽤类型BPF_PROG_TYPE_SOCK_OPS FUSE_LOOKUP / FUSE_GETATTR / FUSE_SETATTR / • map 结构 • dentry map BPF_MAP_TYPE_HASH • key (inode id, node name) • value inode id • inode map BPF_MAP_TYPE_HASH • key inode id • value fuse_attr FUSE_READ / FUSE_WRITE • Map • WriteCache map BPF_MAP_TYPE_HASH • key inodeid • value CacheStatus, blocklist[ ] {fd, chunk, size, kernel file, ver} • ReadCache map BPF_MAP_TYPE_HASH • key inodeid

该缓存方案主要针对的场景是顺序写和顺序 读，而对于随机写和随机读来说也会有一定性能提升，但效果可能不会太好。 元数据采用2层索引 由于chunk大小是固定的（默认64M），所以Inode中采用map s3ChunkInfoMap用于保存对象存储的位置信息。采用2级索引的好处是，根据操作的offset可以快速定位到index，则只需要遍历inde // TYPE_SYM_LINK only optional VolumeExtentList volumeExtentList = 13; // TYPE_FILE only map s3ChunkInfoMap = 14; // TYPE_S3 only, first is chunk index optional uint64 9 bool FsCacheManagerIsEmpty(); private: std::unordered_map fileCacheManagerMap_; // first is inodeid std::unordered_map ::iterator fileCacheManagerMapIter_; RWLock rwLock_; std::list

com/abseil/abseil-cpp/tree/master/absl/c ontainer 实现了btree map和btree set，(Apache)。 google， https://code.google.com/archive/p/cpp-btree/， btree_map , btree_set, btree_multimap, and btree_multiset ，（ ） Apache table O(1)~O(n) O(n) + table 需要占用额外空间，性能和hash表的大小有关，最理想可以达到O(1)复杂度，最差O(n)复杂度。 c++ stl unordered_map moose，使用c实现 4、curve文件系统的元数据内存组织 curve文件系统元数据主要有3个类型，inode， dentry， 。 extent 4 nlink; /* ref count for hard link */ int64_t size; FileType type; SpaceList std::map; // string symLink; /* for symLink only */ // Inode

std::string& key, const std::string& value=""); bool WriteJournal(const std::string& message); private: map Hash; // B+ std::string filePtah; // WAL dump (WAL : curvefs.waldump 逻辑，比较清晰 redis 中有许多数据结构可供使用，如 (哈希、列表、set、sort_set)，但对于目前的需求来说，我们内存数据结构使用的是 C++ STL 中的哈希表（unsorted_map），之后有可能根据需求换成 B+ 树或跳表，但是 redis 中的这些数据结构我们是不需要的 另外，如果 C++ 中的哈希表在后期使用中发现性能不达标的话（特别是在 rehash 扩桶的时候），我们可以把

partitions and ranges directly. Use the helper functions instead. // Partition map indexed by ID partitions map[uint64]*MetaPartition // Partition tree indexed by Start, in order to find a

Precreated chunk file for volume space mapping • high performance framework • Use bthread (M bthread map N pthread) for scalability and performance on Multi-thread CPU • Lock free queue design • Memory

B为例，具体大小可配置）是否分配出去。 第二层为free extent list，表示每个已分配的块，哪些仍然是空闲的（offset, length），以offset为key进行排序（这里可以用map或者btree对所有的free extent进行管理）。 当前设计不考虑持久化问题，空间分配器只作为内存结构，负责空间的分配与回收。在初始化时，扫描文件系统所有inode中已使用的空间。 空间分配流程