curvefs chunkid 持久化 ## 背景 1. 将原有的获取chunkid的方法从space迁入mds中，并持久化写入etcd中； 2. 只考虑单mds工作的情况； 3. chunkid全局递增。 ## 实现 1. proto/space.proto 中的 message AllocateS3ChunkRequest、message AllocateS3ChunkResponse 的一些配置。但是这些配置不会立即生效，而是等到当前 chunkId池枯竭时才会生效。 3. 析构函数 4. GenChunkID 1. 申请的chunkID池是否枯竭? 1. 是，使用 KVStorageClient 申请新的 chunkid Bundle （etcd 中记录的已使用 chunkID 增加一个 chunkID Bundle 的大小）； 1. 申请失败 2. storeKey storeKey 不存在，从现在已使用的 ChunkID 继续申请新的 Bundle 1. 首次连接 etcd 2. etcd 环境切换 3. storeKey 被删除 4. 其他 3. storeKey 在 etcd 上的 Value 不可解码 2. 返回一个新的chunkid ## 方案 class ChunkIDGenerator { client_; // etcd

provides an OSGi Bundle Repository (OBR) and Karaf Features Repository (KFR). OBR provides a service that can automatically install a bundle, with its deployment dependencies, from a bundle repository. Apache Cave repository into an OBR RepositoryAdmin OSGi service. • Artifact Upload: Users can upload OSGi bundle in a Cave repository. It supports URLs like mvn:groupId/artifactId/version, file:, http:, etc. - ### 2. Repository A Cave Repository is a container for: • OSGi bundles (jar files) • OBR (OSGi Bundle Repository) metadata (aka a repository.xml file) By default, a repository uses a filesystem backend

，每个block最大4M，每个block对应s3上一个object。 s3上对象已chunkid_indexblock_version进行命名，元数据则已S3ChunkInfo（见数据结构）的方式存储在inode中。对于文件顺序写场景，文件0~4M的s3对象必然为chunkid_0_0_4M~8M为chunkid_1_0，以此类推，还有一种情况是文件先写了0~2M，然后在写2M~4M，这里会采用 而不是额外upload到一个新的对象；元数据则为 $ \{2,0,0,8M\} $ 。对于覆盖写，为了区分新老数据，则会对version进行 $ ++ $ ，比如覆盖写了0~4M，则数据会写到chunkid_0_1的对象，则元数据包含了2个S3Chunkinfo $ \{2,0,0,8M\} $ 和 $ \{2,1,0,4M\} $ 。 ## 接口和关键数据结构 common.proto enum TYPE_SYM_LINK = 3; TYPE_S3 = 4; }; // inodes3chunk message S3ChunkInfo { required uint64 chunkId = 1; required uint64 version = 2; required uint64 offset = 3; required uint64 len = 4;

通过日志初步分析有2点原因 I 2021-08-11T16:05:28.195358+0800 1614656 client_s3_adaptor.cpp:267] writechunk chunkid:0,version:0,pos:3362816,len:4096,append:1 I 2021-08-11T16:05:28.195369+0800 1614656 client_s3.cpp:68] version:0,append:1 I 2021-08-11T16:05:33.168323+0800 1613195 client_s3_adaptor.cpp:267] writechunk chunkid:0,version:0,pos:3366912,len:4096,append:1 I 2021-08-11T16:05:33.168341+0800 1613195 client_s3.cpp:68] version:0,append:1 I 2021-08-11T16:05:34.702741+0800 1613196 client_s3_adaptor.cpp:267] writechunk chunkid:0,version:0,pos:3371008,len:4096,append:1 I 2021-08-11T16:05:34.702750+0800 1613196 client_s3.cpp:68]

s3chuninfolist[index] = [s3chunkinfo(s)] s3chunkinfo { chunkid version // write always 0, compact will increase it offset len } s3 object 命名：chunkid_version_index (index 为 obj 在 chunk 内的 index) ## 执行步骤 ex内的chunkinfo按照chunkid升序排序. 4. 对于一个chunk来说，chunkinfo数量大于20即进行处理 5. 计算变更 - 记录整个chunk最大的chunkid - 读出一个chunk所有有效的部分（如果是最后一个chunk，需要注意不超出len），compaction+1，chunkid为上一步获取的chunkid，为需要新增的obj - 老的obj为全部需要删除的部分

在 Curve 系统引入 CopySet 有几个目的： 1. 减少元数据量：如果为每个Chunk去保存复制组成员关系，需要至少 ChunkID+3×NodeID=20 个byte，而如果在Chunk到复制组之间引入一个CopySet，每个Chunk可以用ChunkID+CopySetID=12个byte。 2. 减少复制组数量：如果一个数据节点存在 256K 个复制组，复制组的内存资源占用将会 ChunkServer, Copyset和Chunk三者之间的关系如下图： Mds在分配空间时，轮流在不同的copyset中分配，每次从copyset中分配1个chunk，这个chunk用copysetId:chunkId来唯一标识。  Copyset的生成策略：Source (CopysetId, chunkId, offset in chunk, length in chunk); 3. Client 向 chunkserver 查询 chunk 所在的 copyset 的 leader Chunkserver 节点； 4. Client 向 leader 发送读写请求 client (IP, port, CopysetId, chunkId, offset in

the MDS and stores the metadata locally. The request is converted to a chunk request (CopysetId=1, chunkId=5678, offset in chunk=0, length in Chunk=4096). If the currently segment written is not allocated resides. 4. The Client sends read/write requests to the leader (IP=127.0.0.1, port=8200, CopysetId=1, chunkId=5678, offset in chunk=0, length in Chunk=4096). 5. The Chunkserver completes the request and notifies

SnapFile 与ChunkFile是同构的,都来自ChunkFilePool; ☐ SnapFile与ChunkFile在同一个目录； ☐ SnapFile的命名方式为 “chunk_” + ChunkId + “snap” + seqNum的形式，以区别于ChunkFile。 ![Image](/uploads/documents/7/7/1/5/7715d792a5d7a53b8118cefee409d717/p11_2

the --help option for this command: karaf@root()> bundle:list --help DESCRIPTION bundle:list Lists all installed bundles. SYNTAX bundle:list [options] OPTIONS -u Shows the update this help message --table Show bundles using a shell table -t Specifies the bundle threshold; bundles with a start-level less than this value will not get printed out. -l karaf/apache-camel/ 2.10.0/xml/features karaf@root()> feature:install camel-spring karaf@root()> bundle:install -s mvn:org.apache.camel/ camel-example-osgi/2.10.1 The example installed is using Camel

Diagnostic 5.1.3. Dynamic import 5.1.4. OSGi framework 5.1.5. Stack traces printout 5.1.6. Bundle tree 5.1.7. Watch 5.2. Scripting 5.2.1. Assignation 5.2.2. Expressions 5.2.3. List, maps branding.properties file to etc 5.5. Adding a branding-ssh.properties file to etc 5.5.1. Branding bundle 5.5.2. WebConsole 5.6. Extending 5.6.1. Shell commands 5.6.2. WebConsole 5.7. Using the command (karaf-command-archetype) 5.13.2. Create an OSGi bundle (karaf-bundle-archetype) 5.13.3. Create an OSGi blueprint bundle (karaf-blueprint-archetype) 5.13.4. Create a features XML